但湯普森驚訝地發(fā)現(xiàn)，該電路所用元件數(shù)量比任何人類工程師的設計都要少，甚至有幾個元件根本沒有和其它元件相連。而要讓電路順利運作，這些元件應當不可或缺才對。

于是他對電路進行了剖析。做了幾次實驗后，他發(fā)現(xiàn)該電路的相鄰元件間存在微弱的電磁干擾。未與電路相連的元件通過干擾鄰近電場、對整個電路造成了影響。人類工程師通常會杜絕這類干擾，因為干擾的結果難以預料。果不其然，若用另一組元件復制該電路布局，甚至只是改變環(huán)境溫度，同樣的電路便會徹底失靈。

該電路揭露了機器訓練的一大重要特征：它們總是盡可能緊湊簡潔，與所在環(huán)境完美相容，但往往難以適應其它環(huán)境。它們能抓住工程師發(fā)現(xiàn)不了的規(guī)律，但不知道別處是否也有這一規(guī)律。機器學習研究人員想盡力避免這種名為“過擬合”的現(xiàn)象。但隨著應用這些算法的情況愈發(fā)復雜多變，這一缺陷難免會暴露出來。

普林斯頓大學計算機科學教授桑吉夫·阿羅拉認為，這一問題是人類追求可解釋模型的主要動機，希望有了可解釋模型后、能對網(wǎng)絡進行干預和調整。距阿羅拉表示，有兩大問題可體現(xiàn)缺乏可解釋性對機器性能造成的硬性限制。一是“組合性”：當一項任務同時涉及多項決策時（如圍棋或自動駕駛汽車），神經(jīng)網(wǎng)絡便無法高效判定是哪個決策導致了任務失敗�！叭祟愒谠O計某樣東西時，會先弄清不同元件的作用，再將其組合在一起，因此能夠對不適合當前環(huán)境的元件進行調整�！�

二是阿羅拉所稱的“域適應性”即將在某種情境中學到的知識靈活運用于其它情境的能力。人類非常擅長這項任務，但機器則會出現(xiàn)各種離奇錯誤。據(jù)阿羅拉描述，即使只對環(huán)境做了微調、人類調整起來不費吹灰之力，計算機程序也會遭遇慘敗。例如，某個網(wǎng)絡經(jīng)過訓練后、能對維基百科等正式文本的語法進行分析，但如果換成推特這樣的口語化表達，就會變得毫無招架之力。

按這樣來看，可解釋性似乎不可或缺。但我們真的理解它的意思嗎？著名計算機科學家馬文·閔斯基用“手提箱詞匯”來形容這類詞匯，包括“意識”、“情緒”等用來描述人類智能的單詞。閔斯基指出，這些詞其實反映了多種多樣的內在機制，但都被鎖在“手提箱”中。一旦我們用這些詞代替了更根本性的概念、僅對這些詞匯進行研究，我們的思維就會被語言所局限。那么在研究智能時，“可解釋性”會不會也是這樣一個“手提箱詞匯”呢？

雖然很多研究人員都持樂觀態(tài)度，認為理論學家遲早能打開這個“手提箱”、發(fā)現(xiàn)某套主宰機器學習（或許也包括人類學習）的統(tǒng)一法則或原理，就像牛頓的力學原理一樣。但也有人警告稱，這種可能性微乎其微。紐約城市大學哲學教授馬西莫·皮戈里奇指出，神經(jīng)科學、乃至人工智能領域所謂的“理解”也許是一種“集群概念”，即可能有多個不同定義。如果該領域真的有“理解”之說，也許相對于物理學、會更接近進化生物學的情況。也就是說，我們將發(fā)現(xiàn)的也許不是“基本力學原理”，而是“物種起源學說”。

當然，這并不意味著深度網(wǎng)絡將預示著某種新型自主生命的出現(xiàn)。但深度網(wǎng)絡就像生命本身一樣費解。該領域采用的漸進式實驗手段和事后解讀方式也許并不是在黑暗中苦苦等待理論之光時的絕望情緒，而是我們能夠盼來的唯一光芒�？山忉屝砸苍S會以碎片化的形式呈現(xiàn)出來，就像不同類別的“物種”一樣，采用的分類法則根據(jù)具體情境而定。

在國際機器學習大會的專題研討會結束時，部分發(fā)言人參加了一場討論會，試圖給“可解釋性”下一個定義。結果每個人都各執(zhí)一詞。進行了一系列討論后，大家似乎達成了一點共識：一個模型要能被解釋，就要具備“簡單性”。但在簡單性的定義問題上，大家又產(chǎn)生了分歧�！白詈唵巍钡哪Ｐ途烤故侵敢蕾囎钌偬卣鞯哪Ｐ�？還是程序規(guī)模最小的模型？還是有其它解釋？一直到研討會結束，大家都沒有達成共識。

正如馬里奧托夫說的那樣：“簡單性并不簡單�！�

每日一篇人工智能文章，還有技術文章同步發(fā)布，喜歡的朋友可以關注一下，