在計(jì)算機(jī)科學(xué)中,沒(méi)有一門學(xué)科比深度學(xué)習(xí)更能從人類的記憶系統(tǒng)中受益。

自早期以來(lái),在深度學(xué)習(xí)領(lǐng)域,人們就一直致力于對(duì)模擬人類記憶的一些關(guān)鍵特征系統(tǒng)進(jìn)行建模。然而,想要為機(jī)器系統(tǒng)建立起類人的記憶結(jié)構(gòu),并非易事。

近日,區(qū)塊鏈分析公司IntoTheBlock CEO、Invector Labs首席科學(xué)家、哥倫比亞大學(xué)客座教授Jesus Rpdriguez發(fā)表文章,談?wù)搹纳窠?jīng)科學(xué)和認(rèn)知心理學(xué)的角度理解機(jī)器的記憶建模。

他認(rèn)為,神經(jīng)科學(xué)的記憶理論為我們理解智能存儲(chǔ)體系結(jié)構(gòu)的一些主要組成部分提供了基礎(chǔ),同時(shí),人類的記憶不僅僅是大腦物理結(jié)構(gòu)的副產(chǎn)品,而且還深受周圍環(huán)境的影響。

關(guān)記憶的神經(jīng)科學(xué)理論:綁定問(wèn)題

現(xiàn)代神經(jīng)科學(xué)的記憶理論涉及大腦的三個(gè)基本區(qū)域:丘腦(the thalamus)、前額葉(the prefrontal)、皮層和海馬體(cortex &the hippocampus)。

丘腦可以被認(rèn)為是一個(gè)路由器,它負(fù)責(zé)處理感官信息(視覺、觸覺、語(yǔ)言等),并將其傳遞到大腦的感覺皮層進(jìn)行評(píng)估。經(jīng)過(guò)評(píng)估的信息最終到達(dá)前額葉皮層,進(jìn)入我們的意識(shí)中,形成短期記憶。同時(shí),這些信息也被傳送到海馬體,海馬體將不同的片段分布到不同的皮質(zhì)中,形成長(zhǎng)期記憶。

而當(dāng)今神經(jīng)科學(xué)面臨的最大挑戰(zhàn)之一就是,我們?nèi)绾螌⒎稚⒌挠洃浰槠�重新組合起來(lái),使其在人們回憶時(shí)構(gòu)成連貫的記憶。這就是“綁定問(wèn)題(the binding problem)”的主要內(nèi)容。

假設(shè)您曾經(jīng)歷一場(chǎng)考試,那么關(guān)于這一事件的記憶將被分解并儲(chǔ)存在大腦的不同區(qū)域中。然而,只需要小小的提示,例如聽到考試提示音或見到當(dāng)時(shí)的同伴,您就能回憶起關(guān)于這堂考試的各種記憶。

這是如何做到的呢?

一種理論認(rèn)為,記憶碎片是由不斷流過(guò)大腦的電磁振動(dòng)聯(lián)系在一起的。這些振動(dòng)在記憶碎片之間創(chuàng)造了一個(gè)時(shí)間(而非空間)聯(lián)系,允許它們同時(shí)被激活,因而最后成為凝聚一體的記憶。

關(guān)記憶的認(rèn)知心理學(xué)理論:啟動(dòng)與聯(lián)想

此外,為了解釋綁定問(wèn)題,我們還需要一些超越大腦的結(jié)構(gòu),以評(píng)估能夠影響記憶方式的各種心理背景因素。在認(rèn)知心理學(xué)中,試圖解釋聯(lián)想記憶本質(zhì)的主要理論之一被稱為啟動(dòng)效應(yīng)(the Priming Effect)。

設(shè)想一下,當(dāng)您聽到“考試”這個(gè)詞的時(shí)候,首先想到的是什么?可能是“書籍”,可能是某個(gè)日期,甚至可能是“興奮感”(手動(dòng)狗頭)。由此可見,僅僅是一個(gè)簡(jiǎn)單的詞語(yǔ),就可以喚起人的一系列復(fù)雜情緒甚至是其他相關(guān)的詞語(yǔ)。而這個(gè)過(guò)程實(shí)際就是:我們正在有效地想起相關(guān)的事物,或者說(shuō),我們正在“啟動(dòng)”其他記憶。

這一實(shí)驗(yàn)中最引人注目的其實(shí)是,人們根據(jù)提示檢索出相關(guān)單詞或記憶的速度有多快。在心理學(xué)中,這種現(xiàn)象也被稱為聯(lián)想一致化(Associatively Coherent)。

而且,啟動(dòng)效應(yīng)不僅適用于詞匯,還適用于情緒、身體反應(yīng)、本能等認(rèn)知現(xiàn)象。啟動(dòng)效應(yīng)告訴我們,記憶不僅是由主動(dòng)聯(lián)想方法來(lái)回憶的,而且是由“被啟動(dòng)的想法”來(lái)回憶的。

認(rèn)知心理學(xué)的另一個(gè)重要內(nèi)容則是我們回憶起特定事件的頻率。

例如,如果我問(wèn)你“在過(guò)去的十年里參加了多少場(chǎng)考試?” 如果你剛好最近就參加過(guò)一次考試或者特別快地得出答案者,那么這個(gè)數(shù)字很能被高估。相反,如果你并不喜歡上一次的考試經(jīng)歷,那么這個(gè)數(shù)字可能被低估。這個(gè)認(rèn)知過(guò)程被稱為可得性捷思法(the Availability Heuristic),它解釋了我們的記憶是如何被快速獲得的答案所深深影響。

深度學(xué)習(xí)的記憶機(jī)制:神經(jīng)圖靈機(jī)

那么深度學(xué)習(xí)算法具體該如何模仿上述這些理論從而形成類人記憶呢?答案其實(shí)不難得出:

a) 把一個(gè)內(nèi)存分成若干段,不同片段描述不同的知識(shí)領(lǐng)域

b) 將分散的片段重新組合成連貫的信息結(jié)構(gòu)

c) 根據(jù)上下文和不直接相關(guān)的信息以及外部數(shù)據(jù)引用來(lái)檢索數(shù)據(jù)

同時(shí),為了了解深度學(xué)習(xí)算法中的記憶相關(guān)性,我們應(yīng)該區(qū)分內(nèi)隱記憶implicit memory和外顯記憶Explicit Memory。隱性知識(shí)通常是潛意識(shí)的,因此很難解釋,例如識(shí)別圖片中的猴子或口語(yǔ)句子中的語(yǔ)氣和情緒。顯性知識(shí)則很容易以陳述性方式建模。例如,“猴子是一種動(dòng)物”或“某些形容詞具有攻擊性”,這都是顯性知識(shí)的典型例子。

再想象一下傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),它們往往有數(shù)百萬(wàn)個(gè)相互連接的節(jié)點(diǎn),卻缺乏一個(gè)工作記憶系統(tǒng),用來(lái)存儲(chǔ)已推斷出的知識(shí)片段及其相互關(guān)系,以便從網(wǎng)絡(luò)的不同層加入新信息。

而在這一領(lǐng)域,最流行的技術(shù)之一是神經(jīng)圖靈機(jī)(Neural Turing Machines,NTM),由DeepMind于2014年引入。NTM也屬于深層神經(jīng)網(wǎng)絡(luò), 但是它擴(kuò)展出一個(gè)具有存儲(chǔ)完整向量的記憶單元,并使用直觀推斷(heuristics)來(lái)讀寫信息。

例如,NTM實(shí)現(xiàn)了一種稱為基于內(nèi)容的尋址機(jī)制,它可以根據(jù)輸入信息來(lái)檢索向量,這與人類基于文字經(jīng)驗(yàn)來(lái)回憶相關(guān)記憶的方式相似。

此外,NTM還包括一種機(jī)制,能夠根據(jù)內(nèi)存單元被尋址的頻率來(lái)增加其顯著性。

NTM并不是在深度學(xué)習(xí)系統(tǒng)中實(shí)現(xiàn)記憶能力的唯一技術(shù),但它無(wú)疑是最受歡迎的技術(shù)之一。

模仿人類記憶的生理和心理功能并不是一件容易的事,這已經(jīng)成為深度學(xué)習(xí)領(lǐng)域中最重要的研究領(lǐng)域之一。

編輯:吳婷婷

排版:鄒靜雯

編審:王新凱