人工智能之長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)
前言:人工智能機(jī)器學(xué)習(xí)有關(guān)算法內(nèi)容,人工智能之機(jī)器學(xué)習(xí)主要有三大類(lèi):1)分類(lèi);2)回歸;3)聚類(lèi)。今天我們重點(diǎn)探討一下長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)算法。
通過(guò)上一篇文章[人工智能之循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)] 介紹,我們知道,RNN是一類(lèi)功能強(qiáng)大的人工神經(jīng)網(wǎng)絡(luò)算法,RNN一個(gè)重要的優(yōu)點(diǎn)在于,其能夠在輸入和輸出序列之間的映射過(guò)程中利用上下文相關(guān)信息。但是RNN存在著梯度消失或梯度爆炸等問(wèn)題。因此,為了解決上述問(wèn)題,長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)誕生了。
長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)LSTM是一種特殊的RNN,能夠?qū)W習(xí)長(zhǎng)期依賴(lài)關(guān)系。由Hochreiter和Schmidhuber (1997)提出,在后期工作中又由許多人進(jìn)行了調(diào)整和普及(除了原始作者之外,許多人為現(xiàn)代LSTM做出了貢獻(xiàn),不完全統(tǒng)計(jì):Felix Gers(目前在谷歌的DeepMind任職), Fred Cummins, Santiago Fernandez, Felix Gers(發(fā)明了LSTM遺忘門(mén)),Justin Bayer(自動(dòng)演化), Daan Wierstra, Julian Togelius, Faustian Gomez, Matteo Gagliolo 和 Alex Graves)。LSTM在大量問(wèn)題上效果異常出色,現(xiàn)在正在廣泛使用。
LTSM概念:
長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM(Long Short–Term Memory)是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò),適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長(zhǎng)的重要事件。
與其說(shuō)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò),倒不如說(shuō)是一個(gè)加強(qiáng)版的組件被放在了循環(huán)神經(jīng)網(wǎng)絡(luò)中。具體地說(shuō),就是把循環(huán)神經(jīng)網(wǎng)絡(luò)中隱含層的小圓圈換成長(zhǎng)短時(shí)記憶的模塊,如下圖所示。
LTSM本質(zhì):
LSTM引入自循環(huán)的巧妙構(gòu)思,以產(chǎn)生梯度長(zhǎng)時(shí)間持續(xù)流動(dòng)的路徑是初始LSTM模型的核心貢獻(xiàn)。其中一個(gè)關(guān)鍵擴(kuò)展是使自循環(huán)的權(quán)重視上下文而定,而不是固定的。門(mén)控此自循環(huán)(由另一個(gè)隱藏單元控制)的權(quán)重,累積的時(shí)間尺度可以動(dòng)態(tài)地改變。
LSTM循環(huán)網(wǎng)絡(luò)除了外部的RNN循環(huán)外,還具有內(nèi)部的LSTM細(xì)胞循環(huán)(自環(huán))。
LSTM 通過(guò)刻意的設(shè)計(jì)來(lái)避免長(zhǎng)期依賴(lài)問(wèn)題。記住長(zhǎng)期的信息在實(shí)踐中是 LSTM 的默認(rèn)行為,而非需要付出很大代價(jià)才能獲得的能力。
LSTM原理:
LSTM區(qū)別于RNN的地方,主要就在于它在算法中加入了一個(gè)判斷信息有用與否的“處理器”,這個(gè)處理器作用的結(jié)構(gòu)被稱(chēng)為cell。
一個(gè)cell當(dāng)中被放置了三扇門(mén),分別叫做輸入門(mén)、遺忘門(mén)和輸出門(mén)。一個(gè)信息進(jìn)入LSTM的網(wǎng)絡(luò)當(dāng)中,可以根據(jù)規(guī)則來(lái)判斷是否有用。只有符合算法認(rèn)證的信息才會(huì)留下,不符的信息則通過(guò)遺忘門(mén)被遺忘。
說(shuō)起來(lái)無(wú)非就是一進(jìn)二出的工作原理,卻可以在反復(fù)運(yùn)算下解決神經(jīng)網(wǎng)絡(luò)中長(zhǎng)期存在的大問(wèn)題。目前已經(jīng)證明,LSTM是解決長(zhǎng)序依賴(lài)問(wèn)題的有效技術(shù),并且這種技術(shù)的普適性非常高,導(dǎo)致帶來(lái)的可能性變化非常多。各研究者根據(jù)LSTM紛紛提出了自己的變量版本,這就讓LSTM可以處理千變?nèi)f化的垂直問(wèn)題。
LSTM深度剖析:
LSTM 有通過(guò)精心設(shè)計(jì)的稱(chēng)作為“門(mén)”的結(jié)構(gòu)來(lái)去除或者增加信息到細(xì)胞狀態(tài)的能力。門(mén)是一種讓信息選擇式通過(guò)的方法。其包含一個(gè) sigmoid 神經(jīng)網(wǎng)絡(luò)層和一個(gè) pointwise 乘法操作。
Sigmoid 層輸出 0 到 1 之間的數(shù)值,描述每個(gè)部分有多少量可以通過(guò)。0 代表“不許任何量通過(guò)”,1 就指“允許任意量通過(guò)”!
LSTM 擁有三個(gè)門(mén)(輸入門(mén),遺忘門(mén),輸出門(mén)),來(lái)保護(hù)和控制細(xì)胞狀態(tài)。
標(biāo)準(zhǔn)LSTM:
1)決定丟棄信息:
2)確定更新的信息:
3)更新細(xì)胞狀態(tài):
4)輸出信息:
LSTM的變體:
1)peephole 連接:
2)coupled 忘記門(mén)和輸入門(mén):
3) GRU(Gated Recurrent Unit):
LSTM應(yīng)用場(chǎng)景:
LSTM已經(jīng)在科技領(lǐng)域有了多種應(yīng)用;贚STM的系統(tǒng)可以學(xué)習(xí)翻譯語(yǔ)言、控制機(jī)器人、圖像分析、文檔摘要、語(yǔ)音識(shí)別、圖像識(shí)別、手寫(xiě)識(shí)別、控制聊天機(jī)器人、預(yù)測(cè)疾病、點(diǎn)擊率和股票、合成音樂(lè)等任務(wù)。
2015 年谷歌通過(guò)基于CTC 訓(xùn)練的 LSTM 程序大幅提升了安卓手機(jī)和其他設(shè)備中語(yǔ)音識(shí)別的能力。百度也使用了 CTC;蘋(píng)果的 iPhone 在 QucikType 和 Siri 中使用了LSTM;微軟不僅將LSTM 用于語(yǔ)音識(shí)別,還將這一技術(shù)用于虛擬對(duì)話(huà)形象生成和編寫(xiě)程序代碼等。亞馬遜 Alexa 通過(guò)雙向LSTM在家中與用戶(hù)交流,而谷歌使用 LSTM 的范圍更加廣泛,它可以生成圖像字幕,自動(dòng)回復(fù)電子郵件,它包含在新的智能助手Allo中,也顯著地提高了谷歌翻譯的質(zhì)量。目前,谷歌數(shù)據(jù)中心的很大一部分計(jì)算資源現(xiàn)在都在執(zhí)行 LSTM 任務(wù)。
結(jié)語(yǔ):
長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò),適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長(zhǎng)的重要事件。LSTM是使用RNN的一個(gè)飛躍。LSTM算法在人工智能之機(jī)器學(xué)習(xí)、翻譯語(yǔ)言、控制機(jī)器人、圖像分析、文檔摘要、語(yǔ)音識(shí)別、圖像識(shí)別、手寫(xiě)識(shí)別、控制聊天機(jī)器人、預(yù)測(cè)疾病、點(diǎn)擊率和股票、合成音樂(lè)等領(lǐng)域有著廣泛應(yīng)用。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-
馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-
機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹(shù)機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-
存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬(wàn)
-
長(zhǎng)安汽車(chē)母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-
豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-
字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
-
員工持股爆雷?廣汽埃安緊急回應(yīng)
-
中國(guó)“智造”背后的「關(guān)鍵力量」
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開(kāi)發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
即日-11.25立即下載>>> 費(fèi)斯托白皮書(shū)《柔性:汽車(chē)生產(chǎn)未來(lái)的關(guān)鍵》
-
11月27日立即報(bào)名>> 【工程師系列】汽車(chē)電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
推薦專(zhuān)題
- 1 特斯拉工人被故障機(jī)器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時(shí)代,阿里云想當(dāng)“安卓” ,那誰(shuí)是“蘋(píng)果”?
- 4 華為公布昇騰芯片三年計(jì)劃,自研HBM曝光
- 5 硬剛英偉達(dá)!華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
- 6 機(jī)器人9月大事件|3家國(guó)產(chǎn)機(jī)器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 7 谷歌“香蕉”爆火啟示:國(guó)產(chǎn)垂類(lèi)AI的危機(jī)還是轉(zhuǎn)機(jī)?
- 8 00后華裔女生靠?jī)刹緼I電影狂賺7.8億人民幣,AI正式進(jìn)軍好萊塢
- 9 美光:AI Capex瘋投不止,終于要拉起存儲(chǔ)超級(jí)周期了?
- 10 華為已殺入!AI領(lǐng)域最熱黃金賽道,大廠的數(shù)字人美女讓我一夜沒(méi)睡著覺(jué)