MLP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理

理解神經(jīng)網(wǎng)絡(luò)主要包括兩大內(nèi)容，一是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，其次則是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)，其就好比我們的大腦結(jié)構(gòu)是怎么構(gòu)成的，而基于該組成我們又是怎樣去學(xué)習(xí)和識別不同事物的，這次樓主主要講解第一部分，而訓(xùn)練和學(xué)習(xí)則放到后續(xù)更新中。

神經(jīng)網(wǎng)絡(luò)其實是對生物神經(jīng)元的模擬和簡化，生物神經(jīng)元由樹突、細(xì)胞體、軸突等部分組成。樹突是細(xì)胞體的輸入端，其接受四周的神經(jīng)沖動；軸突是細(xì)胞體的輸出端，其發(fā)揮傳遞神經(jīng)沖動給其他神經(jīng)元的作用，生物神經(jīng)元具有興奮和抑制兩種狀態(tài)，當(dāng)接受的刺激高于一定閾值時，則會進(jìn)入興奮狀態(tài)并將神經(jīng)沖動由軸突傳出，反之則沒有神經(jīng)沖動。

我們基于生物神經(jīng)元模型可得到多層感知器MLP的基本結(jié)構(gòu)，最典型的MLP包括包括三層：輸入層、隱層和輸出層，MLP神經(jīng)網(wǎng)絡(luò)不同層之間是全連接的（全連接的意思就是：上一層的任何一個神經(jīng)元與下一層的所有神經(jīng)元都有連接）。

由此可知，神經(jīng)網(wǎng)絡(luò)主要有三個基本要素：權(quán)重、偏置和激活函數(shù)

權(quán)重：神經(jīng)元之間的連接強度由權(quán)重表示，權(quán)重的大小表示可能性的大小

偏置：偏置的設(shè)置是為了正確分類樣本，是模型中一個重要的參數(shù)，即保證通過輸入算出的輸出值不能隨便激活。

激活函數(shù)：起非線性映射的作用，其可將神經(jīng)元的輸出幅度限制在一定范圍內(nèi)，一般限制在（－1～1）或（0～1）之間。最常用的激活函數(shù)是Sigmoid函數(shù)，其可將（－∞，＋∞）的數(shù)映射到（0～1）的范圍內(nèi)。

激活函數(shù)還有tanh和ReLU等函數(shù)，tanh是Sigmoid函數(shù)的變形，tanh的均值是0，在實際應(yīng)用中有比Sigmoid更好的效果；ReLU是近來比較流行的激活函數(shù)，當(dāng)輸入信號小于0時，輸出為0；當(dāng)輸入信號大于0時，輸出等于輸入；具體采用哪種激活函數(shù)需視具體情況定。

從上面可知下層單個神經(jīng)元的值與上層所有輸入之間的關(guān)系可通過如下方式表示，其它以此類推。