前言:

機器學習的模式是通過大量的數據喂給一個模型,模型會根據數據不斷調整自身參數,最終具備判別這些數據的模式或特征的能力。若模型無法從這些數據中訓練出一個很好的效果,則認為它是欠擬合。若模型在訓練的時候達到很好的效果,而在未參與訓練的數據上測試,效果不好,則認為它是過擬合。

在本文,將介紹欠擬合與過擬合的概念、特點、產生的原因、解決的方法。在認真閱讀本文后,讀者將會對欠擬合與過擬合有個全面的認識。

更多內容歡迎關注公眾號CV技術指南,專注于計算機視覺的技術總結,最新技術跟蹤。

欠擬合與過擬合的概念

在訓練模型的過程中,我們通常希望達到以下兩個目的:

1． 訓練的損失值盡可能地小。

2． 訓練的損失值與測試的損失值之間的差距盡可能地小。

當第一個目的沒有達到時,則說明模型沒有訓練出很好的效果,模型對于判別數據的模式或特征的能力不強,則認為它是欠擬合的。

當第一個目的達到,第二個沒有達到時,說明模型訓練出了很好的效果,而測試的損失值比較大,則說明模型在新的數據上的表現(xiàn)很差,此時可認為模型過度擬合訓練的數據,而對于未參與訓練的數據不具備很好的判別或擬合能力,這種情況下,模型是過擬合的。

用一個通俗的例子來說明:

假定你家里安排你去相親,告訴你女方在某某餐廳等你。

若你家里人告訴你,女方穿裙子,披肩長發(fā)。結果你進去,發(fā)現(xiàn)有好幾個位置都是穿裙子、披肩長發(fā)的女生,此時你無法判斷是哪一個,這說明你了解女生身上的特征不夠多,是欠擬合的。

若你家里人告訴你,女方穿裙子,戴了個帽子,披肩長發(fā),手機殼是哆啦A夢,眉角有顆痣。結果女方覺得餐廳太熱,進餐廳沒多久就脫了帽子,你進去后發(fā)現(xiàn)有一個女生其它條件都符合,就是沒戴帽子,你就因此認定她不是你相親對象,這說明你了解的女生的特征太多,對于稍微有點不同的特征,你就做出了錯誤判斷,這是過擬合的。

若家里人告訴你,女方穿裙子,披肩長發(fā),眉角有顆痣。你進去后發(fā)現(xiàn),雖然穿裙子的有好幾個,披肩長發(fā)的也不少,但眉角有痣的就那一位,即便那位還戴了個帽子,也不妨礙你認為她就是你相親對象,于是你準確地走到了她面前開始了尷尬的交流,這是合理的擬合。

在這個例子中,裙子,披肩長發(fā)都是女生很普遍的特征,眉角的痣和裙子、披肩長發(fā)的組合是她特有的特征,手機殼和戴帽子這屬于偶然的特征,不能因為她換了手機殼或沒戴帽子就不認識這人了。過擬合在于將偶然的特征也作為識別身份的標志,而欠擬合在于了解的特征的特征不夠多,在機器學習中表示模型的學習能力不夠,無法學到足夠的數據特征。

欠擬合的特點:訓練的損失值很大,且測試的損失值也很大。

過擬合的特點:訓練的損失值足夠小,而測試的損失值很大。

對于一個足夠復雜度或足夠參數量的模型或神經網絡來說,隨著訓練的進行,會經歷一個“欠擬合-適度擬合-過擬合”的過程。

對于一個復雜度不夠的模型或參數量太少的神經網絡來說,只有欠擬合。

欠擬合產生的原因與解決方法

根據欠擬合的特點來看,產生欠擬合的主要原因有兩個:

1． 模型的容量或復雜度不夠,對神經網絡來說是參數量不夠或網絡太簡單,沒有很好的特征提取能力。通常為了避免模型過擬合,會添加正則化,當正則化懲罰太過,會導致模型的特征提取能力不足。

2． 訓練數據量太少或訓練迭代次數太少,導致模型沒有學到足夠多的特征。

根據欠擬合產生的原因來分析,解決方法有兩個:

1． 換個更復雜的模型,對神經網絡來說,換個特征提取能力強或參數量更大的網絡。或減少正則化的懲罰力度。

2． 增加迭代次數或想辦法弄到足夠的訓練數據或想辦法從少量數據上學到足夠的特征。如適度增大epoch,數據增強,預訓練,遷移學習,小樣本學習,無監(jiān)督學習等。

過擬合產生的原因與解決方法

根據過擬合的特點來看,過擬合產生的原因有以下四個:

1． 模型太復雜,對神經網絡來說,參數太多或特征提取能力太強,模型學到了一些偶然的特征。

2． 數據分布太單一,例如訓練用的所有鳥類都在籠子里,模型很容易把籠子當成識別鳥的特征。

3． 數據噪聲太大或干擾信息太多,如人臉檢測,訓練圖像的分辨率都是幾百乘幾百,而人臉只占了幾十到幾百個像素,此時背景太大,背景信息都屬于干擾信息或噪聲。

4． 訓練迭代次數太多,對數據反復地訓練也會讓模型學到偶然的特征。

根據過擬合產生的原因來看,解決方法有以下四個:

1． 換一個復雜度低一點的模型或正則化,對神經網絡來說,使用參數量少一點的網絡,或使用正則化。

2． 使用不同分布的數據來訓練。如數據增強,預訓練等。

3． 使用圖像裁剪等方法對圖像進行預處理。

4． 及時地停止訓練。如何判斷什么時候該停止訓練?使用K折交叉驗證,若訓練損失還在減少,而驗證損失開始增加,則說明開始出現(xiàn)過擬合。

更多內容歡迎關注公眾號CV技術指南,專注于計算機視覺的技術總結,最新技術跟蹤。