前言:

機器學習的模式是通過大量的數(shù)據(jù)喂給一個模型,模型會根據(jù)數(shù)據(jù)不斷調(diào)整自身參數(shù),最終具備判別這些數(shù)據(jù)的模式或特征的能力。若模型無法從這些數(shù)據(jù)中訓練出一個很好的效果,則認為它是欠擬合。若模型在訓練的時候達到很好的效果,而在未參與訓練的數(shù)據(jù)上測試,效果不好,則認為它是過擬合。

在本文,將介紹欠擬合與過擬合的概念、特點、產(chǎn)生的原因、解決的方法。在認真閱讀本文后,讀者將會對欠擬合與過擬合有個全面的認識。

更多內(nèi)容歡迎關注公眾號CV技術指南,專注于計算機視覺的技術總結,最新技術跟蹤。

欠擬合與過擬合的概念

在訓練模型的過程中,我們通常希望達到以下兩個目的:

1． 訓練的損失值盡可能地小。

2． 訓練的損失值與測試的損失值之間的差距盡可能地小。

當?shù)谝粋�目的沒有達到時,則說明模型沒有訓練出很好的效果,模型對于判別數(shù)據(jù)的模式或特征的能力不強,則認為它是欠擬合的。

當?shù)谝粋�目的達到,第二個沒有達到時,說明模型訓練出了很好的效果,而測試的損失值比較大,則說明模型在新的數(shù)據(jù)上的表現(xiàn)很差,此時可認為模型過度擬合訓練的數(shù)據(jù),而對于未參與訓練的數(shù)據(jù)不具備很好的判別或擬合能力,這種情況下,模型是過擬合的。

用一個通俗的例子來說明:

假定你家里安排你去相親,告訴你女方在某某餐廳等你。

若你家里人告訴你,女方穿裙子,披肩長發(fā)。結果你進去,發(fā)現(xiàn)有好幾個位置都是穿裙子、披肩長發(fā)的女生,此時你無法判斷是哪一個,這說明你了解女生身上的特征不夠多,是欠擬合的。

若你家里人告訴你,女方穿裙子,戴了個帽子,披肩長發(fā),手機殼是哆啦A夢,眉角有顆痣。結果女方覺得餐廳太熱,進餐廳沒多久就脫了帽子,你進去后發(fā)現(xiàn)有一個女生其它條件都符合,就是沒戴帽子,你就因此認定她不是你相親對象,這說明你了解的女生的特征太多,對于稍微有點不同的特征,你就做出了錯誤判斷,這是過擬合的。

若家里人告訴你,女方穿裙子,披肩長發(fā),眉角有顆痣。你進去后發(fā)現(xiàn),雖然穿裙子的有好幾個,披肩長發(fā)的也不少,但眉角有痣的就那一位,即便那位還戴了個帽子,也不妨礙你認為她就是你相親對象,于是你準確地走到了她面前開始了尷尬的交流,這是合理的擬合。

在這個例子中,裙子,披肩長發(fā)都是女生很普遍的特征,眉角的痣和裙子、披肩長發(fā)的組合是她特有的特征,手機殼和戴帽子這屬于偶然的特征,不能因為她換了手機殼或沒戴帽子就不認識這人了。過擬合在于將偶然的特征也作為識別身份的標志,而欠擬合在于了解的特征的特征不夠多,在機器學習中表示模型的學習能力不夠,無法學到足夠的數(shù)據(jù)特征。

欠擬合的特點:訓練的損失值很大,且測試的損失值也很大。

過擬合的特點:訓練的損失值足夠小,而測試的損失值很大。

對于一個足夠復雜度或足夠參數(shù)量的模型或神經(jīng)網(wǎng)絡來說,隨著訓練的進行,會經(jīng)歷一個“欠擬合-適度擬合-過擬合”的過程。

對于一個復雜度不夠的模型或參數(shù)量太少的神經(jīng)網(wǎng)絡來說,只有欠擬合。

欠擬合產(chǎn)生的原因與解決方法

根據(jù)欠擬合的特點來看,產(chǎn)生欠擬合的主要原因有兩個:

1． 模型的容量或復雜度不夠,對神經(jīng)網(wǎng)絡來說是參數(shù)量不夠或網(wǎng)絡太簡單,沒有很好的特征提取能力。通常為了避免模型過擬合,會添加正則化,當正則化懲罰太過,會導致模型的特征提取能力不足。

2． 訓練數(shù)據(jù)量太少或訓練迭代次數(shù)太少,導致模型沒有學到足夠多的特征。

根據(jù)欠擬合產(chǎn)生的原因來分析,解決方法有兩個:

1． 換個更復雜的模型,對神經(jīng)網(wǎng)絡來說,換個特征提取能力強或參數(shù)量更大的網(wǎng)絡�；驕p少正則化的懲罰力度。

2． 增加迭代次數(shù)或想辦法弄到足夠的訓練數(shù)據(jù)或想辦法從少量數(shù)據(jù)上學到足夠的特征。如適度增大epoch,數(shù)據(jù)增強,預訓練,遷移學習,小樣本學習,無監(jiān)督學習等。

過擬合產(chǎn)生的原因與解決方法

根據(jù)過擬合的特點來看,過擬合產(chǎn)生的原因有以下四個:

1． 模型太復雜,對神經(jīng)網(wǎng)絡來說,參數(shù)太多或特征提取能力太強,模型學到了一些偶然的特征。

2． 數(shù)據(jù)分布太單一,例如訓練用的所有鳥類都在籠子里,模型很容易把籠子當成識別鳥的特征。

3． 數(shù)據(jù)噪聲太大或干擾信息太多,如人臉檢測,訓練圖像的分辨率都是幾百乘幾百,而人臉只占了幾十到幾百個像素,此時背景太大,背景信息都屬于干擾信息或噪聲。

4． 訓練迭代次數(shù)太多,對數(shù)據(jù)反復地訓練也會讓模型學到偶然的特征。

根據(jù)過擬合產(chǎn)生的原因來看,解決方法有以下四個:

1． 換一個復雜度低一點的模型或正則化,對神經(jīng)網(wǎng)絡來說,使用參數(shù)量少一點的網(wǎng)絡,或使用正則化。

2． 使用不同分布的數(shù)據(jù)來訓練。如數(shù)據(jù)增強,預訓練等。

3． 使用圖像裁剪等方法對圖像進行預處理。

4． 及時地停止訓練。如何判斷什么時候該停止訓練?使用K折交叉驗證,若訓練損失還在減少,而驗證損失開始增加,則說明開始出現(xiàn)過擬合。

更多內(nèi)容歡迎關注公眾號CV技術指南,專注于計算機視覺的技術總結,最新技術跟蹤。