?模型評估

模型評估是模型開發(fā)過程不可或缺的一部分。它有助于發(fā)現(xiàn)表達數(shù)據(jù)的最佳模型和所選模型將來工作的性能如何。

(資料圖片僅供參考)

按照數(shù)據(jù)集的目標值不同，可以把模型評估分為分類模型評估和回歸模型評估。

一、分類模型評估

準確率：預測正確的數(shù)占樣本總數(shù)的比例。其他評價指標：精確率、召回率、F1-score、AUC指標等

均方根誤差（Root Mean Squared Error，RMSE）

RMSE是一個衡量回歸模型誤差率的常用公式。不過，它僅能比較誤差是相同單位的模型。

a 為真實值；p 為預測值

舉例：

假設(shè)上面的房價預測，只有五個樣本，對應(yīng)的真實值為：100,120,125,230,400預測值為：105,119,120,230,410

那么使用均方根誤差求解得：

其他評價指標：

相對平方誤差（Relative Squared Error，RSE）平均絕對誤差（Mean Absolute Error，MAE)相對絕對誤差（Relative Absolute Error，RAE)

模型評估用于評價訓練好的的模型的表現(xiàn)效果，其表現(xiàn)效果大致可以分為兩類：過擬合、欠擬合。

在訓練過程中，你可能會遇到如下問題：

訓練數(shù)據(jù)訓練的很好啊，誤差也不大，為什么在測試集上面有問題呢？

當算法在某個數(shù)據(jù)集當中出現(xiàn)這種情況，可能就出現(xiàn)了擬合問題。

因為機器學習到的天鵝特征太少了，導致區(qū)分標準太粗糙，不能準確識別出天鵝。

欠擬合（under-fitting）：模型學習的太過粗糙，連訓練集中的樣本數(shù)據(jù)特征關(guān)系都沒有學出來。

機器已經(jīng)基本能區(qū)別天鵝和其他動物了。然后，很不巧已有的天鵝圖片全是白天鵝的，于是機器經(jīng)過學習后，會認為天鵝的羽毛都是白的，以后看到羽毛是黑的天鵝就會認為那不是天鵝。

過擬合（over-fitting）：所建的機器學習模型或者是深度學習模型在訓練樣本中表現(xiàn)得過于優(yōu)越，導致在測試數(shù)據(jù)集中表現(xiàn)不佳。