8-3 过拟合和欠拟合
准备数据
import numpy as np
import matplotlib.pyplot as plt
x = np.random.uniform(-3, 3, size=100)
X = x. reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)
使用线性回归
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X, y)
lin_reg.score(X, y) # score = 0.4953707811865009
y_predict = lin_reg.predict(X)
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
plt.show()

from sklearn.metrics import mean_squared_error
y_predict = lin_reg.predict(X)
mean_squared_error(y, y_predict)
均方误差为:3.0750025765636577
使用多项式回归
多项式回归算法
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
def PolynomialRegression(degree):
return Pipeline([
("poly", PolynomialFeatures(degree=degree)),
("std_scaler", StandardScaler()),
("lin_reg", LinearRegression())
])
degree = 2的多项式回归
poly2_reg = PolynomialRegression(degree=2)
poly2_reg.fit(X, y)
y2_predict = poly2_reg.predict(X)
mean_squared_error(y, y2_predict) # 1.0987392142417856
y_predict = lin_reg.predict(X)
plt.scatter(x, y)
plt.plot(np.sort(x), y2_predict[np.argsort(x)], color='r')
plt.show()

degree取不同值得到的均方误差和拟合结果
degree
MSE
plot
线性
3.0750025765636577
2
1.0987392142417856
10
1.050846676376417
100
0.6880004678712686
这张图不是特别准确,因为这根曲线只是原有数据点连接出来的结果. 因为有些x点取不到,不能准确描述所有点的y值, 均匀取值x并绘制图像如下

显示这不是我们想要的曲线。
结论:degree越高,对训练样本的拟合越好。 因为当degree足够大,总能找到一根曲线拟合所有的样本点,使得均方误差为0. 虽然拟合结果的均方误差小了,但它并没有真的反应样本点的曲线走势。 它为了拟合所有给定的样本而变得太过复杂,这就是过拟合(over fitting) 相反,如果只是使用一根直线来拟合样本数据,也没有很好的拟合样本的特征。 但它不是太复杂了,而是太简单了,这就是欠拟合(under fitting)
Last updated