📔
liu_yu_bo_play_with_machine_learning
  • README
  • src
    • Introduction
    • Summary
    • Chapter10
      • 第十章:评价分类结果
    • Chapter10
      • 10-2 精确率和召回率
    • Chapter10
      • 10-3 实现混淆矩阵、精准率、召回率
    • Chapter10
      • 10-4 F1 score
    • Chapter10
      • 10-5 Precision-Recall平衡
    • Chapter10
      • 10-6 precision-recall曲线
    • Chapter10
      • 10-7 ROC曲线
    • Chapter10
      • 10-8 多分类问题中的混淆矩阵
    • Chapter11
      • 11-1 什么是支撑向量机
    • Chapter11
      • 11-2 支撑向量机的推导过程
    • Chapter11
      • 11-3 Soft Margin和SVM的正则化
    • Chapter11
      • 11-4 scikit-leran中的SVM
    • Chapter11
      • 11-5 SVM中使用多项式特征
    • Chapter11
      • 11-6 什么是核函数
    • Chapter11
      • 11-7 高斯核函数
    • Chapter11
      • 11-8 scikit-learn中的高斯核函数
    • Chapter11
      • 11-9 SVM思想解决回归问题
    • Chapter12
      • 第十二章:决策树
    • Chapter12
      • 12-2 信息熵
    • Chapter12
      • 12-3 使用信息寻找最优划分
    • Chapter12
      • 12-4 基尼系数
    • Chapter12
      • 12-5 CART和决策树中的超参数
    • Chapter12
      • 12-6 决策树解决回归问题
    • Chapter12
      • 12-7 决策树的局限性
    • Chapter13
      • 第十三章:集成学习和随机森林
    • Chapter13
      • 13-2 soft voting
    • Chapter13
      • 13-3 bagging和pasting
    • Chapter13
      • 13-4 更多关于bagging的讨论
    • Chapter13
      • 13-5 随机森林和extra-trees
    • Chapter13
      • 13-6 ada boosting和gradiesnt boosting
    • Chapter13
      • 13-7 Stacking
    • Chapter4
      • KNN - K近邻算法 - K-Nearest Neighbors
    • Chapter4
      • 4-1
    • Chapter4
      • 4-2
    • Chapter4
      • 4-3 训练数据集,测试数据集
    • Chapter4
      • 4-4 分类准确度
    • Chapter4
      • 4-5
    • Chapter4
      • 4-6 网格搜索
    • Chapter4
      • 4-7
    • Chapter4
      • 4-8 scikit-learn中的Scaler
    • Chapter4
      • 4-9 更多有关K近邻算法的思考
    • Chapter5
      • 线性回归算法
    • Chapter5
      • 5-1
    • Chapter5
      • 5-10 线性回归的可解释性和更多思考
    • Chapter5
      • 5-2 最小二乘法
    • Chapter5
      • 5-3 简单线性回归的实现
    • Chapter5
      • 5-4 参数计算向量化
    • Chapter5
      • 5-5 衡量线性回归算法的指标
    • Chapter5
      • 5-6 最好的衡量线性回归法的指标 R Squared
    • Chapter5
      • 5-7 简单线性回归和正规方程解
    • Chapter5
      • 5-8 实现多元线性回归
    • Chapter5
      • 5-9 scikit-learn中的回归算法
    • Chapter6
      • 第六章:梯度下降法
    • Chapter6
      • 6-2 模拟实现梯度下降法
    • Chapter6
      • 6-3 多元线性回归中的梯度下降法
    • Chapter6
      • 6-4 在线性回归模型中使用梯度下降法
    • Chapter6
      • 6-5 梯度下降的向量化
    • Chapter6
      • 6-6 随机梯度下降
    • Chapter6
      • 6-7 代码实现随机梯度下降
    • Chapter6
      • 6-8 调试梯度下降法
    • Chapter6
      • 6-9 有关梯度下降法的更多深入讨论
    • Chapter7
      • 主成分分析法 PCA Principal Component Analysis
    • Chapter7
      • 7-1
    • Chapter7
      • 7-2 使用梯度上升法求解主成分分析问题
    • Chapter7
      • 7-3 代码实现主成分分析问题
    • Chapter7
      • 7-4 求数据的前N个主成分
    • Chapter7
      • 7-5 高维数据向低维数据映射
    • Chapter7
      • 7-6 scikit learn中的PCA
    • Chapter7
      • 7-7 MNIST数据集
    • Chapter7
      • 7-8 使用PCA降噪
    • Chapter7
      • 7-9 人脸识别和特征脸(未完成)
    • Chapter8
      • 第八章:多项式回归与模型泛化
    • Chapter8
      • 8-10 L1,L2和弹性网络
    • Chapter8
      • 8-2 scikit-learn中的多项式回归和pipeline
    • Chapter8
      • 8-3 过拟合和欠拟合
    • Chapter8
      • 8-4 为什么要训练数据集和测试数据集
    • Chapter8
      • 8-5 学习曲线
    • Chapter8
      • 8-6 验证数据集与交叉验证
    • Chapter8
      • 8-7 偏差方差权衡 Bias Variance Trade off
    • Chapter8
      • 8-8 模型正则化 Regularization
    • Chapter8
      • 8-9 LASSO Regularization
    • Chapter9
      • 第九章:逻辑回归
    • Chapter9
      • 9-2 逻辑回归的损失函数
    • Chapter9
      • 9-3 逻辑回归算法损失函数的梯度
    • Chapter9
      • 9-4 实现逻辑回归算法
    • Chapter9
      • 9-5 决策边界
    • Chapter9
      • 9-6 在逻辑回归中使用多项式特征
    • Chapter9
      • 9-7 scikit-learn中的逻辑回归
    • Chapter9
      • 9-8 OvR与OvO
Powered by GitBook
On this page
  • 向量化计算a, b
  • 绘制结果
  • 向量化实现的性能测试
  1. src
  2. Chapter5

5-4 参数计算向量化

PreviousChapter5NextChapter5

Last updated 5 years ago

5-3中计算a, b的实现方法性能较低,使用向量化运算能提高性能 即把以下公式向量化:

向量化的依据:

向量化计算a, b

import numpy as np

class SimpleLinearRegression2:
    def __init__(self):
        """初始化Single Linear Regression模型"""
        self.a_ = None
        self.b_ = None

    def fit(self, x_train, y_train):
        """根据训练数据集X_train, y_train训练Single Linear Regression模型"""
        assert x_train.ndim == 1, "Simple Linear Regressor can only solve single feature training data"
        assert len(x_train) == len(y_train), "the size of x_train must be equal to the size of y_train"

        x_mean = np.mean(x_train)
        y_mean = np.mean(y_train)

        num = (x_train - x_mean).dot(y_train - y_mean)
        d = (x_train - x_mean).dot(x_train - x_mean)

        self.a_ = num / d
        self.b_ = y_mean - self.a_ * x_mean

    def predict(self, x_predict):
        """给定待测数据集X_predict,返回表示x_predict的结果向量"""
        assert x_predict.ndim == 1, "Simple Linear Regressor can only solve single feature training data"
        assert self.a_ is not None and self.b_ is not None, "must fit before predict"
        return [self._predict(x) for x in x_predict]

    def _predict(self, x_single):
        """给定单个待预测数据s_single,返回x_single的预测结果"""
        return self.a_ * x_single + self.b_

    def __repr__(self):
        return "SimpleLinearRegression2()"

绘制结果

import numpy as np
import matplotlib.pyplot as plt

x = np.array([1., 2., 3., 4., 5.])
y = np.array([1., 3., 2., 3., 5.])

reg2 = SimpleLinearRegression2()
reg2.fit(x, y)

y_hat2 = reg2.predict(x)

plt.scatter(x, y)
plt.plot(x, y_hat2, color='r')
plt.axis([0, 6, 0, 6])
plt.show()

向量化实现的性能测试

m = 1000000
big_x = np.random.random(size = m)
big_y = big_x * 3.0 + 2.0 + np.random.normal(size = m)

%timeit reg1.fit(big_x, big_y)    # reg1见5-4
%timeit reg2.fit(big_x, big_y)

输出结果: 1.15 s ± 12.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) 25.2 ms ± 2.08 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

可见向量化计算能大幅度地提高性能,因此能用向量化计算的地方尽量用向量化计算

输出结果: