📃
Nielsen-NNDL
  • Introduction
  • 第1章 使用神经网络识别手写数字
    • 感知机神经元
    • sigmoid神经元
    • 神经网络的架构
    • 用于识别手写数字的简单网络
    • 梯度下降学习法
      • 准备工作
      • 梯度下降法
      • 应用到神经网络
    • 实现数字分类的神经网络
      • 数据集
      • 初始化
      • 向后传递
      • 随机梯度下降
      • 总结
  • 第2章 反向传播算法的工作原理
    • 热身:一种矩阵方法快速计算神经网络的输出
    • 关于代价函数的两个假设
    • Hadamard积
    • 反向传播算法中的4个等式
      • 一个新的定义
      • 4个等式
      • 等式的意义
    • 4个等式的证明
    • 反向传播算法
    • 代码解读
    • 反向传播算法为什么这么快
  • 第3章 提升神经网络的学习方法
    • cross-entropy代价函数
      • 当前神经网络存在的问题
      • 引入cross-entropy代价函数
      • 使用cross-entropy分类手写数字
      • cross-entropy代价函数是怎么推出来的
      • cross-entropy的数学意义
      • softmaxt+loglikelihood
    • 过拟合和正则化
      • 过拟合
      • L2正则化
      • 在当前神经网络中使用L2正则化
      • 其它问题
      • L1正则化
      • dropout正则化
      • 人为扩充训练数据
    • weights初始化
    • 回到手势识别代码
    • 怎样选择超参数
      • broad策略
      • 学习率eta
      • 迭代次数epochs
      • 正则化参数lambda
      • minibatch样本数m
      • 自动化技术
    • 其它技术
      • Hessian技术
      • momentum技术
      • tanh神经元
      • RectifiedLinear神经元
  • 第5章 训练深度神经网络难以训练
    • 梯度消失问题
    • 梯度消失的原因
  • 第6章 深度学习
    • 卷积神经网络介绍
      • LocalReceptiveField
      • SharedWeights
      • pooling层
      • 组装到一起
    • 卷积神经网络的实践与改进
    • 其它深度神经网络的方法
  • 术语中英文对照
Powered by GitBook
On this page
  • 神经元视角
  • 定义
  • 公式
  • 矩阵视角
  • 定义
  • 公式
  • 引申

Was this helpful?

  1. 第2章 反向传播算法的工作原理

热身:一种矩阵方法快速计算神经网络的输出

神经元视角

定义

wjklw_{jk}^lwjkl​:l-1层第k个神经与l层第j个神经元的连接的权重。 对于这个符号,我更喜欢这么解释:l-1层第k个神经元对l层第j个神经元的重要性。 bjlb_j^lbjl​:l层第j个神经元的偏移 ajla_j^lajl​:l层第j个神经元的输出

公式

\begin{eqnarray} a^{l}_j = \sigma\left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right), \tag{23}\end{eqnarray}

矩阵视角

把公式23以矩阵的形式表达出来。

定义

矩阵wlw^lwl:第l层所有神经元的权重。wjklw_{jk}^lwjkl​为wlw^lwl的j行k列。 向量blb^lbl:第l层所有神经元的偏移。 向量ala^lal:同上。 向量函数σ(v)\sigma(v)σ(v):对向量v中的每一个元素做σ\sigmaσ然后把结果再合并成一个向量。即:σ(v)j=σ(vj)\sigma(v)_j = \sigma(v_j)σ(v)j​=σ(vj​)

公式

\begin{eqnarray} a^{l} = \sigma(w^l a^{l-1}+b^l). \tag{25}\end{eqnarray}

用矩阵方式写公式的好处: 1. 更简洁。 2. 更少的上/下标。 3. 向量运算更快。

引申

令:

zl≡wlal−1+blz^l \equiv w^l a^{l-1}+b^lzl≡wlal−1+bl

称zl为l层神经元的加权输入。 在后面的章节中,zl将有特殊的用处。

Previous第2章 反向传播算法的工作原理Next关于代价函数的两个假设

Last updated 5 years ago

Was this helpful?