4个等式

说明1：以下公式中的C都是指$C_x$

等式一：输出层上的error

\begin{eqnarray} \delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma'(z^L_j). \tag{BP1}\end{eqnarray}

公式说明： $\frac{\partial C}{\partial a^L_j}$代表当$a^L_j$变化时C的变化有多快。 $\sigma'(z^L_j)$代表在$z^L_j$激活函数$\sigma$变化有多快。 将公式（BP1）写成矩阵形式为：

\begin{eqnarray} \delta^L = \nabla_a C \odot \sigma'(z^L). \tag{BP1a}\end{eqnarray}

例如在上一章中使用的二次代价函数$C_x = \frac{1}{2} \|y-a^L \|^2$，其对应的error计算公式为：

\begin{eqnarray} \delta^L = (a^L-y) \odot \sigma'(z^L). \tag{30}\end{eqnarray}

等式二：根据下一层计算当前层的error

\begin{eqnarray} \delta^l = ((w^{l+1})^T \delta^{l+1}) \odot \sigma'(z^l), \tag{BP2}\end{eqnarray}

we can think intuitively of this as moving the error backward through the network, giving us some sort of measure of the error at the output of the lth layer. We then take the Hadamard product ⊙σ′(zl). This moves the error backward through the activation function in layer l, giving us the error δl in the weighted input to layer l.

[?] 这一段不太懂？

通过公式（BP1）和公式（BP2）的结合，可以计算出每一层每一个神经元的error。

等式三：bias公式

\begin{eqnarray} \frac{\partial C}{\partial b^l_j} = \delta^l_j. \tag{BP3}\end{eqnarray}

或

\begin{eqnarray} \frac{\partial C}{\partial b} = \delta, \tag{31}\end{eqnarray}

等式四：weights公式

\begin{eqnarray} \frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j. \tag{BP4}\end{eqnarray}

或

\begin{eqnarray} \frac{\partial C}{\partial w} = a_{\rm in} \delta_{\rm out}, \tag{32}\end{eqnarray}