反向传播算法权重矩阵中W1的更新规则

下图是一个前馈网络,包含

  • 一个输入 x
  • 两个隐藏层,每层包括两个神经元
  • 一个输出

screen-shot-2017-12-04-at-12.31.11-pm

以下两个路径W1有利于得到输出:

  • 路径 A
  • 路径 B

(下图展示了这两个路径)

screen-shot-2017-12-04-at-12.49.13-pm

路径A

screen-shot-2017-12-04-at-12.49.52-pm

路径B

(应用链式法则时)路径 A 的数学导数是:

screen-shot-2017-12-04-at-12.40.54-pm

(应用链式法则时)路径 B 的数学导数是:

 

 

screen-shot-2017-12-04-at-12.42.55-pm

 

 

为了完成计算,我们需要考虑有利于计算 y 的所有路径。在这种例子下,我们提到了两条路径。因此,最后的计算是每条路径计算得出的导数之和。

screen-shot-2017-12-04-at-12.42.42-pm