目录
正文
一、惩罚项
通常权重衰减的计算并不使用偏置项\(b_i^{(l)}\)。
一般来说，将偏置项包含在权重衰减项中只会对最终的神经网络产生很小的影响。
权重衰减实际上是课上提到的贝叶斯规则化方法的变种。
在贝叶斯规则化方法中，我们将高斯先验概率引入到参数中计算MAP（极大后验）估计（而不是极大似然估计）
权重衰减参数 \(\lambda\) 用于控制公式中两项的相对重要性。
参考文献：
http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
