这次的课比较轻松,简单的来说就是链式法则,帅小哥为了让学生更能理解所以用了不同的方式来讲解这个 BP 的推导。流程图的形式的推导对之后的 Tensorflow 的直观理解很有帮助,不过这里就只保留 BP 推导后的一些经验的总结。
为什么要推导 BP 算法呢
- 真正理解神经网络背后的数学 - 反向传播算法
- Backprop can be an imperfect abstraction - BP 还是不完善的
- 如会出现梯度消失、梯度爆炸等
- 当你 Debug 模型,和设计新模型的时候会需要懂它