神经网络常见问题

写深度学习的代码多了，经常会发现网络准确率低、难以收敛等错误，大多时候不是算法问题，而是人为的 bug，特此记录。

比如：为何网络的误差一直是一个定值？为何同样的网络、同样的优化器和学习率，训练得到的准确率比别人低 20% ？

1. 神经网络处理数据时不进行标准化，准确率会下降很多；
2. 神经网络的学习率至关重要，batch 大而学习率小，batch 小而学习率大，都会导致不收敛问题。此外，学习率衰减很重要，能有效提升卡在瓶颈中的神经网络的准确率。
3. 复现去噪器时，噪音数据在损失函数内部生成。如果在损失外部生成噪音并输入网络，会导致网络的误差恒定为噪音的方差。

结语

本文持续整理中。