昆明网络调试的相关技巧

我们的这个昆明网络调试请打印出训练集的cost值和测试集上cost值的变化趋势，正常情况应该是训练集的cost值不断下降，趋于平缓，或者小范围震荡，测试集的cost值先下降，然后开始震荡或者慢慢上升。如果神经网络代码，我们在进行昆明网络调试全部是自己实现的，那么强烈建议做梯度检查。确保梯度计算没有错误。

昆明网络调试要先从简单的网络开始实验，不要仅仅看cost值，还要看一看神经网络的预测输出是什么样子，确保能跑出预期结果。例如做语言模型实验的时候，先用一层RNN，如果一层RNN正常，再尝试LSTM，再进一步尝试多层LSTM。

我们在进行这个昆明网络调试的时候如果可能的话，可以输入一条指定数据，然后自己计算出每一步正确的输出结果，再检查一下神经网络每一步的结果，是不是一样的。