文章导读
大家好，我是苏承栈。今天我们来聊聊神经网络训练中遇到的一个关键问题：如何判断critical point的具体类型？这个问题涉及到局部最小值、鞍点等概念，对于理解神经网络训练过程至关重要。读完这篇文章，你将了解到如何通过Hessian矩阵来判断critical point的类型，以及如何处理saddle point等问题。正文部分
在神经网络训练中，我们经常会遇到critical point，即梯度为0的点。这些点可以分为三类：局部最小值、局部最大值和鞍点。
如何判断critical point的具体类型
要判断critical point的具体类型，我们需要了解loss function的形状，并使用泰勒展开式进行分析。
当θ近似于θ'时，L(θ)可近似为L(θ') + g(θ') * (θ - θ') + 1/2 * g'(θ') * (θ - θ')^2当我们遇到critical point时，g(Gradient) = 0，即上式第二项为0。此时，我们可以根据上式第三项的Hessian Matrix来判断θ附近error surface的大致样子，从而判断该点属于何种类型。
处理saddle point
在saddle point处，我们可以通过Hessian矩阵找到特征向量u及对应的特征值λ，然后将θ沿着u方向更新，即可降低loss。
将3项改写为1/2 * λ * ||u||^2，沿着u，即特征值的方向更新θ即可降低loss需要注意的是，实际应用中一般不会计算Hessian矩阵，因为计算量较大。我们可以通过其他方法来escape saddle point。
总结
通过本文，我们了解了如何判断critical point的具体类型，以及如何处理saddle point等问题。这些问题对于神经网络训练至关重要，希望大家能够掌握。
小结与拓展
本文主要介绍了神经网络训练中如何判断critical point的具体类型，以及如何处理saddle point等问题。这些问题对于理解神经网络训练过程至关重要。在实际应用中，我们还需要考虑batch size、momentum、Adaptive learning rate等因素，以优化神经网络训练过程。
我是苏承栈，如果你对神经网络训练还有其他疑问，欢迎关注「极星编程网」（www.jxgpc.com），了解更多内容。