梯度有界性

非凸函数¶

表示一个具有多个局部最小值和鞍点的函数

鞍点：函数 𝑓(𝑥) 的鞍点是指在某一点 𝑥∗，函数值 𝑓(𝑥∗) 在不同方向上表现出相反的极值趋势：
在某些方向上，𝑓(𝑥∗)是局部最大值。
在其他方向上，𝑓(𝑥∗)f 是局部最小值。换句话说，鞍点是一个混合极值点。

梯度有界性数学表示为

\[||\nabla f(x)|| \leq B\]

B为一个正常数，称为梯度的上界。

SGD更新规则为

\[x_{t+1}=x_t-\eta \nabla f(x_t)\]

由于梯度有界性，可以确保每一步更新都不会过大