梯度下降收敛速度
1. 梯度下降收敛速度
梯度下降迭代更新公式
令
根据一阶导数性质,替换
【注:mirror descent“三点”性质可由该式推导出】
迭代完的位置与最优值之间的差值可以忽略不计,第一项占主导位置。
即需要迭代
注:步长
2. 次梯度下降收敛速度
令两部分都等于
收敛速度为
3. 总结
适用问题 | Lipschitz约束 | 步长 | 收敛速度 | ||
---|---|---|---|---|---|
凸函数且可导 | |||||
凸函数不可导 |
Enjoy Reading This Article?
Here are some more articles you might like to read next: