【梯度下降法】一、概述
梯度下降法是一种在机器学习和优化问题中广泛应用的算法，主要用于寻找函数的最小值。其核心思想是通过不断沿着目标函数的负梯度方向调整参数，逐步逼近最优解。该方法在神经网络训练、线性回归、逻辑回归等任务中具有重要作用。
二、基本原理
梯度下降法基于以下数学原理：
- 梯度：表示函数在某一点处的上升最快的方向。
- 负梯度：表示函数在该点处下降最快的方向。
- 通过反复计算当前点的梯度，并沿负梯度方向更新参数，使目标函数逐渐减小。
三、梯度下降法类型
| 类型 | 描述 | 优点 | 缺点 |
| 批量梯度下降（BGD） | 每次使用全部数据计算梯度 | 收敛稳定，精度高 | 计算量大，内存占用高 |
| 随机梯度下降（SGD） | 每次使用一个样本计算梯度 | 计算速度快，适合大规模数据 | 收敛波动大，易受噪声影响 |
| 小批量梯度下降（MBGD） | 每次使用一小部分数据计算梯度 | 折中方案，兼顾速度与稳定性 | 需要调整批量大小 |
四、梯度下降法的步骤
1. 初始化参数：设定初始值，如权重 $ w $ 和偏置 $ b $。
2. 计算梯度：根据当前参数计算损失函数的梯度。
3. 更新参数：按照学习率 $ \eta $ 和梯度方向更新参数：
$$
w := w - \eta \cdot \frac{\partial L}{\partial w}
$$
4. 迭代直到收敛：重复步骤2和3，直到达到预设的迭代次数或梯度接近于零。
五、关键参数
| 参数 | 说明 |
| 学习率（$\eta$） | 控制每次参数更新的步长，过大可能导致不收敛，过小则收敛慢 |
| 迭代次数 | 控制算法运行的总轮数 |
| 收敛条件 | 判断是否停止的依据，如梯度足够小或损失变化小于阈值 |
六、优缺点总结
| 优点 | 缺点 |
| 实现简单，易于理解 | 对超参数敏感，尤其是学习率 |
| 广泛适用于多种模型 | 可能陷入局部最小值 |
| 在大规模数据上效率较高 | 需要合理选择批量大小 |
七、应用场景
- 线性回归
- 逻辑回归
- 神经网络训练
- 支持向量机（SVM）
- 深度学习模型优化
八、总结
梯度下降法是优化算法中的基础工具，其核心在于利用梯度信息指导参数更新，从而实现对目标函数的最小化。不同类型的梯度下降法各有适用场景，实际应用中需根据数据规模、计算资源和模型复杂度进行选择。合理设置学习率和批量大小是提升算法性能的关键。