1.20 深度学习优化器对比-港品优选

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖
💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖

1 核心优化器分类与对比表

优化器	核心原理	学习率特性	优点	缺点	关键参数	典型学习率	适用场景
SGD	随机梯度下降，参数 = 参数 - lr × 梯度	固定全局学习率	简单、泛化性好、内存消耗低	收敛慢、易震荡、对学习率极敏感	lr, weight_decay	1e-2	数据量大、简单任务（如CNN）、追求泛化性
SGD+Momentum	引入“动量”（模拟物理惯性），参数 = 参数 - (lr×梯度 + 动量×历史更新量)