PyTorch

学习笔记（七）：

PyTorch

的⼗个优化器

加⼊极市专业

CV

交流群，与

6000+

来⾃腾讯，华为，百度，北⼤，清华，

中科院等名企名校视觉开发者互动交流！更有机会与李开复⽼师等⼤⽜群

内互动！

同时提供每⽉⼤咖直播分享、真实项⽬需求对接、⼲货资讯汇总，⾏业技

术交流。点击⽂末

“

阅读原⽂

”

⽴刻申请⼊群

~

作者

 | 

余霆嵩

来源专栏

 | PyTorch

学习笔记

本⽂截取⾃⼀个

github

上千星的⽕爆教程

——

《

PyTorch 

模型训练实⽤教程》，教程内容主要为

在

 PyTorch 

中训练⼀个模型所可能涉及到的⽅法及函数的详解等，本⽂为作者整理的学习笔记

（六），后续会继续更新这个系列，欢迎关注。

系列回顾：

PyTorch 

学习笔记（⼀）：让

PyTorch

读取你的数据集

PyTorch 

学习笔记（⼆）：

PyTorch

的数据增强与数据标准

化

PyTorch 

学习笔记（三）：

transforms

的⼆⼗⼆个⽅法

PyTorch 

学习笔记（四）：权值初始化的⼗种⽅法

PyTorch 

学习笔记（五）：

Finetune

和各层定制学习率

PyTorch 

学习笔记（六）：

PyTorch

的⼗七个损失函数

PyTorch

提供了⼗种优化器，在这⾥就看看都有哪些优化器。

1 

torch.optim.SGD

class torch.optim.SGD(params, lr=, momentum=0, dampening=0,

weight_decay=0, nesterov=False)

功能

:

可实现

SGD

优化算法，带动量

SGD

优化算法，带

NAG(Nesterov accelerated gradient)

动量

SGD

优化算法

,

并且均可拥有

weight_decay

项。

参数

:

params(iterable)- 

参数组

(

参数组的概念请查看

 3.2 

优化器基类：

Optimizer)

，优化器要管理的那