优化神经网络训练方法有哪些？

机器学习123

优化神经网络训练方法有哪些？

WHEELTEC-Catt

1、考虑换一种学习率 schedule
2、在 DataLoader 中使用多个 worker 和页锁定内存
3、把 batch 调到最大
4、使用自动混合精度（AMP）
5、考虑使用另一种优化器
6、cudNN 基准
7、小心 CPU 和 GPU 之间频繁的数据传输
8、使用梯度 / 激活 checkpointing
9、使用梯度积累
10、使用分布式数据并行进行多 GPU 训练
11、设置梯度为 None 而不是 0
12、使用. as_tensor() 而不是. tensor()
13、必要时打开调试工具
14、使用梯度裁剪
15、在 BatchNorm 之前关闭 bias
16、在验证期间关闭梯度计算
17、使用输入和 batch 归一化