点击上方“计算机视觉life”，选择“星标”
快速获得最新干货
本文来自知乎问答整理，极市整理，侵删。原文链接：
https://www.zhihu.com/question/41631631/
知乎高质量回答
一、作者：萧瑟
https://www.zhihu.com/question/61174186/answer/746617249
训练技巧对深度学习来说是非常重要的，作为一门实验性质很强的科学，同样的网络结构使用不同的训练方法训练，结果可能会有很大的差异。这里我总结了近一年来的炼丹心得，分享给大家，也欢迎大家补充指正。
参数初始化。
下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度，影响收敛结果，甚至造成Nan等一系列问题。 
下面的n_in为网络的输入大小，n_out为网络的输出大小，n为n_in或(n_in+n_out)*0.5 
Xavier初始法论文：http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf
He初始化论文：https://arxiv.org/abs/1502.01852
uniform均匀分布初始化：
w = np.random.uniform(low=-scale, high=scale, size=[n_in,n_out])
Xavier初始法，适用于普通激活函数(tanh,sigmoid)：scale = np.sqrt(3/n)
He初始化，适用于ReLU：scale = np.sqrt(6/n)
normal高斯分布初始化：
w = np.random.randn(n_in,n_out) * stdev # stdev为高斯分布的标准差，均值设为0
Xavier初始法，适用于普通激活函数 (tanh,sigmoid)：stdev = np.sqrt(n)
He初始化，适用于ReLU：stdev = np.sqrt(2/n)
svd初始化：对RNN有比较好的效果。参考论文：https://arxiv.org/abs/1312.6120
数据预处理方式
zero-center ,这个挺常用的.
X -= np.mean(X, axis = 0) # zero-center
X /= np.std(X, axis = 0) # normalize
PCA whitening,这个用的比较少.
训练技巧
要做梯度归一化,即算出来的梯度除以minibatch size
clip c(梯度裁剪): 限制最大梯度,其实是value = sqrt(w1^2+w2^2….),如果value超过了阈值,就算一个衰减系系数,让value的值等于阈值: 5,10,15
dropout对小数据防止过拟合有很好的效果,值一般设为0.5,小数据上dropout+sgd在我的大部分实验中，效果提升都非常明显.因此可能的话，建议一定要尝试一下。dropout的位置比较有讲究, 对于RNN,建议放到输入->RNN与RNN->输出的位置.关于RNN如何用dropout,可以参考这篇论文:http://arxiv.org/abs/1409.2329
adam,adadelta等,在小数据上,我这里实验的效果不如sgd, sgd收敛速度会慢一些，但是最终收敛后的结果，一般都比较好。如果使用sgd的话,可以选择从1.0或者0.1的学习率开始,隔一段时间,在验证集上检查一下,如果cost没有下降,就对学习率减半. 我看过很多论文都这么搞,我自己实验的结果也很好. 当然,也可以先用ada系列先跑,最后快收敛的时候,更换成sgd继续训练.同样也会有提升.据说adadelta一般在分类问题上效果比较好，adam在生成问题上效果比较好。
除了gate之类的地方,需要把输出限制成0-1之外,尽量不要用sigmoid,可以用tanh或者relu之类的激活函数.1. sigmoid函数在-4到4的区间里，才有较大的梯度。之外的区间，梯度接近0，很容易造成梯度消失问题。2. 输入0均值，sigmoid函数的输出不是0均值的。
rnn的dim和embdding size,一般从128上下开始调整. batch size,一般从128左右开始调整.batch size合适最重要,并不是越大越好.
word2vec初始化,在小数据上,不仅可以有效提高收敛速度,也可以可以提高结果.
尽量对数据做shuffle
LSTM 的forget gate的bias,用1.0或者更大的值做初始化,可以取得更好的结果,来自这篇论文:http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf, 我这里实验设成1.0,可以提高收敛速度.实际使用中,不同的任务,可能需要尝试不同的值.
Batch Normalization据说可以提升效果，不过我没有尝试过，建议作为最后提升模型的手段，参考论文：Accelerating Deep Network Training by Reducing Internal Covariate Shift
如果你的模型包含全连接层（MLP），并且输入和输出大小一样，可以考虑将MLP替换成Highway Network,我尝试对结果有一点提升，建议作为最后提升模型的手段，原理很简单，就是给输出加了一个gate来控制信息的流动，详细介绍请参考论文: http://arxiv.org/abs/1505.00387
来自@张馨宇的技巧：一轮加正则，一轮不加正则，反复进行。
Ensemble
Ensemble是论文刷结果的终极核武器,深度学习中一般有以下几种方式
同样的参数,不同的初始化方式
不同的参数,通过cross-validation,选取最好的几组
同样的参数,模型训练的不同阶段，即不同迭代次数的模型。
不同的模型,进行线性融合. 例如RNN和传统模型.
二、作者：hzwer
https://www.zhihu.com/question/61174186/answer/746872558
总结一下在旷视实习两年来的炼丹经验，我主要做了一些 RL，图像质量，图像分类，GAN 相关的任务，日常大概占用 5 - 10 张卡。
『可复现性和一致性』
有的同学在打比赛的时候，从头到尾只维护若干份丹方（代码），每次载入前一次的训练参数，调一下丹方再炼，俗称老丹。这样会有几个问题：某次引入一个 bug，过了很久才发现，然后不知道影响范围；炼出一个金丹，但是不知道它是怎么来的；忘了自己的 baseline，不知道改动是正面还是负面。
要尽可能确保每一个丹有可复现性，实践上建议丹方不应该在炼丹后改动，炼新的丹时，把旧的丹方复制一遍。得到的实验结果要开个文档记下来以便日后总结，避免遗忘。我经常通过阅读自己和别人的记录来得到灵感。
实验一致性上也要多做努力，理想状态是有合理的基准来测丹的性能，同一个丹方不应该由于超参的微小改动而有显著结果差异。出现这种情况可能是数据太少或基准设置不当。
『资源利用』
对于新入行的同学，不要试图在玩具级别的数据集或任务上做靠谱的研究，比如 MNIST。
不是每一个实验都要出一个金丹，实验是为了验证结论的。如果每个实验都要 8 张卡跑两个星期，人力物力都耗不起。尽力把实验控制在单卡一天以内，理想状态是半天得一次结论。理论上来说，水多加面面多加水（加数据加计算量）的做法无限涨点。建议先设一个目标，比如说就是在一天的训练时间下做对比实验。
我的实践经验是，首先用小图小模型，比如 128 x 128 输入的 ResNet18；用 cProfile 来找性能瓶颈，比如我发现某个丹，炼的时候有一大半时间耗费在等数据，数据处理中一大半时间在调用 numpy 的 round 函数，前期把精力集中在提高做实验的效率上。
『模型不 work』
先把锦上添花的东西去掉，比如数据增广，玄学学习率和超参，魔幻损失函数，异形模型。如果世界上有一个非要加旋转增广和 1.96e-4 学习率 42 batchsize，配上四种混合损失函数才能炼好的丹，它应该存在于灵能文明。可以先造一些尽量玩具的模型，验证代码正确性。
『需要进一步改进』
先确认影响模型性能的组件。感性认识就是，数据是否需要增加或增广。模型是大了还是小了，再根据速度和精度期望开始寻找合适的模型。能用全卷积的任务，少用全连接层，参数量小。基本模型上 ResNet, Unet 结构还是主流。
当你的模型有 Batch Normalization，初始化通常不需要操心，激活函数默认 Relu 即可（某引用数万的大佬说的）。一般顺序是 Conv - BN - Relu。如果没有 BN（很多任务上，BN降低训练难度，但是可能影响最终性能 ），试着要做一些数据归一化。
虽然有至少十种激活函数，但在 Relu 外只推荐试一下 Swish。炼丹术只推荐 Momentum 和 Adam。在这些方面做尝试意义不大，如果性能提升反倒可能说明模型不成熟。不推荐做人肉模型设计，比如把某层卷积改大一点，或者微调一下通道数。除非有特别 insight，不要自己乱设计新组件。
超参上，learning rate 最重要，推荐了解 cosine learning rate 和 cyclic learning rate，其次是 batchsize 和 weight decay。当你的丹还不错的时候，可以试着做数据增广和改损失函数锦上添花了。
祝读到这里的各位模型涨点！
参考文献
Bag of Tricks for Image Classification with Convolutional Neural Networks，trick 合集 1。
Must Know Tips/Tricks in Deep Neural Networks，trick 合集 2。
( 链接: https://arxiv.org/abs/1812.01187 )
33条神经网络训练秘技，trick 合集 3。
( 链接: https://zhuanlan.zhihu.com/p/63841572 )
26秒单GPU训练CIFAR10，工程实践。
( 链接: https://zhuanlan.zhihu.com/p/79020733 )
Batch Normalization，虽然玄学，但是养活了很多炼丹师。
( 链接: https://arxiv.org/abs/1502.03167 )
Searching for Activation Functions，swish 激活函数。
( 链接: https://arxiv.org/abs/1710.05941 )
交流群欢迎加入公众号读者群一起和同行交流，目前有SLAM、检测分割识别、三维视觉、医学影像、GAN、自动驾驶、计算摄影、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

推荐阅读最全综述 | 医学图像处理
最全综述 | 图像分割算法
最全综述 | 图像目标检测
目标检测技术二十年综述
综述 | CVPR2019目标检测方法进展参加 CVPR 2019 技术见闻总结现在投身于计算机视觉是否明智？
如何激怒一个自动驾驶（无人驾驶、智能汽车）爱好者？
原来CNN是这样提取图像特征的。。。
AI资源对接需求汇总：第1期
AI资源对接需求汇总：第2期
AI资源对接需求汇总：第3期计算机视觉方向简介 | 人体骨骼关键点检测综述
计算机视觉方向简介 | 人脸识别中的活体检测算法综述
计算机视觉方向简介 | 目标检测最新进展总结与展望
计算机视觉方向简介 | 人脸表情识别
计算机视觉方向简介 | 人脸颜值打分
计算机视觉方向简介 | 深度学习自动构图
计算机视觉方向简介 | 基于RGB-D的3D目标检测
计算机视觉方向简介 | 人体姿态估计
最新AI干货，我在看