集成应用于深度学习时，组合若干网络的预测以得到最终预测。通常，使用不同架构的神经网络比较好，因为不同架构的网络更可能在不同的训练样本上犯错，因而集成的收益会更大。
然而，你也可以集成同一架构的模型，并得到出乎意料的好效果。比如，在这篇快照集成的论文中，作者在训练同一个网络时保存了权重快照，在训练之后，创建了同一架构、不同权重的网络集成。这可以提升测试表现，同时也是一个非常节省开销的方法，因为你只训练一个模型，训练一次，只不过不时地保存权重。
每个学习率周期末尾保存模型；图片来源：原论文
你可以阅读文章开头提到的Vitaly Bushaev的博客文章了解细节。如果你到目前为止还没有尝试过周期性学习率，那你真应该尝试一下，它正在成为当前最先进的技术，而且非常简单，算力负担也不重，可以说是在几乎不增加额外开销的前提下提供显著的增益。
快照集成使用周期性学习率退火；图片来源：Vitaly Bushaev
上面所有的例子都是模型空间内的集成，组合若干模型，接着使用这些模型的预测以得到最终模型。
而本文开头提到的论文，作者提出的是权重空间内的集成。该方法通过组合同一网络在训练的不同阶段的权重得到一个集成，接着使用组合的权重做出预测。这一方法有两大优势：
组合权重后，我们最终仍然得到一个模型，这有利于加速预测。
该方法超过了当前最先进的快照集成。
在我们看看这一方法是如何工作之前，我们需要先理解损失平面（loss surface）和概化解（generalizable solution）。
权重空间的解
第一个重要的洞见是，一个训练好的网络是多维权重空间中的一点。对任何给定的架构而言，每个不同的网络权重组合产生一个不同的模型。任何给定架构都有无穷的权重组合，因而有无穷的解。训练神经网络的目标是找到一个特定的解（权重空间中的点），使得训练数据集和测试数据集上的损失函数的值都比较低。
在训练中，训练算法通过改变权重来改变网络并在权重空间中漫游。梯度下降算法在一个损失平面上漫游，该平面的海拔为损失函数的值。
狭窄最优和平坦最优
可视化和理解多维权重空间的几何学非常困难。与此同时，了解它又非常重要，因为随机梯度下降本质上是在训练时穿过这一高维空间中的损失平面，试图找到一个良好的解——损失平面上的一“点”，那里损失值较低。研究表明，这一平面有很多局部最优值。但这些局部最优值并不同样良好。
为了处理一个14维空间中的超平面，可视化一个3维空间，然后大声对自己说“十四”。每个人都这么做。
