谷歌开源其GPipe 为满足各领域海量数据处理训练需求

　　【CNMO新闻】谷歌的人工智能研究部门近日开放了源代码的GPipe，一个在Lingvo下、有效训练深度神经网络的库。谷歌AI软件工程师黄艳平在一篇博客文章中说，它适用于任何由多个连续层组成的网络，让研究人员可以轻松地对性能进行衡量。
　　深度神经网络（DNNs）已经提出了许多机器学习任务，包括语音识别、视觉识别和语言处理。较大的DNN模型会带来更好的任务性能，过去在视觉识别任务方面的进展，也表明模型大小和分类准确率之间存在很强的相关性。

谷歌

　　正如黄和他的同事在一篇论文中所表示的，GPipe实现了两种非常棒的人工智能训练技术。一种是同步随机梯度下降，用于更新给定AI模型s参数的优化算法；另一种是管道并行性，即将一个步骤s的输出，化为下一个步骤的输入。
　　GPipe的大部分性能提升，来自于对AI模型更好的内存分配，它通过不同的加速器划分模型，并自动分割小批，这使得内核可以并行操作，并进一步在微批之间累积梯度，从而防止分区影响模型质量。
　　在一个实验中，谷歌在TPU上训练了一个深度学习算法AmoebaNet-B，其中包含5.57亿个模型参数和样本图像，在每个TPU上，包含了18亿个参数。黄说，它在流行的数据集上表现良好，ImageNet的准确率达到84.3%，CIFAR-10准确率达到99%，CIFAR-100准确率达到91.3%。在另一项涉及AmoebaNet-D算法的测试中，其训练速度也有所提高。
　　黄写道，自动驾驶和医学成像等许多实际机器学习应用的发展取决于精确度，这就需要构建更大、更复杂的模型，我们很高兴提供GPipe，并希望它是有效培训大型DNNs的基础设施。