如何减少 AI 大模型的功耗

AI 技术对电力的狂热需求可以上溯到 2012 年的 AlexNet。当时多伦多大学的 AI 研究员 Alex Krizhevsky、 Ilya Sutskever 和 Geoffrey E. Hinton 正在为图像识别竞赛 ImageNet LSRVC 开发一种卷积神经网络。在当时图像识别是非常有挑战性的。研究人员认为他们需要一个庞大的神经网络，该网络以首席研究员的名字命名为 AlexNet，它有超过 6000 万参数和 65 万个神经元。但一大问题是如此大的神经网络如何进行训练？他们的实验室里有几张英伟达 GTX 580 显卡，每张配备了 3GB 显存，但 AlexNet 太大没办法加载到单张显卡上。研究人员设法将训练阶段划分到两张并行工作的 GPU 上——一半神经元在一张 GPU 上，另一半在另一张上运行。AlexNet 以压倒性优势赢得了 2012 年的比赛，从此 AI 模型的规模不再受限于单张显卡了，而妖精也从瓶子里释放了出来。在 AlexNet 之后，越来越强大的 AI 模型需要成千上万张 GPU。根据 Electric Power Research Institute (EPRI)的报告，2010 年到 2020 年间数据中心的功耗相对平稳，原因是英伟达数据中心 GPU 的功耗同期提升了大约 15 倍，因此能保持数据中心功耗的稳定。到了 2022 年基于 transformer 的大模型的出现推动了数据中心功耗的大幅提升。大模型需要处理数百亿甚至数千亿个神经元，训练之后的推理阶段还需要处理大量数据。Open AI 在训练新模型时使用了超过 25,000 张英伟达 Ampere 100 GPU，持续了 100 天，耗电量 50 GW 时，足以满足一个中型城镇一年的电力需求。根据 Google 的数据，训练占 AI 模型生命周期总耗电量的四成，剩下的六成是推理。功耗的飙升促使科学家思考如何在不牺牲性能的情况下减少内存和计算要求。研究人员尝试了模型剪枝、量化等优化方法。