512颗GPU！阿里达摩院发布全球最大AI预训练模型

来源：快科技时间：2021-11-09 13:54:07

11月8日，阿里巴巴达摩院公布了多模态大模型“M6”的最新进展，其参数已从万亿跃迁至10万亿，成为全球最大的AI预训练模型。

作为通用性AI大模型，M6拥有多模态、多任务能力，尤其擅长设计、写作、问答，在电商、制造业、文学艺术、科学研究等领域有广泛应用前景。

10月，M6再次突破业界极限， 使用512颗GPU，在10天内就训练出了具有可用水平的10万亿模型，相比去年发布的大模型GPT-3，M6实现了同等参数规模，能耗却只有1％。

另一方面，AI大模型扩展到千亿及以上参数的超大规模时，很难放在一台机器上，为此达摩院 在阿里云PAI自研Whale框架上搭建了MoE模型，并通过更细粒度的CPU offload技术，最终实现将10万亿参数放进512张GPU：

M6设计的飞行汽车

目前，达摩院联合阿里云已推出 M6服务化平台，为大模型训练及应用提供完备工具，首次让大模型实现“开箱即用”，算法人员及普通用户均可方便地使用平台。

【来源：快科技】【作者：上方文Q】