512颗GPU!阿里达摩院发布全球最大AI预训练模型


本文摘自太平洋电脑网,原文链接:https://news.pconline.com.cn/1467/14677809.html,侵删。

11月8日,阿里巴巴达摩院公布了多模态大模型“M6”的最新进展,其参数已从万亿跃迁至10万亿,成为全球最大的AI预训练模型。

作为通用性AI大模型,M6拥有多模态、多任务能力,尤其擅长设计、写作、问答,在电商、制造业、文学艺术、科学研究等领域有广泛应用前景。

10月,M6再次突破业界极限, 使用512颗GPU,在10天内就训练出了具有可用水平的10万亿模型,相比去年发布的大模型GPT-3,M6实现了同等参数规模,能耗却只有1%。

512颗GPU!阿里达摩院发布全球最大AI预训练模型

另一方面,AI大模型扩展到千亿及以上参数的超大规模时,很难放在一台机器上,为此达摩院 在阿里云PAI自研Whale框架上搭建了MoE模型,并通过更细粒度的CPU offload技术,最终实现将10万亿参数放进512张GPU

512颗GPU!阿里达摩院发布全球最大AI预训练模型

目前,达摩院联合阿里云已推出 M6服务化平台 ,为大模型训练及应用提供完备工具,首次让大模型实现“开箱即用”,算法人员及普通用户均可方便地使用平台。

相关阅读 >>

人工智能并非万能!芒格谈ai:很重要,但炒作成分太多

微软新必应日活用户突破1亿 主要得益于整合ai聊

ai绘制《守望先锋》角色图赏:铁拳成灭霸 小美更肥

数字长宁体验馆来了!会上海话的ai主播、北京冬奥数字人民币体验,这里都有

企查查显示阿里巴巴成立科技新公司 注册资本3000万

蔡崇信吴泳铭正式履新 张勇卸任阿里云董事长与c

微软将chatgpt集成到azure openai服务中,每100

智能语音飞跃!谷歌助手集成生成式ai技术,几个

夸克举办“aigc与场景化应用创新”主题研讨会 探讨大模型应用新趋势

阿里重大调整!新设中国数字商业和海外数字商业两板块

更多相关阅读请进入《阿里》频道 >>



打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...