微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型


本文摘自太平洋电脑网,原文链接:https://news.pconline.com.cn/1461/14619067.html,侵删。

微软和英伟达今天宣布了由DeepSpeed和Megatron驱动的Megatron-Turing自然语言生成模型(MT-NLG),这是迄今为止训练的最大和最强大的解码语言模型。 这个模型包括5300亿个参数,与现有最大的模型GPT-3相比,参数数量是其3倍。

训练这样的大型模型涉及各种挑战,沿着所有的人工智能轴线进行了许多创新和突破。例如,通过紧密合作,英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合,实现了前所未有的训练效率。

微软NVIDIA建立了高质量的自然语言训练语料库,其中包含数千亿个标记,并共同开发了训练配方,以提高优化效率和稳定性。

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

相关阅读 >>

饱受用户争议!微软回应win11任务栏问题:更改位置并不重要

微软edge、chrome将在windows 10、windows 11上获得新的剪贴板功能

ces2022:高通宣布与微软合作,共同开发定制ar芯片

最稳定windows 10正式被弃!微软喊话:快领福利 免费升级win11

微软优化窗口模式下的老游戏 windows 11用户有更好体验

win11取消任务栏拖拽功能 微软被喷数月终于悔改

美股罕见暴跌:苹果微软等5大科技公司损失2万亿

微软hololens 2 mr设备登陆印度:搭载骁龙850芯片

苹果“痛失”win11!曝微软官方确认m1芯片不支持新系统

微软推出新款surface hub 2智能摄像头

更多相关阅读请进入《微软》频道 >>



打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...