本文摘自太平洋电脑网，原文链接：https://news.pconline.com.cn/1461/14619067.html，侵删。
微软和英伟达今天宣布了由DeepSpeed和Megatron驱动的Megatron-Turing自然语言生成模型（MT-NLG），这是迄今为止训练的最大和最强大的解码语言模型。 这个模型包括5300亿个参数，与现有最大的模型GPT-3相比，参数数量是其3倍。
训练这样的大型模型涉及各种挑战，沿着所有的人工智能轴线进行了许多创新和突破。例如，通过紧密合作，英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合，实现了前所未有的训练效率。
微软与NVIDIA建立了高质量的自然语言训练语料库，其中包含数千亿个标记，并共同开发了训练配方，以提高优化效率和稳定性。
相关阅读 >>
微软发布office insiders preview build 15402.20002
微软 onedrive 即将停止支持 ios 14/ipados 14
新版microsoft defender预览版应用在微软商店出现
微软推送kb5014678更新：wsl2正式登陆windows server 2022
更多相关阅读请进入《微软》频道 >>
