深度学习

微软开源深度学习优化库 DeepSpeed,可训练 1000 亿参数的模型
新闻资讯

微软开源深度学习优化库 DeepSpeed,可训练 1000 亿参数的模型

136 0

人工智能的最新趋势是,更大的自然语言模型可以提供更好的准确性,但是由于成本、时间和代码集成的障碍,较大的模型难以训练。微软日前开源了一个深度学习优化库 DeepSpeed,通过提高规模、速度、可用性并降低成本,可以在当前一代的 GPU 集群上训练具有超过 1000 亿个参数的深…