—— 2 ——大厂系
在国内互联网大厂中,在大模型方面领先的第一梯队包括百度、阿里、京东与华为。除此之外,这一波宣布入场研发 ChatGPT 的互联网公司还有腾讯、字节跳动、快手、360、科大讯飞、网易等。在军备竞赛般的 ChatGPT 研发中,大厂的钞能力无疑占有绝对优势。
有行业人士评价,目前 360 在内的一些大厂在类 ChatGPT 技术上的各项指标只能达到略强于 GPT-2 的水平,与当前的 ChatGPT 相比尚有代差的落后,在语言大模型上属于赤手空拳上阵(如快手、科大讯飞、网易等),所以,类 ChatGPT 测试版的推出时间以及实际效果均存在重大不确定性。
在自然语言处理领域,百度是一众大厂中技术积累历史最长的一个。
百度文心大模型的研发由 CTO 王海峰带队。在「文心一言」项目中,王海峰也是担任总指挥,另有核心成员吴甜(百度集团副总裁、飞桨平台研发领衔人物)与吴华(百度技术委员会主席、百度翻译技术团队创始人之一)。
百度是国内最早深耕预训练模型研发的团队之一,2019 年就发布了中文效果超越 BERT 的 ERNIE 1.0 和 2.0 模型;2021 年 7 月发布的 ERNIE 3.0, 在 SuperGLUE 上超越了GPT-3;同年发布的“鹏程-百度·文心”(ERNIE 3.0 Titan)则是首个知识增强千亿级大模型。
“知识增强”是文心系列所走的技术路线,即引入语言知识和世界知识等,从大规模知识图谱和海量数据中融合学习,以提升大模型的学习效率和可解释性。
2021 年,百度还推出一款名为 PLATO 的对话机器人,模型基础是百亿参数对话生成大模型 PLATO-XL。
百度的优势在于其丰富的搜索语料数据,深耕 AI 研究多年的用户数据,并有百度飞桨深度学习平台、自研芯片加持。
微软与谷歌激烈开战之后,百度是国内最早宣布其研发类 ChatGPT 产品(「文心一言」)计划的团队之一。内部人员透露,其产品形态或为独立入口,或效仿微软 Bing、与百度搜索入口联通。
阿里巴巴达摩院从 2021 年入局大模型,参与了智源研究院「悟道·文汇」大模型的研发,后推出纯文本预训练语言模型 PLUG(270亿参数),完全参照 GPT-3 的架构,集语言理解与生成能力于一身,水平接近 GPT-3。
达摩院原智能计算实验室成员杨红霞(已于去年离职)与清华唐杰团队合作研发的 M6 多模态大模型系列,参数也从百亿升至十万亿。
在现任达摩院副院长周靖人的主导下,达摩院于去年 9 月推出了目前阿里大模型成果的集大成之作,即“通义”大模型。
「通义」大模型首次统一了模态、架构和任务,其背后的技术支撑是统一学习范式 OFA。
去年,为推进中文大模型的开源生态建设,达摩院还推出了 AI 模型开源社区「魔搭」(Model Scope),在业界引起巨大反响。
日前,达摩院已确认其正在研发基于「通义」大模型的阿里版 ChatGPT,除了文本生成外,还具备绘画功能。据了解,其类 ChatGPT 产品将和钉钉深度结合。
京东从 2020 年开始研究 AI 文本生成,用以支持京东商城商品页面描述的生成。有消息透露,京东商城页面中,20% 的产品介绍都是由 AI 团队用 NLP 技术生成。期间,由于 NLP 技术的整体消沉,研发受阻,但后来京东又重新重视,推出了言犀大模型。
2018 年从微软离开加入京东的何晓冬,是现任京东集团副总裁、京东 AI 研究院执行院长,也是如今京东大模型研究团队的带头人。
2021 年,他与原京东 AI 掌门人周博文(已于 2021 年 11 月离职)带队,在京东言犀篇平台上研发了领域性模型 K-PLUG。该模型与京东的电商场景紧密结合,从电商领域特定知识中学习,能够自动生成商品文案。
京东目前还没有千亿级参数的大模型,K-PLUG 也只有 10 亿参数,但这次京东云言犀平台也宣布入局,将推出 ChatGPT 产品「ChatJD」,且强调其“产业版”色彩。
华为的计算资源为其研究大模型提供了天然优势。
华为从 2020 年开始布局大模型,带头人是田奇(IEEE Fellow、国际欧亚科学院院士)。
2020 年 3 月,他加入华为云担任华为云人工智能领域首席科学家,同年夏 GPT-3 问世之后,他就立即组建团队,开始了盘古大模型的研发。华为因此成为 2020 年最早参与大模型竞赛的大厂之一。
基于昇腾 AI,与鹏程实验室、循环智能合作,华为于 2021 年 4 月发布了「盘古」系列大模型,包括 中文语言、视觉、多模态、科学计算四个大模型。
盘古 NLP 大模型是业界首个千亿级生成和理解中文大模型。在预训练阶段就学习了 40 TB 的中文文本数据,包括细分行业的小样本数据。在模型结构上,盘古采用 Encode 和 Decode 的架构,保证了其在生成和理解上的性能。
华为有千亿模型的研发经验,也有强大的计算资源,但这次其发声甚少,尚未明确是否会研发类 ChatGPT 产品。
—— 3 ——学术初创派
相关阅读 >>
美国政府审查腾讯9.19亿收购《麻布仔大冒险》的开发商sumo
epic 澄清:《最终幻想 7:重制版 intergrade》不会锁国区
更多相关阅读请进入《新闻资讯》频道 >>