本文摘自雷锋网,原文链接:https://www.leiphone.com/category/ai/hbGYZibF8A72LdJM.html,侵删。
继谷歌献上「Bard」后,中国科技圈也开始沸腾,原本苦哈哈的自然语言处理科研团队,如今成了大家的香饽饽。一场关于资本与人才的竞争已经拉开。
「打造中国版 ChatGPT」,在王慧文的英雄帖中传出,一传十、十传百,成为中国 AI 从业者的共同目标。
然而,无论近日来关于 ChatGPT 的讨论有多火热,我们都要直视一个残酷的现实:在追击 OpenAI 的这场竞技中,最终能攻上光明顶的团队并不多。
一方面是成本高昂,「炼」大模型的资金只是打造 ChatGPT 的入场券;另一方面,则是能训练大模型的人才有限。大模型是 OpenAI 打造 ChatGPT 的技术基石,能否找到适合的人,也极为关键。
大模型必然是一个产学研合力的方向,ChatGPT 的入局者要想取胜,不仅要有顶尖科学家,还需要有对政商环境有理解、有经验的运营团队,也要有在资本市场有号召力、愿意 All in 的明星创业者加入。
本篇旨在从学术研究的角度出发,对国内各大潜在力量在这一波 ChatGPT 竞赛中的位置进行盘点。
—— 1 ——高校力量:清华一骑绝尘
在一众高校中,清华大学的位置当属最前。
清华是国内自然语言处理领域(NLP)的学术研究重地,其 NLP 的研究历史深厚, 研究队伍庞大,有唐杰、孙茂松、刘知远、黄民烈等知名学者坐镇,他们近年在语言大模型领域的工作十分突出。而且,各大厂的大模型领头人中,也有多位是清华子弟,如京东集团副总裁何晓冬、华为云人工智能领域首席科学家田奇等。
梳理下来,清华系追赶这一波 ChatGPT 的潜在力量主要有三支:一是知识工程实验室(KEG),由李涓子和唐杰带队;二是自然语言处理与社会人文计算实验室(THUNLP),学术带头人为孙茂松,团队主力刘知远是其门下高徒;三是交互式人工智能课题组(CoAI),由朱小燕及其学生黄民烈共同领导。
在上一波炼大模型热潮中,清华大学计算机系教授唐杰是最突出的学术代表之一。2020 年,他聚合北京高校,领衔研发了智源研究院的「悟道」1.0 和 2.0 大模型。
同时,唐杰也是一个十分注重产学研结合与大模型生态建设的学者。2019 年,依托明星产品AMnier 和知识工程实验室的技术成果,唐杰与李涓子带领成立了智谱 AI。现公司团队有唐杰的多位学生,都是参与「悟道」2.0 的主力。
唐杰是数据挖掘方向出身,李涓子则是知识图谱方向著名学者,这决定了智谱 AI 做大模型的特色是“数据+知识”。去年,智谱 AI 发布了双语千亿大模型 GLM-130B,并以开源开放的形式供研究机构或个人免费下载使用。
GLM-130B 采用了 KEG 实验室在 2021 年提出的 GLM 模型架构,在多个任务上性能优于 OpenAI 的 GPT-3 模型。通过模型量化技术,唐杰团队还提高了模型的易用性,降低了计算成本,GLM-130B 可在一台 A 100 或 V100 服务器上进行推理。
此外,唐杰团队还与多家大企业建立交流与联系,支持企业开发大模型,比如阿里的 M6。唐杰的学生杨植麟是 NLP 创业公司循环智能的联合创始人,也参与了华为“盘古”大模型的研发工作。
据了解,目前智谱 AI 已经在研究类 ChatGPT 产品。
从 NLP 的学科方向上看,清华系中最为“根正苗红”的一支是孙茂松、刘知远团队。
清华大学自然语言处理与社会人文计算实验室(THUNLP),是国内最早开展 NLP 研究、且极具影响力的科研单位。实验室于 20 世纪 70 年代末成立之初,由中国 NLP 开山人物黄昌宁带领,ACL Fellow 孙茂松是他的学生,刘知远则是孙茂松的学生。
孙茂松(左)、刘知远(右)
THUNLP 在 NLP 领域积累深厚,曾于 2015 年发布中文诗歌生成系统「九歌」,基于大量人类创作诗歌进行训练,在学界和业界引起广泛关注。
在语言大模型方面,孙茂松、刘知远团队从 2018 年跟进预训练范式,2019 年初发布了 ERNIE 语言模型(与同时期百度版 ERNIE 同名),之后研发了 CPM 模型,是智源研究院「悟道·文源」的前身。
孙茂松、刘知远及其门下毕业的学生,在 NLP 和大模型领域已孵化了多个公司。包括涂存超于 2017 年创立的幂律智能,专注于 NLP 在法律领域的应用;岂凡超于 2022 年成立的深言科技,致力于以自研中文大模型构建工业级中文信息处理引擎。
另外还有曾国洋去年创立的面壁智能,专注于大模型加速与应用落地,公司团队为「悟道·文源」的主干成员。他们联合 THUNLP 与智源研究院语言大模型技术创新中心发起了 OpenBMB 开源社区,推出了 CPM-Live 百亿中文大模型直播训练项目,以及大模型全流程加速工具。
在 ChatGPT这一波中,THUNLP 一脉的优势在于其 NLP 学术成果多,且有大模型的研发经验,挑战在于工程化和商业化。
ChatGPT 作为一个聊天机器人,其背后有对话系统技术做支撑,在这一方向上,清华大学交互式人工智(CoAI)课题组的研究十分突出。
CoAI 由朱小燕和她的学生黄民烈坐镇。黄民烈是对话式人工智能领域的专家,著有《现代自然语言生成》一书,此前也参与了智源「悟道」大模型的研发。
黄民烈也是清华系学者中下场创业的一员,他于 2021 年创立了「聆心智能」。基于大模型和对话系统的研究基础,黄民烈选择了心理咨询聊天机器人赛道。2022年,他的团队推出了一个名为「AI 乌托邦」的交互机器人,用户可以定制 AI 角色,与机器人进行深入对话。
作为国内为数不多有实力训练大模型的团队之一,黄民烈在近日完成 Pre-A 轮融资后称,相比 ChatGPT,他们更希望将「聆心智能」定位为「中国的 Character AI」——在文本生成的基础上,为用户提供情感的陪伴。据了解,其团队在心理健康领域已积累海量优质训练数据,模型参数量超 30 亿。
相关阅读 >>
《孤岛惊魂6》干扰行动任务阻断器在哪?干扰行动阻断器位置分享
更多相关阅读请进入《新闻资讯》频道 >>