OpenAI是全球所有科技公司中，大模型的坚定支持者。2019年，OpenAI推出参数为15亿的GPT-2，2020年推出GPT-3，将参数提升到了1750亿，成为当时全球最大的预训练模型，引发业内轰动。“绝大部分人根本没想过，人类可以把一个模型训练到这么大的规模，这对自然语言交互的流畅性有非常强的提升。”刘知远说。
参数增多，使语言模型学习进阶到更复杂模式。早在2020年，GPT-3可以做到其他模型无法做到的事情，比如作诗、写复杂的文章和代码等，通用性极强。刘知远形容，GPT-3像是一个伶牙俐齿的人，有不错的表达能力，但不具备很强理解能力。
2022年，GPT-3进一步升级为GPT-3.5，这是ChatGPT的底层基础，OpenAI进行微调，提升交互能力，让它“听得懂人类的复杂指令”。“这些都经过了专门训练，像父母对小孩的调教。”刘江形容，GPT-3像是两三岁的天才儿童，读完世界上所有的书，但不知轻重，也没有价值观，需要父母精心教育和启发，让它在聊天方面发挥潜力。
清华大学智能产业研究院首席研究员聂再清向《中国新闻周刊》介绍，ChatGPT聊天能力的显著提升，是引入了一个新的数据训练方法，人类反馈强化学习（RLHF）。OpenAI引入人类评判员，创建一个奖励模型――评判员不断地跟ChatGPT对话，并对它生成的答案按照质量好坏评分，模型收到反馈后进行优化。山姆・奥特曼也承认，“让模型以特定方式对人们有所用途，并找出正确的交互范式，却得到了惊人的效果。”
在自然语言处理领域，流传最广的一句话来自于比尔・盖茨：“自然语言处理是人工智能皇冠上的明珠，如果我们能够推进自然语言处理，就可以再造一个微软。”
刘知远认为，ChatGPT推出后最大的价值在于，能用RLHF等技术，把大模型的能力展现出来，让公众意识到，人工智能与人类自然语言的交互达到非常高的水平，机器已经可以“能言善辩”了。
但大模型为何有时生成错误答案？在李笛看来，这是由其技术结构决定的。聂再清进一步向《中国新闻周刊》解释，这是因为ChatGPT本质上还是一个基于概率的语言模型，本身不涉及知识的对错，未来仍需用更多的专业知识训练。
当下，大模型与搜索引擎结合已是大势所趋。聂再清建议，新版搜索引擎给出综合答案后，最好附上原始网络链接，有利于用户自己验证AI回答的正确性。目前新版必应在每个回复下加入信息来源。但两者结合最终成功与否的关键，“还是在于AI总结的答案绝大部分都是对的，不会耽误用户花更多时间来验证结果。”
更关键问题是，ChatGPT及其背后的大模型，仍是基于数据驱动生成内容，不是像人类一样会思考和推理。但2月上旬，斯坦福大学计算心理学教授迈克尔・科辛斯基发表论文称，在对几个语言模型进行专业测试后，他发现ChatGPT 表现接近 9 岁儿童的心智。
近期，因在深度学习领域贡献获2018年图灵奖的杨立昆谈到，人类思维方式和对世界的感知，是人类获得常识的基础，聊天机器人的模型没有这种能力。对此，ChatGPT回答《中国新闻周刊》说，“我的设计是基于概率模型和大量的数据训练，以回答问题和执行任务。我不具有意识、情感或主观体验，也不能对世界产生真正的影响。”
随着ChatGPT的发展，未来会不会替代人类的工作？
“我相信ChatGPT会取代一些工种，或者让一些工种不需要太多人参与，这是一个潜移默化的过程。”刘知远对《中国新闻周刊》说，但与此同时，它也会催生一些新的工作，比如，以前画画需要很高的门槛，但现在，即使一些人不会画画，但有天马行空的想象力和创意，一样可以和AI一起创作。
ChatGPT似乎承认自己可以在部分工作中替代一些人力劳动，“可以在许多行业中使用，例如客服、教育、媒体、医疗保健和金融”，但它补充说，“我不能取代需要人类情感和社交技能的工作，例如教育和医疗保健等需要人类情感互动和洞察力的领域。”
美国天普大学心理学系教员凯西・帕塞克等人近期在一篇分析文章中提到，纽约市一名高中历史老师反对阻止使用 ChatGPT，关键在于，“如果我们的教育系统继续‘追求评分而不是知识’，ChatGPT 只会是一种威胁。”凯西认为，如果以正确方式使用，ChatGPT 可以成为课堂上的朋友，对我们的学生来说是一个了不起的工具，而不是令人恐惧的东西。
中国何时会有自己的ChatGPT？
相较国外， ChatGPT在国内的热度稍显滞后。谷歌和微软短兵相接时，国内搜索巨头百度也宣布3月将推出中国版的ChatGPT“文心一言”。腾讯称，在ChatGPT和AIGC相关方向已有布局，阿里达摩院正在研发的类ChatGPT的对话机器人，目前已开放给公司内员工测试。此外，快手、京东、360等多家互联网企业也都表示在相关领域研发和布局。
2月13日，北京市经济和信息化局在北京人工智能产业创新发展大会上明确表示，北京将支持头部企业打造对标ChatGPT的大模型。
李笛提到，在ChatGPT之前，国内和国外已经有很多公司在利用大模型做很多产品和研发，市面上也有很多训练出来的大模型，“只不过在人工智能的训练过程中，研发者的专注度、投入度不一样”，并不存在“技术壁垒”。ChatGPT火热背后，是OpenAI从2018年以来持续投入完善大模型，取得了这一效果，所以有一定“时间壁垒”。
2月7日，360在互动平台表示，公司人工智能研究院从2020年起，一直在包括类ChatGPT技术在内的AIGC技术上有持续性投入，但截至目前仅作为内部业务自用生产力工具使用，且投资规模及技术水平与当前ChatGPT 3比还有较大差距，各项技术指标只能做到略强于ChatGPT 2。
早在2020年，北京智源研究院曾推出超大规模智能模型“悟道”项目，阿里达摩院自研预训练模型框架ALICE。2021年，深圳鹏城实验室为首的联合团队，推出参数为2000亿的大模型“鹏程・盘古”，探索通用人工智能。多位受访专家提到，中国目前大模型研发与OpenAI仍有差距，国内要有像GPT3.5这样的大模型，但没必要每个公司都去投入和研发。
大模型打造离不开AI的三大基石：数据，算法和算力。大模型多烧钱？一位AI从业者向《中国新闻周刊》举例，他接触的一个数据公司有中文数据量700亿~1000亿条，每天定期更新3亿条，据了解，这比ChatGPT在中文世界的数据量多，如果有研究者想要下载，先得支付30万的下载费，“这只是大模型训练中一个很小的环节，你可以想象它是一个无比巨大的机器，电费都是天价”。
算力离不开芯片。2月12日，国盛证券估算，今年1月，平均每天约有1300万独立访客使用ChatGPT，对应芯片需求为3万多片英伟达A100GPU，初始投入成本约8亿美元，每日电费5万美元左右。而GPT-3训练一次，成本约为140万美元，对一些更大的大模型，训练成本介于200万美元至1200万美元之间。这一成本对全球科技大企业而言，尚在可接受范围内，但并不便宜。
在数据上，2020年，GPT-3使用的最大数据集在处理前容量达到了45TB。鹏城实验室副研究员曾炜等人在2022年发布一篇论文中提到，目前已有3个100GB以上规模的中文语料数据集，分别是爬虫公司Common Crawl抽取到的CLUECorpus2020，模型规模为100 GB；阿里巴巴集团发布的M6中文多模态模型，规模为300GB；北京智源研究院面向合作者发布的300GB高质量中文语料。文章写道，“与目前同等规模参数量的英文预训练模型所使用的数据量相比，上面这些中文语料数据仍不能满足训练数据需求”。
聂再清分析说，中文很多高质量信息在APP里，“有点数据孤岛的意思”，公开的高质量互联网语料可能不如英文多。另一个挑战是，语料筛选、清洗、预处理和标注需要相关技术人员深度参与，会有一个不断迭代和较为长期的过程。
此外，中文机器语言学习在很多方面要比英文更复杂，中文和英文在句法结构、缩写规范方面也有差别。聂再清提醒，打造对标ChatGPT的大模型并非一蹴而就，需要时间。
大模型不只是有ChatGPT这一种产品。当有足够大算力保证时，学界和产业界可以用大模型做更多尝试。李笛介绍，此前，大模型已在AI绘画领域造成了很大变化，现在AI文本生成领域也有了新进展，AI作曲、AI演唱领域都有人在尝试，“现在的状态很像是‘炼丹’，大家拿到好玩的玩具，想看这一玩具还能吐出什么令人惊讶的东西。我相信，不只是图像、文本领域，其他领域一定也会有新突破”。
但李笛认为，最终还是要看它能否实现“端到端”的落地。在国内，绝大部分大模型都还无法实现这一目标。同样，很多AI绘画单幅质量已很好，但在可控性上却“漏洞百出”。所以今天大模型的应用普遍还停留在试用阶段，距离真正大规模商用，还有很多事情要调整。
“这是一个‘卡脖子’的问题。”刘知远对《中国新闻周刊》说。目前，ChatGPT对国内的企业没有开放，相关产业就无法接入到它的体系中。在刘知远看来，OpenAI已经做了大模型和产品，更重要的是，“我们能不能发明出自己创新的技术和产品”。
聂再清认为，最关键的不是信息闭塞，而是国内愿不愿意投入到看上去“无用”的研究中，“现在不少业内人士还是希望直接研发有效有用的东西，不会对一些短期看上去无用的事情上进行大量投入，尤其是像开发ChatGPT这样大的投入”。
相关阅读 >>
炉石传说：更新后也是一言难尽，只剩脏套路，不知你是否还在坚持
中国西部航空客服电话大全已更新2023(实时/更新中)在6g发展的赛道上，更需要安全守护
更多相关阅读请进入《新闻资讯》频道 >>
