快出残影！AI手语主播通过朱广权的魔鬼面试-木庄网络博客

本文摘自人民资讯，原文链接：https://mini.eastday.com/mobile/220205171907972458089.html，侵删。

本文转自：文汇报

什么样的手语主播能跟朱广权battle得有来有回？

一起前排围观：

只见朱广权语速起飞，妙语连珠，频出“魔鬼”面试题，但这位手语老师完全没在怕的：

如此表现，不仅面试官朱广权连连夸赞“精彩”，网友们也纷纷点赞。

没错，这位手语主播并非真人，而是一名来自百度智能云的虚拟数字人。

2022年2月，北京冬奥会和冬残奥会开帷幕，中央广播电视总台的一位特殊报道员也已经准备就绪，她的形象亲切自然，她的气质优雅独特，她的工作能力出色——她就是央视新闻AI手语主播。她不仅能报道冬奥新闻，还能进行准确及时的赛事手语直播。

现在，她已正式上岗冰雪盛会，将在各类冰雪赛事中，为2780万听障人士提供24小时不间断的手语服务。

从北京冬奥会开始，AI手语主播将全年无休，为听障人士提供手语服务，让他们能够便捷地获取比赛资讯，更酣畅淋漓地感受冰雪运动的激情与荣耀。

虽然是初次上岗，但这位AI手语数字人的专业度不容小觑。

根据测评，其手语可懂度能达到85%以上，与主流的中英、中日机器翻译结果相差无几。

手语数字人背后的技术挑战

在聊技术之前，或许你会好奇这样一个问题，明明有字幕，为啥体育赛事等电视节目还需要手语解说？

实际上，由于种种现实因素的制约，比起文字，手语对听障人士而言更加亲切，也能更快速地传递信息。

因此，屏幕一角的手语翻译，对于特殊人群而言其实是一个“更加平等享受资讯”的窗口。

这也就给AI手语数字人提出了一个本质的技术问题：如何让听障人士能真正看懂数字人打出的手语？

乍一看，这就是个从语音到文本，从文本到手语符号，再到手语数字人动作的一个翻译流程，但深究其背后的技术细节，就会发现需要克服的难点要比表面看上去复杂得多。

首先，语音转手语，并不是简单地构建一个语音到视觉的转换模型就行。

单就语序而言，手语和自然语言之间就存在较大的差异。举个例子，“我想回家”这样一句话，用手语打出来的顺序其实是“家回我想”。

并且，手语还有语言精简的特性，手语的描述会对口语进行精简。

也就是说，如果只是生硬地把口语中的词汇转换成手势，再把动作简单地连接起来，这样打出的手语只能说是“半吊子手语”，听障人士很难看懂。

其次，表情神态同样是手语表达中极为重要的部分。

有时一个手势代表好几个意思，如果没有表情和口型的配合，就可能产生误解。

除此之外，还要考虑数据匮乏、数字人动作灵活度欠缺等种种问题。

总而言之，想要打造一个高质量手语数字人，既需要语音、视觉、自然语言处理等AI技术同时发力，也少不了对于听障人士真实需求的深入调研。

百度智能云团队联合天津理工大学，组织了上百位听障学生做语料的数据标注，同时邀请手语语言学专家、特殊教育专家等专业人士，将大量行业知识融合到模型效果和听障人群的体验当中。

接下来，就是一步步解决手语数字人“听得清”、“会翻译”、“会表达”三个问题。

“听得清”，要靠语音识别模型。

“会翻译”，用上的就是手语翻译模型。

最后，数字人的表达靠的是动作生成模型，包括手势、口型、表情的生成。

针对手势问题，研发团队运用人体动作视觉识别技术，让AI学习手语视频，将其中的二维骨骼点转化为驱动三维数字人的手语动作，并且能够精确到每一根手指。wink、吹泡泡都不在话下。

总体上，口型生成的准确度能够超过98.5%。

严格说起来，数字人并不算是全新的事物。

在过去几年中，随着AI等技术的成熟，以及短视频、直播等新兴媒介需求的涌现，数字人正不断涌现出新的面貌和新的应用模式。

而从被提出到今天的广泛落地，“数字人”这一科技热词，其实也已经历了好几个认知阶段。

第一阶段，大家探讨的重点是数字人“真不真”，这是新技术之初见。

当技术落地的尝试开始展开，第二阶段围绕“危机感”的讨论便随之而来：人们开始关注数字人是否会侵占掉人类的工作机会。

现在，或许我们对数字人的认知，又到了进入新阶段的时候。

正如AI手语数字人让冰雪赛事的魅力触达到了更多人群，越来越多的落地案例正在说明，数字人作为一种提升服务效率的方式，并非在“替代”人类工作，而是在填补人力所不能及的空白。

这也正是科技背后真正的价值——并非取而代之，而是帮助人、做人所不能之事。

编辑：储舒婷

责任编辑：姜澎

综合：量子位、央视新闻

快出残影！AI手语主播通过朱广权的魔鬼面试