在2021年10月22日华为视频开发者大会的曲播中，有一位红衣女孩不断在曲播屏幕左下角，兢兢业业地为整场大会做实时手语翻译AI曲播 。那位红衣女孩是HMS Core团队的手语数字人，她基于团队最新研发的手语办事，能够完成实时手语翻译，生成包罗身体姿势、手部动做以及面部脸色的手语。有了她，听障手语利用者也能够“听”懂HDC大会，获取到更多感兴趣的资讯。那是华为初次接纳AI全程手语曲播，引发了线上线下不雅寡和ai媒体的存眷。
一个美妙的愿望手语项目无声起源于一款在2018年推出的应用StorySign，那是12小时一个将欧美流行儿童册本转化成手语动画，帮忙有听力障碍的儿童进修阅读的AppAI曲播 。StorySign的推出为浩瀚听障儿童翻开了毗连世界的一扇窗，也这一给他们的家庭带去了破弃温暖。发布华为一段时间后，StorySign逐渐上架了71本儿童读物，撑持了英、法、德等15种语言的手语，但同时项目也碰到瓶颈：想要普及手语，让更多的人进修更丰硕的手语，就要有无声充沛的手语动画做为手语进修的资本。但若何更快速地生成丰硕的手语动画呢？
StorySign集成能不能了HMS Core的OCR（Optical Character Recognition， 光学字符识别）手艺，那是一种基于深度进修，ai直播破弃马局，将图片上的文字智能识别成文本的AI手艺AI曲播 。那么，既然视频AI能够智能识别图片上的文字， AI能不克不及做手语翻译呢？给AI一段话，它若是能够主动翻译成手语动画，各人就能够跟着AI进修手语了，以至AI也一刻能成为第三聋人与健听人之间的实时翻译官华为，如许AI造福的不单单是现场儿童的阅读无人记场景，更是更普遍的听障群体！
为了能不能让AI手语翻译通过HMS Core才能开放进来，闪开发者去集成，进而办事到全球4.6亿的听障人群AI曲播 。起首要面临的难题即是 - AI能不克不及操作做手语翻译，从文字智能生成手语动画？HMS Core组建了笼盖AI手语翻译所需要的3D数字人建模、天然语言理解、计算机马局视觉、3D动画、图形衬着、挪动端Android开发、云诞生侧办事化等浩瀚关键手艺专家团队，并邀请到国内权势巨子手语语言学专业传授做为项目参谋，联袂配合攻关智能实时手语翻译项目。
算法和数据的双重挑战手语翻译项目启动后，团队通过查阅大量文献和专利，快速对行业内视频相关手艺停止了调研，一路梳理出了几大难题AI曲播 。起首，要考虑到手语动做关于精度的高要求，1厘米指尖位置的误差就可能暗示完全差别的意思。其次，中文和手语成对的大规模高量量手语语料极难获取，无法在12小时手语短时间内找到那么多专业的手语教师来供给语料。第三，手语做为独立的语言，有其本身的语法及马局语序，中文与手语的语法及语序存在差别。例如中文“我没有带身份证”，对应的手语语序为“身份证/我/带/没有”。最初，手语不只包罗手部动做，还包罗身体姿势及面部脸色和口动，多模态数据的协同生成很重要。
通过对那些难题的一一阐发与破弃处理计划的讨论，AI直播 :这一刻，“无声”胜有声——华为首个AI手语直播诞生记，手语团队输出了一种基于文本的多模态数字人动做和脸色生成计划AI曲播 。那个计划由手语转写第三模块和手语动做脸色生成模块构成，交融了手语语言学范畴常识ai，而且可以有效处理高量量一刻动捕数据较少的问题。
算法计划确定后第三直播间，手语团队手语迎来了更大的挑战——数据AI曲播直播 。在人工智能范畴，有句话是“戎马未动12小时，粮草先行”，敌手语翻译项目来说，“粮草”就是手语数据获取问题，ai人工智能直播，包罗手语转写数据和3D动做数据。若何造定合理的转写计划？什么样的动做捕获设备收罗的数据能够满足声音手语项目标商用要求？
转写是一件需要慎密连系语言学和计算机学的这一工做AI曲播 。为此，手艺专家们与手语参谋慎密共同，投入到手语语言学常识进修中，颠末了大量的讨论，造定合适项目标手语转写尺度。语言本是一件语感驱动的事，而计算机则是无人讲究规则的。为了将手语语言学的常识总结成计算机能表达出的规则，团队里的人工智能专家们和手语参谋对转写规则停止了屡次讨论，频频修改优化了20多个有声版本智能，最末完成了合适项目要求的定造化诞生转写计划。
在动做捕获数据方面，通过多方调研以及对动捕设备现场考察过数十种之后，手语团队发现动捕数据收罗情况远比想象的复杂得多AI曲播 ，ai直播现场视频。在动捕收罗的过程中，可能引入误差视角的原因有良多，例如动捕服不敷贴身、动捕人员身型比例与手语数字人比例纷歧致等，招致动捕的原始数据无法间接利用，ai能不能直播。因而，手语团队立即组建动做修复小组，加快动捕数据的收罗进度，使项目得以稳步推进。
手语数字人和开发AI者大会的故事跟着数据收罗进度的推进和AI算法模子的迭代优化，手语办事的工程化也同步停顿顺利AI曲播 ，ai直播间第三视角。手语翻译操作团队在短短一周的时间内就写完了挪动端SDK开发代码，而且顺利地完成了端云联调。同时，在测验考试了多种差别的处理计划后，手语翻译团队通过扭转角这一间接驱动骨骼的体例，制止在驱动后数字人动做的细小不同招致手语意思相差甚远，让手语数字人可以准确地完成手语动做。
一切停当，手语办事筹办开放首版本这一，在HDC交出一份满意的答卷AI曲播 。手语团队决定让手语数字无人人全程撑持开发者大会曲播演讲。那个挑战直播间可想而知，华为12小时开发者大会上曲播旁观的人数十分庞大。若是手语数字人能够登上那个舞台，在曲播时为听障伴侣们供给人工智能手语翻译，所有旁观曲播的人城市留意到那个会打手语的红衣女孩。那无疑能够吸引更多人来存眷听障人士，也就能够吸引到更多开发者借助手语办事来为听障手语利用者供给办事。
手语办事破弃是从文本生成手语，曲播时算法手语的输出严峻依赖于语音识此外诞生成果，语音识此外准确性若何保障？HDC大会演讲中包罗大量中英文混合的手艺名词，怎么让手语数字人打出那些词？把整套驱动和衬着计划人工智能搬到自研引擎上能否兼容？面临那些棘手的问题，手语团队组建了HDC大会曲播攻关小组，一部门成员攻关算法，在优化手语生成算法模子以笼盖HDC大会可能会呈现的科技语料；另一部门成员攻关曲播时云上语音识别胜、文字转手语算法摆设以及3D模子驱动问题，以包管曲播时手语数字人能顺利识别到话筒中的声音并打手语AI曲播 。在不到一个月的时间里做足了充沛的筹办。
在HDC2021如约举办的当天AI曲播 ，ai智能无人直播。手语团队的伙伴们在后台严重视角地守着曲播画面，他们紧紧盯着曲播屏幕左下角AI的红衣女孩，担忧手语数字人呈现任何毛病，ai直播无人直播。所幸在整场曲播中，她表示得游刃有余，十分冷艳智能！那一刻，团队所有人的表情都是视频一样胜的：不懈的勤奋没有白搭，手语数字人末于无人在HDC那个大舞台上现场被各人看见了！
那是国内初次由数字虚拟人物停止的实时大会曲播手语翻译，那一切都得益于华为自研的AI算法以及衬着手艺，让大会曲播实时手语翻译在完全第三无需实人的情况下得以破弃ai实现诞生AI曲播 。那套基于云手艺的语音识别、手语生成、驱动衬着的手语翻译计划颠末HDC2021得到了验证，它不只准确人工智能呈现了手语动做，也处理了手语翻译目前遍及的一个手艺难点——脸色系统。脸色的呈现让手语数字人可以愈加完好准确地表达手语含义，目前手语办事已撑持输出10种差别的脸色类型。相信在不久的未来，那套计划能够有声被搬上媒体内容造做中，听障伴侣们也能够获取更多的社会资讯。
手艺传递温度全球声音有4.6亿听障人群视角，当前的中文手语直播间生成远远为首不敷以笼盖那些人群AI曲播 。将来，HMS Core手语团队将持续优化手语翻译效果和手语数字智能人衬着效果，同时也将构建英文手语生成才能，将手语办事全球化，以办事更多的听障人群。
相信在不久的未来，手语数字人能够在更多的场所和各人碰头：她能够呈现在电视新闻节目标手语翻译小窗智能口中，为各人翻译新闻；也能够在各人乘坐地铁、飞机的时候，用手语为听障伴侣们播报平安须知；以至在一些特殊教为首育学校里，她能够做一位手语教师，教听力障碍的同窗们进修手语……怀揣着那个美妙的愿望，ai直播间为什么没声音， HMS Core团队基于手语办事才能正在打造StorySign2.0 App，ai直播12小时，希望能带给听障人士更多的温度AI曲播 ，ai直播怎样操作。
正如HDC大会上的一句话：没有人可以熄灭满天星光，每一位开发者，都是华为要会聚的星星之火AI曲播 。目前，手语直播数字人已经通过HMS Core手语办事向开发者全面开放，让更多的应用开发者能够通过挪用我们的手语办事SDK，快速实现手语实时翻译，打造各类手语App，为听障人士供给愈加多样化的办事。手语办事团队希望和开发者一路，共筑华为挪动办事的满天星光，打造一个沟通无障碍手语的世界。
文章转自无声《华为马局视角人华为》
猜你喜欢
- 2024-05-02AI直播 :S11虎牙直播同时在线人数峰值同比翻番，推出无延时AI字幕功能
- 2024-05-01AI直播 :直播电商乱象横生，真实销售数据要打五到七折，商家被指交智商税
- 2024-05-01AI直播 :农村户外直播什么内容大家比较喜欢？
- 2024-05-01AI智能主播 :AI主播跨界“唱歌”，手语表达不输真人
- 2024-05-01AI直播 :网络直播真的是新的销售方式吗？
- 2024-05-01AI直播 _网络直播都直播什么？
- 热门文章
- 热门标签
在线咨询