解读AI手语翻译机的技术硬核 (爱手语手势)

文章编号:37329 资讯动态 2024-11-30 优图实验室手语识别

雷锋网按:据2019年3月份世界卫生组织公布的最新数据,超过全世界人口的5%(约4.66亿人)患有残疾性听力障碍。据估计,到2050年这一数据将达到9亿。与此同时,手语作为听障者使用较多的语言,能正确理解手语的健全人士却寥寥无几。

5月16日,腾讯优图实验室联合深圳市信息无障碍研究会发布“优图AI手语翻译机”。据官方资料显示,用户通过面对翻译机摄像头进行手语表达,翻译机屏幕界面便能快速把手语转换为文字。

解读AI手语翻译机的技术硬核

据公开资料显示,腾讯优图实验室创立于2012年,是腾讯三大人工智能实验室之一。去年,腾讯优图实验室已升级为腾讯计算机视觉研发中心。此外,更与国际期刊《科学》达成战略合作,共享在计算机视觉领域的资源和信息。

手语识别技术,潜行多年

任何技术的发展都不是一蹴而就的,尤其是近些年来,优图AI手语翻译机也并不是第一款针对手语应用的的产品,在此之前,手语识别技术已经发展多年,包括国内IT企业级科研院校都曾针对这一技术进行研究,并有此类成果和产品推出:

2013年7月, 微软团队和中国科学院计算技术研究所进行合作,通过Kinect For Windows创建手语识别软件,可根据手语动作的追踪识别转换成正常人能够读懂的内容;

2018年2月, 中科大发布了一篇手语识别的论文被人工智能顶级学术会议AAAI 2018收录;该论文提出一种新型连续手语识别框架 LS-HAN,无需时间分割;

2018年3月, Magic Leap的头戴式设备识别手语和文本“感官眼镜”,据3月新专利申请,相关信息概述了使用头戴式设备检测和翻译手语的方法,并介绍了如何识别标牌和店面上的文字;

2018年7月, 软件开发者 Abhishek Singh展示了一款能够理解手语手势的 Mod,通过摄像头的捕捉和深度学习,让亚马逊 Alexa 对手语手势作出反馈;

解读AI手语翻译机的技术硬核

2018年12月, 爱奇艺研发的AI手语主播在中国网络视听大会上首次亮相,可识别用户语音并转换为文字,还能对健听人自然语言进行理解,并智能翻译为手语表达。

手语识别技术的困境与突破

传统的手语识别方法通常会针对特定的数据集设计合理的特征,再利用这些特征进行动作和手势的分类。受限于人工的特征设计和数据量大小,这些方法在适应性、泛化性和鲁棒性上都非常有限。

近年来,得益于大数据和深度学习技术不断的进步,人工智能算法的发展也水涨船高,尤其在计算机视觉、音频处理和自然语言处理等方面,这助推了AI算法在许多应用和场景中实现落地,研究人员开始尝试应用深度学习和数据驱动的算法来解决手语识别中的难题。

然而,不同于大部分的计算机问题,手语特有的地域性、复杂性和多样性给AI算法带来了难度。不仅增加了数据采集和清洗的成本,也使得这门技术的落地存在很大的挑战,难以被实际应用。

目前,针对解决听障人群沟通问题的研究,其研究方向多集中在将文字转化成手语;反过来,将听障人群的手语转化成文字就比较难了。

据公开资料显示,雷锋网了解到腾讯优图实验室手语识别数据集覆盖了近千句日常表达,900个常用词汇。此外,优图AI手语翻译机能够实现整句的识别和翻译,用户表达的时候可以将整个句子连贯表达完毕,不需要设定特定的结束或起始动作,也无需在句中故意停顿或放慢速度。

优图AI手语识别技术的实现方法

据官方资料显示,优图AI手语翻译机核心技术是与听障者手语表达高度符合的数据集与手语识别算法。

解读AI手语翻译机的技术硬核

针对AI手语翻译机的手语识别数据集、特征提取器等关键技术能力,雷锋网根据官方资料整理如下:

手语识别数据集

目前,AI手语翻译机的数据集覆盖近千句日常表达,900个常用词汇。此外,采集数据集还考虑了手语表达的地域性和多样性,包含了不同的表达习惯和速度。

特征提取器

结合普通2D卷积网络和3D卷积网络的优势,通过2D卷积网络来提取手语中的手势和身体姿势等静态信息,同时通过3D卷积网络来提取手语中普遍存在的细微而快速的变换动作的动态信息,最后将这两个信息相结合,产生最后的特征表达。

通过结合应用视频中的动态、静态信息,从而实现利用单纯的RGB视频图像进行手语识别。

句子表达中挖掘词级信息

该算法在视频帧与最后的输出之间加入了词级信息提取单元,词级信息提取单元利用长短时网络充分考虑特征提取器所提取出的信息,并结合视频中相邻的信息计算出词级的特征表达。这个单元使得算法能够更好地在句子中找到词语表达的边界,并提升对各种地域性表达的总结能力。

单句切分并充分考虑句中上下文信息

算法在提取词级信息的基础上还会充分将整句中的上下文信息进行综合考虑,然后再输出最后的识别结果。同时,为了减少用户在使用过程中的限制,技术团队在手语识别之前加入人脸检测和动作检测两个模块,用人脸检测确定手语表达者的位置,然后用动作检测判断用户是否在进行手语表达。

优图AI手语翻译机的“剑走偏锋”

目前来看,虽然AI手语识别技术受限于计算机性能、语料库丰富程度等因素的影响,但是随着人工智能和图像识别技术不断受到关注,目前包括旷世、商汤等国内独角兽企业,以及国内的BAT、国外的谷歌、微软、亚马逊,无不针对这一技术砸重金立项研究。

在智能语音技术带来了智能音箱后,AI视觉技术是否能带来类似的爆款硬件产品,此前大家更多关注的是受众人群更大的智能摄像机,腾讯优图此次发布的“优图AI手语翻译机”虽然难免有些“剑走偏锋”,却也不失为是一种更为场景化的应用和尝试。至于是否能为特殊人群带来真实便利,还有待真实应用场景中的用户反馈数据来呈现。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
360分身大师:一个手机两个微信同时在线

分身大师是一款简单易用、应用双开、分身工具。一部手机,微信、陌陌、QQ、游戏等,安全隐私有保障,双开助手多开分身,微信多开助手,微信分身版,qq双开,超级双开,游戏双开,微信双开版,双开小助手,微信双开伴侣,lol双开,双开工具,微信多开宝,微分身,微信双开助手,微信分身器,微信多开器,微信双开器,微信分身,微信双开免费,双开软件,机友精灵,多开宝,分身版,X分身,双开免费,双开大师,分身大师,应用分身,应用多开助手,平行空间(原双开大师),双开神器,多开精灵,双开免费,应用双开,应用多开,多开软件,双开软件,分身软件,平行空间,系统分身,派派多开,派派双开,陌陌多开,陌陌双开,微信双开助手,双开微信,微信分身免费,微信小号,微信多开免费,多开微信,多开器,多开助手,双开大师,微信共存,应用多开助手,微信双开宝

6G游戏网

6g游戏网是一个手机游戏综合门户型网站,提供包括iPhone游戏、iPad游戏、安卓游戏等手机游戏免费下载,和丰富的手机游戏攻略、汉化、评测等原创内容,致力于带给每位手机玩家们源源不断的游戏正能量。

青岛空压机

青岛凌格风空压机(电话:139-6428-7530)专业提供青岛空压机,青岛螺杆空压机,青岛城阳空压机的整机及配件销售,专注于青岛空压机维修保养及青岛空压机变频节能改造。

深圳市盛达汇通实业有限公司

深圳软膜天花厂家,盛达软膜天花,深圳柔性天花,深圳UV软膜,深圳高清写真软膜,广州软膜天花,广东软膜天花,广西软膜天花,南宁软膜天花,盛达软膜天花,河源软膜天花,汕头软膜天花,厦门软膜天花,长沙软膜天花,湖南软膜天花,惠州软膜天花,东莞软膜天花,珠海软膜天花,江门软膜天花,中山软膜天花,西安软膜天花,上海软膜天花,江苏软膜天花,新疆软膜天花,内蒙软膜天花,柳州软膜天花,福州软膜天花,合肥软膜天花,幻彩膜,PC幻彩膜

电乐多

江苏昱德新能源科技有限公司旗下品牌电乐多,以“智慧能源助力乡村振兴,开创绿色低碳新生活”为使命,为千万农村家庭提供一体化的高品质户用光伏系统解决方案。电乐多成立于2021年5月,是集户用光伏电站开发、建设、运营、维护于一体的智慧能源管理平台。

机器人防护衣,机器人防护服,机器人防护罩,阀门隔热罩,阀门保温罩

河南佰路悍机械工业有限公司专业制作机器人防护衣,机器人防护服,机器人防护罩,阀门隔热罩,阀门保温罩等工业防护产品,量身定做,防护效果好,方便拆卸,河南佰路悍防护罩厂家联系电话0371-63520396

RIB玻璃钢底船

RIB玻璃钢底船-进口橡皮艇价格-威海朝阳船艇开发有限公司威海朝阳船艇开发有限公司是一家集研发、生产、销售为一体的专业生产各种船艇及其配件的现代式管理企业。公司采用韩国进口原材料,型号涵盖RIB游艇、钓鱼船、漂流船、冲锋舟、RIB玻璃钢底船、进口橡皮艇、海帕伦船等四十余种规格,产品主要出口韩国、欧洲、美洲等各个国家和地区。欢迎致电咨询!

春趣花植

春趣花植是一个专注于花卉、养花、种植等知识分享的专业平台。在这里,您可以找到关于植物养护的全面指南,从种子的播种到成熟植株的照料,春趣花植为您提供全方位的养花知识。

福建省医疗保障局

,中国福建,福建省医保局

全局底部横幅