解读AI手语翻译机的技术硬核 (爱手语手势)

文章编号:37329 资讯动态 2024-11-30 优图实验室手语识别

雷锋网按:据2019年3月份世界卫生组织公布的最新数据,超过全世界人口的5%(约4.66亿人)患有残疾性听力障碍。据估计,到2050年这一数据将达到9亿。与此同时,手语作为听障者使用较多的语言,能正确理解手语的健全人士却寥寥无几。

5月16日,腾讯优图实验室联合深圳市信息无障碍研究会发布“优图AI手语翻译机”。据官方资料显示,用户通过面对翻译机摄像头进行手语表达,翻译机屏幕界面便能快速把手语转换为文字。

解读AI手语翻译机的硬核

据公开资料显示,腾讯优图实验室创立于2012年,是腾讯三大人工智能实验室之一。去年,腾讯优图实验室已升级为腾讯计算机视觉研发中心。此外,更与国际期刊《科学》达成战略合作,共享在计算机视觉领域的资源和信息。

手语识别技术,潜行多年

任何技术的发展都不是一蹴而就的,尤其是近些年来,优图AI手语翻译机也并不是第一款针对手语应用的的产品,在此之前,手语识别技术已经发展多年,包括国内IT企业级科研院校都曾针对这一技术进行研究,并有此类成果和产品推出:

2013年7月, 微软团队和中国科学院计算技术研究所进行合作,通过Kinect For Windows创建手语识别软件,可根据手语动作的追踪识别转换成正常人能够读懂的内容;

2018年2月, 中科大发布了一篇手语识别的论文被人工智能顶级学术会议AAAI 2018收录;该论文提出一种新型连续手语识别框架 LS-HAN,无需时间分割;

2018年3月, Magic Leap的头戴式设备识别手语和文本“感官眼镜”,据3月新专利申请,相关信息概述了使用头戴式设备检测和翻译手语的方法,并介绍了如何识别标牌和店面上的文字;

2018年7月, 软件开发者 Abhishek Singh展示了一款能够理解手语手势的 MOD,通过摄像头的捕捉和深度学习,让亚马逊 Alexa 对手语手势作出反馈;

解读AI手语翻译机的硬核

2018年12月, 爱奇艺研发的AI手语主播在中国网络视听大会上首次亮相,可识别用户语音并转换为文字,还能对健听人自然语言进行理解,并智能翻译为手语表达。

手语识别技术的困境与突破

传统的手语识别方法通常会针对特定的数据集设计合理的特征,再利用这些特征进行动作和手势的分类。受限于人工的特征设计和数据量大小,这些方法在适应性、泛化性和鲁棒性上都非常有限。

近年来,得益于大数据和深度学习技术不断的进步,人工智能算法的发展也水涨船高,尤其在计算机视觉、音频处理和自然语言处理等方面,这助推了AI算法在许多应用和场景中实现落地,研究人员开始尝试应用深度学习和数据驱动的算法来解决手语识别中的难题。

然而,不同于大部分的计算机问题,手语特有的地域性、复杂性和多样性给AI算法带来了难度。不仅增加了数据采集和清洗的成本,也使得这门技术的落地存在很大的挑战,难以被实际应用。

目前,针对解决听障人群沟通问题的研究,其研究方向多集中在将文字转化成手语;反过来,将听障人群的手语转化成文字就比较难了。

据公开资料显示,雷锋网了解到腾讯优图实验室手语识别数据集覆盖了近千句日常表达,900个常用词汇。此外,优图AI手语翻译机能够实现整句的识别和翻译,用户表达的时候可以将整个句子连贯表达完毕,不需要设定特定的结束或起始动作,也无需在句中故意停顿或放慢速度。

优图AI手语识别技术的实现方法

据官方资料显示,优图AI手语翻译机核心技术是与听障者手语表达高度符合的数据集与手语识别算法。

解读AI手语翻译机的硬核

针对AI手语翻译机的手语识别数据集、特征提取器等关键技术能力,雷锋网根据官方资料整理如下:

手语识别数据集

目前,AI手语翻译机的数据集覆盖近千句日常表达,900个常用词汇。此外,采集数据集还考虑了手语表达的地域性和多样性,包含了不同的表达习惯和速度。

特征提取器

结合普通2D卷积网络和3D卷积网络的优势,通过2D卷积网络来提取手语中的手势和身体姿势等静态信息,同时通过3D卷积网络来提取手语中普遍存在的细微而快速的变换动作的动态信息,最后将这两个信息相结合,产生最后的特征表达。

通过结合应用视频中的动态、静态信息,从而实现利用单纯的RGB视频图像进行手语识别。

句子表达中挖掘词级信息

该算法在视频帧与最后的输出之间加入了词级信息提取单元,词级信息提取单元利用长短时网络充分考虑特征提取器所提取出的信息,并结合视频中相邻的信息计算出词级的特征表达。这个单元使得算法能够更好地在句子中找到词语表达的边界,并提升对各种地域性表达的总结能力。

单句切分并充分考虑句中上下文信息

算法在提取词级信息的基础上还会充分将整句中的上下文信息进行综合考虑,然后再输出最后的识别结果。同时,为了减少用户在使用过程中的限制,技术团队在手语识别之前加入人脸检测和动作检测两个模块,用人脸检测确定手语表达者的位置,然后用动作检测判断用户是否在进行手语表达。

优图AI手语翻译机的“剑走偏锋”

目前来看,虽然AI手语识别技术受限于计算机性能、语料库丰富程度等因素的影响,但是随着人工智能和图像识别技术不断受到关注,目前包括旷世、商汤等国内独角兽企业,以及国内的BAT、国外的谷歌、微软、亚马逊,无不针对这一技术砸重金立项研究。

智能语音技术带来了智能音箱后,AI视觉技术是否能带来类似的爆款硬件产品,此前大家更多关注的是受众人群更大的智能摄像机,腾讯优图此次发布的“优图AI手语翻译机”虽然难免有些“剑走偏锋”,却也不失为是一种更为场景化的应用和尝试。至于是否能为特殊人群带来真实便利,还有待真实应用场景中的用户反馈数据来呈现

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
在线剪辑制作配音素材

傻瓜化在线剪辑制作配音素材工具,从海量资源库自由剪辑片段来配音

羊村守护者7之遨游神秘洋动画

《遨游神秘洋》是喜羊羊动画正篇的第二十七部,也是《羊村守护者》系列的第七部。季新出现了海怪首领、海狮族首领等关键人物,刷新了五个地点,分别是美丽岛、漩涡岛、双子岛、冰山岛和宝石岛。

电话邦

电话邦作为国内专业的号码信息服务供应商,号码数据已经覆盖到全国370个主要城市,以及印度、东南亚、美国、俄罗斯等国家和地区,涵盖政府、银行、保险、电商、汽车、医疗、物流、房产、旅游、O2O等各行各业的分类服务信息。并先后与小米、华为、OPPO、vivo、三星、魅族、金立、中兴、努比亚、美图等手机厂商,百度、阿里、腾讯、360、搜狗、触宝、有信、微会等软件商,以及中国移动、中国联通等运营商达成深度合作,累计覆盖10.2亿移动终端,日活用户超3.1亿。

广恒达

贵州广恒达钢结构有限公司专注于钢结构工程、活动板房、彩钢大棚、车间净化工程设计、加工、安装,为贵州省贵阳、遵义、六盘水、安顺、铜仁、毕节、黔东南、黔南、黔西南等地区的客户提供一站式优质服务,源头工厂、质量好、价格低!

山东誉欣优品纺织科技有限公司

山东誉欣优品纺织科技有限公司从事30年服饰定制,专业开发和生产各种行业西装、衬衫、公务装、职业装、工作服、工程服、保安服、职业装、T恤衫、文化衫、POLO衫、绒衣帽衫、棒球帽、围裙等

上海苍鼎网络科技有限公司

**IT解决方案提供商和IT服务商!上海苍鼎网络科技有限公司,致力于用户体验驱动创新,提供IT解决方案设计、云平台建设、系统集成、备份容灾、IT咨询和运维等**服务。

纹身图片

优美纹身网收集各种男生、女生纹身图案和素材手稿,免费提供好看漂亮的纹身图片大全以及刺青作品供您欣赏下载

赣州隔断厂家

锦易佳是专业的赣州隔断厂家,专注赣州卫生间隔断、办公室玻璃隔断、酒店屏风等隔断工程定制,业务覆盖赣州、南康、信丰、兴国、大余、于都、宁都、上犹、龙南、瑞金、会昌、定南、全南、吉安、石城等地。

浙江乐飞纺织有限公司

浙江乐飞纺织有限公司_专业从事针织面料的研发与销售。现拥有针织染色布、针织印花布、针织工艺布等多个针织系列产品。

钢结构

钢结构工程有限公司在生产钢结构,吉林钢结构,长春钢结构,钢结构厂房,楼承板,彩钢板,集成房,岩棉夹芯板等产品经验丰富,价位也比较便宜,服务周到,有需要的客户可以联系我们,我们随时恭候您的光临.

敲码拾光

敲码拾光专注于编程技术,涵盖编程语言、代码实战案例、软件开发技巧、IT前沿技术、编程开发工具,是您提升技术能力的优质网络平台。

全局底部横幅