live 数据驱动的手语识别研究 GAIR 专访上海大学方昱春教授 如何破解数据之困 (live数据库)
在科技日新月异的今天，手语识别作为一种新兴的跨学科研究领域，正逐渐走进公众视野。
近期，我们邀请了上海大学的方昱春教授，这位在计算机视觉和手语研究领域深耕多年的资深专家，与我们分享了她如何将计算机视觉技术与手语研究相融合，开辟出一片新的研究天地。
方教授的研究重点在于利用计算机视觉技术（CV）探索手语识别，特别是通过深度学习方法来求解这一复杂而神奇的自然语言交流形式。目前她和团队已经在多模数据采集、孤立词识别、连续手语识别以及人体姿态建模等四个方向上开展了研究。
实际上，方教授的学术研究始于人脸识别，随着时间的推移，她的研究兴趣逐渐扩展到手语识别这一领域。
2003年，她在中科院自动化所获得博士学位，之后前往法国国立信息与自动化研究院做博士后，从事图像检索研究。虽然手语研究并非她最初的研究重点，但在2005年加入上海大学后，方教授逐渐将研究重心转向了手语领域。
特别是在2017年，她协助本校手语语言学专家倪兰教授筹建面向人工智能研究的手语数据库，并在2018年获得上海市科委项目支持，正式开展手语识别研究。
在方教授看来，手语研究不仅是技术探索的过程，更是深入理解人类认知智能机制的重要途径。她指出：“手语作为一种自然语言，尽管其发展历史相对较短，但它所蕴含的关于语言发展和认知机制的信息是极其珍贵的。”
如今，方教授的研究不仅关注于手语的理论研究，更致力于解决手语在实际场景中的应用问题，为聋人群体在应急、医疗和购物等实际场景中提供数字化技术支持。方教授和团队正在开发的应用程序和小程序，正是这一目标的具体实践。
此外，她也指出，随着大型语言模型等前沿科技的发展，手语识别研究将面临新的机遇和挑战。她的团队正在积极探索结合计算机视觉和自然语言处理的方法，以期在手语研究领域取得更多突破。
以下为对话（经编辑）：
01计算机视觉学者做起手语识别
：方教授，我注意到您是计算机视觉（CV）出身，手语研究在您的研究工作中所占比重在逐年增加，能具体介绍下您是如何把两者集合起来的吗？
方昱春：简单来说，计算机视觉和手语的结合，形成了“手语识别”这一研究方向。
手语识别研究是数据驱动的，而手语数据的获取和标注相对复杂。之所以我涉足这一领域，是因为倪兰老师参与了国家和上海的科研活动，希望将人工智能技术应用于手语研究，这促使我开始着手语数据的采集和研究规划。
在搭建手语识别系统时，还有另一种技术路线--基于传感设备（如数据手套和位置跟踪器）的系统。穿戴式设备如数据手套也曾是主流手语识别研究方向。
随着深度学习在人脸识别应用上的成功，手语识别研究也逐渐向机器学习和计算机视觉结合的方向发展。
目前，我的研究小组跟踪了计算机视觉领域的主流方法，正在以深度学习方法为主来处理手语识别问题，后续研究计划更加关注手语语言学交叉学科问题的探索。
我和团队已经探索了四个主要方向，包括多模态数据采集、孤立词识别、连续手语识别，以及人体姿态建模和AI生成技术应用于手语研究。
在连续手语识别方面，我想强调的一点是，我们试图建模手语运动的多模态特性，比如头部、面部、双手和躯干之间的空间关系和运动关系，以实现对手语更深入的理解。这是我们团队过去几年一直在努力的方向。
随着人工智能生成内容技术的发展，我们开始尝试了一些手语的计算生成研究，这部分工作还处于初级阶段。
：手语识别这一研究领域过去很少人关注，国内在这方面大致经历了怎样的发展阶段？
方昱春：计算机视觉的手语识别研究经历了20年左右的发展，随着深度学习技术的发展，基于机器学习和计算机视觉的手语识别才开始蓬勃发展，近两年里手语识别研究的规模迅速增长。
我是在2005年加入上海大学，在2017年才开始规划手语研究，2018年开始正式投入到手语研究中。2017年，我协助倪兰老师筹备数据建设，这年对上海大学手语研究来说是一个重要的里程碑，倪兰教授建立了“中国手语及聋人研究中心”，非常有魄力。
：您认为手语识别研究的长远目标是什么？
方昱春：手语作为一种自然语言，蕴含着人类的认知智能机制。与文字语言或口语相比，手语形成的历史相对较短，这使得手语成为研究语言发展和认知机制的宝贵研究对象。
从理论角度来看，我们希望能够更深入地理解这些机制。
而从应用角度来说，我们的目标是解决手语在实际场景中的应用问题，比如在应急、医疗和购物等场景中，为聋人社区提供数字化的技术支持。我们正在尝试开发应用程序和小程序，来实现这些目标。
：方教授，手语研究现在是您研究工作的主要部分吗？对您招生方面有何影响？
方昱春：手语研究是我目前研究的主要任务之一，自从开始着手语项目以来，我投入的精力和资源都在不断增长。
在招收研究生方面，我们也非常希望有跨学科背景的学生加入，比如语言学和机器学习的双重背景，但找到这样的综合型人才非常困难。
幸运的是，上海大学有倪老师这样在手语语言学领域有着深厚积累的专家，未来，我和倪老师计划合作指导学生，培养具有交叉学科背景的复合性人才，这一目标对学生的职业发展和人生规划将非常有价值。
02 数据是手语识别研究的最大瓶颈
：我最近对田英利教授的手语研究进行了专访，您可能已经看过了。田教授的研究专注于美国手语，并开发了一个实时手语语法错误识别系统。这个系统旨在为手语学习者提供即时反馈，并有望在未来提高精确度后，集成到手机或电脑中，以便将聋哑人的手语翻译给听力正常的人。请问您在这方面的研究是否有相似之处或存在差异？
方昱春：从我个人的角度来说，我对手语研究还是一个新手，我们实验了从计算机视觉角度研究手语的基本方法，我认为这些方法在应用上是具有实用价值的，对未来的理论研究也特别有帮助。
我和倪老师在讨论上海大学未来的手语研究规划时，了解到田英利教授开展了手语研究，于是我决定联系她，促进不同手语研究之间的交流。虽然我们研究的手语语种、可能不同，但背后的机理是可以互相借鉴的，我们可以通过比较美国手语和中国手语来互相验证。
实际上，我最初进行手语研究时，也是从孤立词的识别开始，使用的是美国手语（ASL）的数据集。正如我之前提到的，数据驱动的研究离不开数据。在我们自己的数据准备就绪之前，我们主要依赖开源数据集。
那么，无论是美国手语还是中国手语，实际上在不同地区之间，手语的表现形式还是有所不同的，就像方言一样，会有变化。
目前，中国科学技术大学、西安电子科技大学、中国科学院计算所和自动化所，是国内开展手语识别非常有代表性的研究机构。团队之间的合作沟通一定是有益的，如推动数据库共享等。
：手语也有“方言”之分，目前您使用的手语数据集，是否主要来自于上海一带所使用的？
方昱春：我们目前在上海进行的手语研究还处于比较基础的阶段，比如数据的分割和预处理，还没有深入到识别层面。
我们算法研究使用的数据集叫做“中国手语识别数据集”（CSL），这是由中国科学技术大学的研究团队建立的。
目前国家层面和政策层面为了帮助聋人群体，做了很多语言推广工作，通过制定新的标准来推广手语。
虽然对于我们这些不打手语的外行人来说，不能辨识不同地区的手语方言，但是关于手语的这种地域差异，还有很多问题需要研究。
：国内目前也有中科大、西电、中科院等几支手语识别的领先团队，所使用的手语数据是否针对特定地区？
方昱春：是的，这几所单位开展手语识别研究，都具备丰厚的积累。针对特定的手语方言的研究还非常少。
上海的手语语言学发展较为先进，倪老师和上海的聋人群体建立了长期的联系，并开展了实际合作。
从计算机视觉研究的角度来看，我们更多地使用德国的凤凰（PHOENIX）数据集，因为德国的手语数据集上做出来的标杆算法较多，我们希望了解自己的算法达到了什么程度。德国的标杆数据集开源较多，因此大家都愿意使用它来验证自己方法的进步。
：使用德国手语数据集进行研究会有语言不通的问题吗？这对我们的研究方法有影响吗？
方昱春：从计算机视觉的角度来看，使用德国或其他国家手语数据集是没有问题的，方法是有通用性的。视频中包含的主要是上半身的多模态运动，这些信号对我们来说都是一样的。尽管如此，从语言学的角度来看，不同语言的手语确实存在差异，因为它们属于不同的语系。
：在开发数字人进行手语应用时，您是否遇到了一些挑战，比如聋人群体可能无法理解数字人使用的手语，或者不同企业开发的数字人在手语表达上可能出现同质化的问题？
方昱春：首先，我们面临的最大挑战是手语数据的缺乏。
我们会选择使用德国凤凰（PHOENIX）数据集，因为它将场景限定在天气预报上，问题因场景限定而简化，他们提供公共研究的开源数据量很大，他们的团队开展了语言学家和计算机科学专家的合作，是一个很好的模式。
第二个挑战是，手语语言学专家和语言学专业人员的缺乏。
上大大学手语识别研究，有幸能获得倪兰老师的指导。
如果仅从计算机视觉的角度解决手语识别问题，不了解手语语言的特点，不了解聋人的语言特点，所开发出来的算法或模型会脱离实际应用的需求。
田英利教授的工作就是一个跨学科合作的典范，她结合了语言学和计算机视觉技术，我认为她的交叉应用选点非常新颖。倪老师也非常赞赏田教授的工作，并特意推荐给我们上海大学团队参考。
：我们也非常关注前沿科技对您工作的影响，比如去年推出的ChatGPT和今年的Sora，它们在自然语言处理方面取得了显著成就。这些模型背后的设计理念和技术路径，对您做手语识别研究有何启示？
方昱春：我们团队也一直在关注大语言模型的发展。我们正在计划利用学校新建的大型GPU集群，开展更多大语言模型相关的研究。
在结合计算机视觉（CV）和自然语言处理（NLP）方面，在中科大团队将自然语言理解技术应用于手语识别研究的启发，我们团队近期也提出了一个解决方案，取得了显著的效果。
：我们注意到，大模型的出现让很多人希望建立一个全球或国家通用的手语大模型。但这确实面临挑战，尤其是数据获取困难。手语数据通常包含上半身，涉及肖像权和隐私问题。您是否主要使用倪兰教授收集的数据库进行数据研究？
方昱春：为了妥善使用数据，确实需要健全隐私保护机制。我们团队在数据采集和使用方面，都严格遵守隐私保护的约束。
手语理解数据集面临的最大的挑战在于数据标注问题。当采集到孤立词或连续手语句的视频后，可以进行什么程度的标注？目前，文字形式自然语言的自动分词已非常成熟。但是，要将手语视频分解成音韵要素，自动处理难度非常高，人工标注工作量会非常大。
在接下来的线上圆桌讨论中，我希望和大家一起探讨手语识别领域的数据之困。
本文作者吴彤，欢迎添加微信（icedaguniang），交流认知，互通有无。
3月18日，北京时间20:00-22:00，将举办主题为「AI+手语识别，技术革新与应用前景」的线上圆桌论坛。
本次论坛嘉宾有，美国纽约城市大学田英利教授、上海交通大学自动化系苏剑波教授、上海大学计算机工程与科学学院方昱春教授、上海大学文学院倪兰教授，共同分享他们的见解和研究成果。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
｜手语相关资料
1，《专访纽约城市大学田英利教授：用多通道、多模态的方法「看懂」手语》
2，《Multi-Modal Multi-Channel American Sign Language Recognition 》
｜IJAIRR正在邀约论文和专题
《国际人工智能与机器人研究期刊》（International Journal of Artificial IntelliGence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。
作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。
（1）“如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。
（2）如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。
（3）如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。
IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。
联系人：IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
原创文章，未经授权禁止转载。详情见 转载须知 。
江苏开锁培训，教开锁，学配汽车遥控，学开锁技术，开锁学校，包学会免费住宿。欢迎各地学员实地考察，报销路费，学开锁找安信！
本页面为河北日升昌钢管有限公司【19933757886】关于浙江声测管厂家,杭州声测管现货的推荐页面,声测管是一种桩基检测用钢管,本公司声测管现货直销衢州,温州,,湖州,嘉兴,宁波,衢州,金华,丽水,温州,台州厂家直销等地,发货快规格全,欢迎来电咨询
菊花网致力于菊花的相关内容整合网站，关于菊花的相关知识，使用方法，盆栽观赏，泡茶等，涵盖菊科、菊属、菊目植物，菊花网都有你喜欢的，喜欢菊花的朋友，就来菊花网。
螺旋罐式水箱厂家-PGS水箱厂家-BDF水箱-不锈钢焊接水箱厂家-地埋水箱厂家
光污染是继废气、废水、废渣和噪声等污染之后的一种新的环境污染源，主要包括白亮污染、人工白昼污染和彩光污染。光污染正在威胁着人们的健康。在日常生活中，人们常见的光污染的状况多为由镜面建筑反光所导致的行人和司机的眩晕感，以及夜晚不合理灯光给人体造成的不适感。德国地球科学中心的克里斯托弗·基巴的研究表明，光污染正导致夜空以每年约10%的速度变亮。
江苏帜飞建设有限公司从事建筑工程、装饰装修工程、外墙保温、防水防腐工程、幕墙工程、园林绿化工程、市政道路工程等。
沈阳文发装饰地热工程有限公司成立于2009年，是一家专业从事地热设计、安装、施工为一体的地暖公司，主要代理品牌产品：伟星管，进口英国爱喏双层阻氧管，德国瑞好等
海荻威专业光通信设备ODM代工厂家，提供ONU光猫，光模块，交换机，OLT代工服务，9段代工体系，10+年行业经验，10000家运营商优选代工厂家共同选择。
天龙八部私服发布网是国内最大的新开天龙八部发布网,每天为怀旧天龙八部SF玩家发布最新变态天龙私服,还有各类版本最新天龙SF大全信息方便查找!
《第6大陆》是专为学生、上班族们设计的FLASH虚拟互动社区，强调由自己去创造并享受生活。在第6大陆，每个人都有唯一的形象，可以在K歌舞台上一展歌喉，可以在自己的房间里听歌、打球、偷菜。在这里，服装和宠物全由您亲自执笔绘画，甚至还可以圈下一块土地，经过设计和经营，最终发展为一座繁华大都市。
阿贝尔自成立起一直从事美容面膜原材料的研发和生产。是全国的软膜粉专业生产企业之一。阿贝尔对美容面膜领域的深入、拥有面膜种类的繁多、先进精髓技术的掌握，使其在业内拥有着“面膜之源”的美誉
在大多数机器学习竞赛中，特诊工程的质量通常决定着整个作品的得分与排名，也是参赛者们非常看重的一部分，在GitHub上，作者Nomi，专注于计算机视觉与嵌入式技术，也是tiny，dnn的原作者，向我们介绍了一个面向kaggle数据科学和离线竞赛的实用工具库nyaggle，可供开发者专用于特征工程与验证，在机器学习和模式识别中，特征工程的...。
不差钱的苹果又开始买买买了，据彭博社报道，苹果今年早些时候已以5000万美金的价格收购了一家计算机视觉初创公司，这家AI初创公司名为Vilynx，成立于2011年，总部位于巴塞罗那，据悉，他们约有50名工程师和数据科学家已加入苹果，其中包括Vilynx的联合创始人兼首席技术官ElisendaBou，Balust，这50名员工会继续在他...。
雷锋网AI科技评论按，2018年，AI研习社又为大家呈上了一系列公开课，AI研习社的粉丝们也再度与我们相伴走过了一年，作为一个针对AI开发者的公开课类目，，猿桌会，自去年推出以来广受各位的喜爱，在今年雷锋网AI研习社依旧以最饱满的诚意为大家邀请了领域内的各路大神进行分享，具体内容涵盖深度学习开源框架、神经网络调参和优化、开发语言使用技...。
2022北京的冰雪赛场热闹非凡，相信即使没有看比赛这几天来你也一定被金牌、谷爱凌等热词刷屏了，而和我们一起在屏幕前关注中国健儿们表现的还有一群处于无声世界中的特殊人群，尽管他们能够看到赛场上的精彩画面，不过对于赛场细节的解说却无法传入耳中，这些听障人士了解世界、对外沟通主要借助手语，以往我们经常能够看到央视等电视台的新闻节目中伴随的手...。
2018年，零售市场多了几分热闹，旷视、依图、地平线等AI新星不约而同地选择客流分析作为切入点，先后推出了智慧零售解决方案，这并不意外，一方面，客流分析是人、货、场数字化中的重要组成部分，市场空间广阔；另一方面，这些企业都以计算机视觉技术为核心，而计算机视觉在目前所有客流分析技术中前景最为明朗，正当AI新秀们的客流分析方案进入线下门店...。
编者按，本文内容来自速腾聚创CEO邱纯鑫在雷锋网硬创公开课的分享，由雷锋网旗下栏目，新智驾，整理，激光雷达与摄像头性能对比在无人驾驶环境感知设备中，激光雷达和摄像头分别有各自的优缺点，摄像头的优点是成本低廉，用摄像头做算法开发的人员也比较多，技术相对比较成熟，摄像头的劣势，第一，获取准确三维信息非常难，单目摄像头几乎不可能，也有人提出...。
字节跳动人工智能实验室总监王长虎已于近期离职据官方介绍，王长虎于2017年加入字节跳动人工智能实验室担任总监一职，主要研究方向包括计算机视觉、视频理解、多媒体检索和机器学习等，今年1月字节跳动内部职位调动，王长虎转任字节跳动的商业化，视觉技术负责人，负责抖音、火山、fauce、今日头条等多条主要产品线，近一年多来，字节跳动AILab频...。
VincentVanhoucke是Google的首席科学家，斯坦福大学电子工程学博士，目前在GoogleBrain主导机器人相关的项目，Vanhoucke主要的研究领域是语音识别、计算机视觉和机器人等领域，他还即将主持机器人领域的盛会CoRL2017，ConferenceonRobotLearning，Vanhoucke认为，机器智...。
雷锋网AI科技评论按，生成对抗网络是一类功能强大、应用广泛的神经网络，它们基本上是由两个神经网络组成的系统——生成器和判别器，这两个网络相互制约，计算机视觉和人工智能的爱好者BharathRaj近日发布以一篇博文，总结了生成对抗网络的原理、缺点和为了克服这些缺点所做的研究的最新进展，雷锋网AI科技评论编译整理如下，生成对抗网络的工作原...。
雷锋网AI科技评论按，7月12日，7月14日，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在...。
CVPR是IEEE一年一度的计算机视觉与模式识别技术会议，也是计算机视觉的世界三大顶会之一，2017年的CVPR会议将于7月21日到26日于夏威夷会议中心召开，雷锋网将赴前线做覆盖与报道，今天是CVPR大会的首日，一大早，CVPR的签到台就井然有序地排起了长龙，与其它国际会议相似的是，会议采用扫码打印名牌的方式入场，此外也支持通过下载...。
在刚刚过去的2017年，国内外人工智能界的突破层出不穷，在自然语言处理和计算机视觉领域，国内发展势头迅猛，在人工智能最前沿研究上，国外独领风骚，2月初，南京大学周志华教授在他的论文中提出一种新的集成机器学习方法gcForest，利用级联森林，决策树集成，方法去学习生成模型，引发学术界大讨论，3月，腾讯AILab研发的围棋人工智能程序，...。
当前网安行业面临的挑战包括外部攻击的增长、新兴技术带来的挑战、企业安全预算不足以及网安厂商的大面积亏损，在12月3日举行的全国工商联网络与数据安全委员会全体会议，以下简称，会议，上，360集团首席运营官叶健介绍了2024年网络安全行业面临的四大挑战，也让外界对网安行业的发展现状有了更多了解，在这场以，安全技术数智化，数字安全行业...。
讯息，3月16日，中国电动汽车百人会论坛，2024，国际论坛、高层论坛在北京钓鱼台国宾馆成功举办，来自全球的政府部门和汽车、能源、交通、城市、通讯等领域的行业机构和领先企业代表就，巩固和扩大新能源汽车发展优势，、，汽车产业提速电动化与可持续发展，两大话题展开了精彩纷呈的讨论，以期凝聚共识、强化产业协同，推动新能源汽车产业高质量发...。
雷锋网讯，北京时间6月26日，全球实时互动云服务商声网Agora正式在美国纳斯达克挂牌交易，股票代码为，API，，成为，全球实时互动云第一股，声网开盘价报45美元，较20美元的发行价暴涨125%，截止收盘，声网股价暴涨152.5%，报50.50美元，市值达50.6亿美元，招股书显示，目前声网收入几乎全部来自于云服务，26日晚，声网创...。
随着互联网时代的快速发展，各种自媒体平台出现在市场上，一些人从中获得了不少财富，在众多媒体平台中，TikTok抖音出海公会是一家跨境直播平台，拥有全球大量直播流量，在市场上有着一定市场定位，那么TikTok抖音出海公会粉丝多吗，怎么加盟，TikTok抖音出海公会粉丝多吗公司从品牌创建以来，就是一家国际版本的直播平台，属于是字节调动旗下...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
