AR算法新突破 亮风台2D 夺冠世界权威评测 (arr算法)

文章编号:38441 资讯动态 2024-12-01 AR亮风台
AR算法新突破亮风台2D夺冠世界权威评测arr算法 亮风台 AI影响因子 论文

在目前的AR应用中,2D AR跟踪,如海报、卡牌等平面物体的跟踪已经成为核心技术之一,在营销、教育、游戏、展示展览等方面都很常见。然而,尽管近年来2D AR跟踪算法已经取得了很大的进步,但在一些外部条件环境因素影响下的效果仍然有很大提升空间,如何处理光照变化、运动模糊等因素带来的挑战,也是目前进行底层算法研发的AR公司以及学者的研发热点。

雷锋网近日消息,AR公司亮风台在2D AR跟踪方面取得了新突破,其研发人员提出的基于约束置信度的鲁棒跟踪算法(CCM),提高了在局部遮挡、光照变化和运动模糊等各种因素干扰情况下的鲁棒性,并在UCSB和TMT两个国际评测集中刷新了最好成绩。目前,这一成果已经在机器人领域顶级会议ICRA 2018上发表。ICRA 是机器人领域三大顶级会议之一(其它两个为IROS和RSS),AR跟踪的很多经典工作(例如ESM跟踪算法)都曾在ICRA和IROS上发表。

亮风台2D AR算法新突破,夺冠世界权威评测 | ICRA 2018

在局部遮挡、运动模糊和照明改变条件下的CCM算法效果示例(只显示在目标周围放大的区域以便展示)

据了解,这两年亮风台依然有不少工作在针对2D AR的算法优化,在2017年的ICRA上发表了针对光照变化的基于梯度方向的AR跟踪算法;同年提出的基于图匹配的跟踪算法利用图结构来处理目标物体内部的空间关联,从而实现在强干扰的准确平面物体跟踪,该工作已被人工智能领域国际顶级期刊《PAMI》(IEEE模式分析和机器智能汇刊)录用。其它在CVPR、ICCV、ECCV、ICRA、ISMAR、PAMI 等AI、CV、AR相关领域顶级期刊会议上公开发表的研究成果涉及图像语义识别、人脸图像分析、手势识别、AR场景建模定位、超图匹配,视觉显著性等方面。

基于约束置信度的鲁棒跟踪算法(CCM)

跟踪平面物体,例如2D标记,通常是相机定位和场景配准的重要步骤。在过去的几十年中,大量的研究致力于视觉跟踪问题,平面目标跟踪的流行方法可以大致分为基于关键点的方法和基于模板的方法。基于模板的方法直接利用像素的外观而不提取特征,并基于牛顿法或其变体优化模板与捕获图像之间的相似性度量,以确定平面的姿态。

不同与传统的基于模板的跟踪方法,CCM( Constrained Confidence MatCHIng)根据测量噪声对每个像素分配不同的匹配系数,而不是在计算运动参数时对模板中的每个像素进行相同的处理。在此基础上,为了进一步提高对光照变化和重运动模糊的鲁棒性,亮风台研发人员还提出了一种鲁棒卡尔曼滤波器,它采用新的控制输入模型来处理物体的外观变化。

给定目标的初始图像或位置,新方法(即CCM)自动从视频中跟踪定位目标所在位置。

第一步:从视频第一帧中提取目标区域作为模板T;

第二步:从视频读取下一帧图像It;

第三步:在图像It中跟踪匹配目标;

第四步:根据第三步的跟踪结果更新模板T。

第五步:跳转到步骤二处理下一帧图像。

测试结果

为了彻底评估,CCM算法在两个公共数据集上进行了测试:加利福尼亚大学提出的UCSB基准和加拿大阿尔伯塔大学提出的操作任务跟踪(TMT)基准。UCSB数据集包括96个视频流,显示6个不同纹理的平面目标,总共6889帧,具有几何失真(摇摄、缩放、倾斜、旋转)、九个运动模糊等级以及不同的照明条件,所有帧都受到不同程度的噪音影响。TMT数据集由人为和机器记录的操作任务的图像序列组成,它包含109个图像序列,共70592帧。

对应于每个视频类别的平均跟踪精度汇总在表I(UCSB)和II(TMT)中,如下:

亮风台2D AR算法新突破,夺冠世界权威评测 | ICRA 2018

亮风台2D AR算法新突破,夺冠世界权威评测 | ICRA 2018

从实验结果可以看出,所提出的CCM算法在两个数据集上显著地优于所有基线。事实上,CCM在几乎所有视频类别中都获得了最佳或几乎最佳的跟踪性能,明显优于现有的主流跟踪算法,如基于关键点的跟踪(keypoint-based tracker),基于模板的跟踪( template-based tracker)以及概率跟踪(probabilistic tracker),并且它对于极端姿态变化以及严重的环境扰动都表现出很高的鲁棒性。

CCM算法与其他算法相比,在各类内在和外在变化的几个典型示例如下,包括具有重复图案的图像倾斜;剧烈而动态的日落画面引起照明变化,纹理非常弱;存在部分遮挡;运动模糊,在这种情况下检测不到可靠的关键点。

亮风台2D AR算法新突破,夺冠世界权威评测 | ICRA 2018

亮风台2D AR算法新突破,夺冠世界权威评测 | ICRA 2018

AR的研究仍需持续努力

尽管计算机对于“常规”平面物体的认识已经能达到很高的速度、精度,以及稳定性,但这明显还不够,研究人员希望计算机能够尽可能“模拟”人的视觉效果,甚至在一定条件下超过人眼,这样,在算法工程化之后面向普通用户时,才能保障优质的用户体验,如在传统的平面物体跟踪中,容易出现快速运动丢失或漂移等现象,反映到用户体验上,车窗外的广告牌就容易识别不到,在走动过程中玩AR游戏发现地面上的家具会“飘”起来等。

这就需要相关的学术人员以及企业研发人员不断的优化算法、提出新方法,如此才能结合不断升级的硬件环境实现高度的市场化。对于目前的2D AR甚至整个AR行业来说,需要从业人员把现有技术应用化市场化,但同样需要大量真正的创新人员向前推进底层技术边界,让AR走向成熟。

AR技术新突破:亮风台研发基于图的平面物体跟踪算法

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
WordPress主题模板

zibll主题子比主题专为个人、企业的WordPress主题美化设计开发,wp主题采用简约优雅的设计风格搭配强大的商城功能以及易用的模块化配置,成为更加适合中文wordpress商城主题模板、wordpress企业主题模板、wordpress博客主题模板。

苏州与来视讯科技有限公司

与来视讯,工业液晶屏,笔记本液晶屏,车载液晶屏,IVO液晶屏,龙腾液晶屏,液晶屏面板,龙腾液晶屏代理

冰优生鲜

冰优生鲜,敢为天下鲜,专注于海鲜大礼包,大闸蟹,澳洲牛排等生鲜产品.沪上知名品牌.

上海佳田药用包装有限公司

公司创建于1990年5月,是国内第一家专业生产药用铝质软管,铝质染发膏管的公司。公司2000年开始生产铝质气雾罐,是国内较早生产铝气雾罐企业之一。公司位于上海市金山区朱泾镇亭枫公路3058号,公司厂区占地面积60.5亩,职工人数为200多人,总资产25000万元人民币,公司年生产总值30000万元。总共有8条生产流水线,其中5条生产线生产铝质软管,年产25000万铝软管,是中国规模较大的铝管生产企业。其中3条生产铝气雾罐,年产16000万铝气雾罐

扫扫看学习网

扫扫看学习网是免费在线学习网,涵盖科学小实验、奥数解答、脑筋急转弯、猜谜底等知识综合学习网站和互助交流平台。

PDF转Word

专业PDF转换器,专业的PDF转换工具,提供各类PDF转换功能,包括PDF转Word、Excel、PPT、图片、Html等,还能拆分、合并、压缩、加密、提取图片,Word、Excel、PPT转PDF等,功能强大,方便快捷,PDF转换软件选择专业PDF转换器

资讯游戏攻略大全

启航游戏网专为手机游戏玩家设计,提供丰富的游戏下载和游戏资讯分享。无论您想获取最新手游发布信息,还是查找热门游戏的攻略,华爱手游网都能为您提供满意的内容。每天都有新的发现,助您畅享游戏旅程!

液压备件

常州晨谷机械有限公司是一家销售BOSCH-REXROTH(博世-力士乐)的液压备件、力士乐气动备件、力士乐工控备件等产品。公司凭借着力士乐产品种类齐全、价格低、供货期快、售后服务完善等特点,已与内地各大力士乐分销商、生产配套厂;力士乐液压系统使用客户,建立了长期供货及合作关系。同时为了缩短供货期保障客户的贴身利益,我们还建立了BOSCH-REXROTH常用备件的库存,并派专人进行管理。

太原市人民政府门户网站

负责市政府会议的会务组织工作.协助市政府领导同志组织会议决定事项的实施.协助市政府领导组织起草或审核以市政府,市政府办公室名义发布的公文,办理中央,国务院,省委,省政府及其他部门发送市政府的公文,负责公文机要交换工作...

灌装封尾机

无锡和博自动化机械制造有限公司位于太湖之滨--无锡,是专业设计、开发、制造与销售各种类型的灌装封尾机,胶水灌装机,软管灌装封尾机,产品运用于液体、粉剂、膏体、流体、半流体等相关产品的包装机械设备的技术型企业。

全局底部横幅