MIT等高校联合推出3000小时的第一视角视频数据集Ego4D Facebook和NUS (mit 学校)

文章编号:36076 资讯动态 2024-11-30 NUS研究团队FacebookMITEgo4D

Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频集Ego4D

1. 左:同一场景在第一视角和第三视角下;右:第一视角视频采集设备

从第三视角看世界,和从第一视角和世界互动,有显著差异。比如说,看别人坐过山车和自己坐过山车,体验完全不同。
AI技术浪潮,为增强现实 (AR) 和智能机器人赋能,AI需要从现在的第三视角转换成第一视角的全新范式。这是因为在第一视角的世界中,常有实时的运动变化,手与物体的交互,多种感官的信息融合。

Facebook联合新加坡国立大学 (NUS) 、MIT等世界各地的13所大学组成了一个学术联盟,致力于开展一个长期项目——

NUS研究团队的PrincIPAl Investigator(主要负责人),助理教授Mike寿政说: “在过去十年里,我们见证了AI在理解图像方面的变革,这是建立在 ImageNet 等数据集所奠定的基础上的。类似的,我相信我们的 Ego4D 数据集,将为第一视角的视频研究打好基础,从而推动智能感知在 AR 和机器人方面的快速发展。”



目前最大的第一视角视频数据集
Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频集Ego4D

2. Ego4D 是目前最大的第一视角的日常活动视频数据集

AI系统需要大量数据进行训练,现有的大规模视频数据集通常以第三视角为主;而现有的第一视角数据集在规模、多样性和复杂性上都很有限。因此,该学术联盟推出了 Ego4D 数据集:

大规模 :研究人员分发头戴式相机或者 ar眼镜给数据采集者,从而收集了累计3,000 小时的、日常活动中的第一视角视频;

:包含了人们的日常生活的数百种不同活动,记录了相机佩戴者在关注什么,用手和面前的物体做什么,以及他们是如何与其他人互动的;

多样性 73 个地点、9个国家,700 多名不同背景、种族、职业、年龄的数据采集者,囊括不同的文化和地理差异;

抽好的特征 :所有视频,均有预先抽好的 SlowFast特征,方便大家进行实验;

授权公开 2021 年 11 月公开,视频中的所有可见人脸和可听懂的语音均已获得参与者的授权。



新任务,新技术
Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频集Ego4D

3. 通过采集的第一视角视频数据,Ego4D团队可以开发AI模型来解决新的任务

与数据收集同样重要的是,定义正确的任务,进行严格的人工标注,来引导新技术的研发。

Ego4D 学术联盟联合构建了五个全新的、具有挑战性的任务:

(1)情景记忆: 什么时候发生了什么? 3A, 告诉我钱包最近一次出现的位置。

(2)预测未来: 我接下来要做什么? 3B, 他即将跳起来抓住单杠。

(3)手与物体交互: 我在做什么以及如何做? 3C, 告诉我下一步的操作。

(4)+听觉: 多人场景下,谁在什么时候说了什么? 3D, 生成会议内容的总结。

(5)社交交互: 人与人如何交互? 3D, 我注视着他,而他正在对我说话。

“我们NUS研究团队主要为其中两个关键任务开发模型:一是,利用声音和视觉线索帮助AI识别“谁在什么时候说了什么 ;二是,开发具有社交智能的 AI,检测当下谁在对谁说话,谁在关注谁。” 同样来自NUS团队的Co-PI李海洲教授如是说。

有第一视角感知能力的 AI,将赋能AR眼镜、智能机器人等等同样是第一视角的设备,将在我们的日常生活和工作中发挥更大作用。想象一下:在对着新菜谱做菜时,不必再来来回回地看菜谱,你的AR 眼镜就可以实时地同步指导你执行每个步骤;对于有阿尔茨海默症等健康问题的人,AR眼镜可以帮助他们回忆钱包放在哪里了。

Ego4D数据集只是起点,研发第一视角AI技术,进而赋能智能机器人、AR眼镜,将在不远的将来,改变我们的生活、工作、娱乐方式,带给我们前所未有的、虚拟与现实交融的体验。

更多技术详情请见Arxiv论文:
Ego4D 计划的学术联盟包括以下主要负责人:CV Jawahar (印度国际信息科技研究院,海得拉巴), David Crandall (印第安纳大学), Dima Damen (布里斯托大学), Giovanni Maria Farinella (卡塔尼亚大学), Kristen Grauman (Facebook AI), Bernard Ghanem (阿卜杜拉国王科技大学), Jitendra Malik (Facebook AI), Kris Kitani (卡内基梅隆大学和卡内基梅隆大学非洲校区), Aude Oliva (麻省理工学院), Hyun Soo Park (明尼苏达大学), Jim Rehg (佐治亚理工学院), Yoichi Sato (东京大学), Jianbo Shi (宾夕法尼亚大学), Antonio Torralba (麻省理工学院), Mike Zheng Shou (新加坡国立大学), and Pablo Arbelaez (哥伦比亚安第斯大学)。

Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频集Ego4D

版权文章,未经授权禁止转载。详情见 转载须知 。

Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频集Ego4D

全局中部横幅
食品安全网

食品安全网属于专业的食品行业网站,注重食品安全同时分享食品技术,提供食品行业资讯、相关政策。主要栏目有食讯、行业、展会、品牌、招商、酒业、食话、食说等。

三思工具查询网

三思查询网免费提供大众日常生活实用查询工具服务。

VENCINO服装定制店

梵希奴(昆明)服装定制|电话13888780072,专业订做西服|礼服|职业装|商务女装|衬衫,款式多面料全,一件可定,上门量体,为您定制专属服装.

华南农业大学珠江学院继续教育学院,华南农业大学珠江学院继续教育学院职业本科,华南农业大学珠江学院继续教育学院专本连读

华南农业大学珠江学院继续教育学院,华南农业大学珠江学院继续教育学院职业本科,华南农业大学珠江学院继续教育学院专本连读,致力于建设成为一所立足广东区域经济发展,以现代传媒为重点,应用艺术为特色,多学科协调发展的国际化水平较高的应用技术大学;形成了“四个特色”:面向市场的办学特色,技术与学术井重的教学特色,讲求实际的育人特色,国际化的发展特色。

合肥清立方环保科技有限公司

合肥清立方环保科技有限公司是工业噪声治理,废水治理设备,除臭设备,废气治理及污水池加盖工程安装厂家;销售区域安徽,合肥,六安,淮南,蚌埠,马鞍山,安庆,宣城等地

晒展网

晒展网提供全国展会招商信息,用户可以在晒展网寻找展会、报名展会;平台以促进会展行业交流与合作为目标,致力打造成展会线上线下一条龙服务;目前平台覆盖95%的国内展会信息,属于权威的展会招商平台,找展会请上晒展网!

不锈钢反应釜,列管式冷凝器换热器,卧式储罐厂家

不锈钢反应釜厂家,无锡太湖石化装备厂主要开发生产不锈钢反应釜,卧式储罐,立式储罐,列管式换热器,电加热外盘管反应釜,列管式冷凝器,螺旋板换热器,搪玻璃冷凝器等制药化工装备,产品品种齐全,厂家直销,不锈钢反应釜价格优惠,售后有保障,提供非标卧式储罐定制,欢欢迎来电咨询!

国雅礼仪

国雅礼仪是集国学礼仪培训、传统文化教育、研学旅行、文创产品、24小时公益书屋、公益大讲堂一站式国学、礼仪文化传播体验为主导的集团综合体,其中还包括,国学礼仪培训,国学礼仪招商以及传统文化、研学旅行加盟等项目

西安鲲创科技

西安鲲创科技发展有限公司是国内唯一的高脂细胞添加剂综合服务商,研制的即用型软脂酸/软脂酸钠/棕榈酸钠/棕榈酸/油酸钠/高脂细胞添加剂具有无溶剂毒性、无固体析出、浓度准确等优势。

全局底部横幅