MIT等高校联合推出3000小时的第一视角视频数据集Ego4D Facebook和NUS (mit 学校)

文章编号:36076 资讯动态 2024-11-30 NUS研究团队FacebookMITEgo4D

Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

1. 左:同一场景在第一视角和第三视角下;右:第一视角视频采集设备

从第三视角看世界,和从第一视角和世界互动,有显著差异。比如说,看别人坐过山车和自己坐过山车,体验完全不同。
AI技术浪潮,为增强现实 (AR) 和智能机器人赋能,AI需要从现在的第三视角转换成第一视角的全新范式。这是因为在第一视角的世界中,常有实时的运动变化,手与物体的交互,多种感官的信息融合。

Facebook联合新加坡国立大学 (NUS) 、MIT等世界各地的13所大学组成了一个学术联盟,致力于开展一个长期项目——

NUS研究团队的Principal Investigator(主要负责人),助理教授Mike寿政说: “在过去十年里,我们见证了AI在理解图像方面的变革,这是建立在 ImageNet 等数据集所奠定的基础上的。类似的,我相信我们的 Ego4D 数据集,将为第一视角的视频研究打好基础,从而推动智能感知在 AR 和机器人方面的快速发展。”



目前最大的第一视角视频数据集
Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

2. Ego4D 是目前最大的第一视角的日常活动视频数据集

AI系统需要大量数据进行训练,现有的大规模视频数据集通常以第三视角为主;而现有的第一视角数据集在规模、多样性和复杂性上都很有限。因此,该学术联盟推出了 Ego4D 数据集:

大规模 :研究人员分发头戴式相机或者 AR眼镜给数据采集者,从而收集了累计3,000 小时的、日常活动中的第一视角视频;

:包含了人们的日常生活的数百种不同活动,记录了相机佩戴者在关注什么,用手和面前的物体做什么,以及他们是如何与其他人互动的;

多样性 73 个地点、9个国家,700 多名不同背景、种族、职业、年龄的数据采集者,囊括不同的文化和地理差异;

抽好的特征 :所有视频,均有预先抽好的 SlowFast特征,方便大家进行实验;

授权公开 2021 年 11 月公开,视频中的所有可见人脸和可听懂的语音均已获得参与者的授权。



新任务,新技术
Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

3. 通过采集的第一视角视频数据,Ego4D团队可以开发AI模型来解决新的任务

与数据收集同样重要的是,定义正确的任务,进行严格的人工标注,来引导新技术的研发。

Ego4D 学术联盟联合构建了五个全新的、具有挑战性的任务:

(1)情景记忆: 什么时候发生了什么? 3A, 告诉我钱包最近一次出现的位置。

(2)预测未来: 我接下来要做什么? 3B, 他即将跳起来抓住单杠。

(3)手与物体交互: 我在做什么以及如何做? 3C, 告诉我下一步的操作。

(4)+听觉: 多人场景下,谁在什么时候说了什么? 3D, 生成会议内容的总结。

(5)社交交互: 人与人如何交互? 3D, 我注视着他,而他正在对我说话。

“我们NUS研究团队主要为其中两个关键任务开发模型:一是,利用声音和视觉线索帮助AI识别“谁在什么时候说了什么 ;二是,开发具有社交智能的 AI,检测当下谁在对谁说话,谁在关注谁。” 同样来自NUS团队的Co-PI李海洲教授如是说。

有第一视角感知能力的 AI,将赋能AR眼镜、智能机器人等等同样是第一视角的设备,将在我们的日常生活和工作中发挥更大作用。想象一下:在对着新菜谱做菜时,不必再来来回回地看菜谱,你的AR 眼镜就可以实时地同步指导你执行每个步骤;对于有阿尔茨海默症等健康问题的人,AR眼镜可以帮助他们回忆钱包放在哪里了。

Ego4D数据集只是起点,研发第一视角AI技术,进而赋能智能机器人、AR眼镜,将在不远的将来,改变我们的生活、工作、娱乐方式,带给我们前所未有的、虚拟与现实交融的体验。

更多技术详情请见Arxiv论文:
Ego4D 计划的学术联盟包括以下主要负责人:CV Jawahar (印度国际信息科技研究院,海得拉巴), David Crandall (印第安纳大学), Dima Damen (布里斯托大学), Giovanni Maria Farinella (卡塔尼亚大学), Kristen Grauman (Facebook AI), Bernard Ghanem (阿卜杜拉国王科技大学), Jitendra Malik (Facebook AI), Kris Kitani (卡内基梅隆大学和卡内基梅隆大学非洲校区), Aude Oliva (麻省理工学院), Hyun Soo Park (明尼苏达大学), Jim Rehg (佐治亚理工学院), Yoichi Sato (东京大学), Jianbo Shi (宾夕法尼亚大学), Antonio Torralba (麻省理工学院), Mike Zheng Shou (新加坡国立大学), and Pablo Arbelaez (哥伦比亚安第斯大学)。

Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

版权文章,未经授权禁止转载。详情见 转载须知 。

Facebook和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

全局中部横幅
安卓软件下载网

app下载、手游排行榜--iu9软件商店:app大全免费下载大全网站

绩溪马头墙瓦业科技有限公司

绩溪马头墙瓦业科技有限公司专注于建筑的传统屋面瓦整体定制,以高品质的品牌定位,提供专业的个性化定制服务。生产过程运用现代智能科技技术,保障了质量,追求优异的品质。

电磁吸盘

无锡舰华磁电科技有限公司专业生产电磁吸盘,电永磁吸盘,电控永磁吸盘,退磁器,可以根据用户需求制造各种形状、规格的电永磁吸盘,产品广泛应用于数控铣床,加工中心,数控...

说明书库

说明书库首页。在说明书库中查询和下载各行各业数以万计的产品说明书,它是您生活工作的好帮手!

云进销存

雨田在线进销存软件,云进销存,是基于互联网操作的进销存管理软件,使用浏览器即可实现异地、实时业务办理。老板随时能够对客户资源、销售情况、采购情况,库存存货情况,做到了如指掌。

夏新电器

夏新科技秉承“智能生活,夏新家电”的品牌理念,为消费者提供多元化的产品和服务,包括:智能通信终端(如智能手机、智能手表、智能手环等)、家用电器(如液晶电视、冰箱、洗衣机、空调、抽油烟机、灶具、热水器、集成灶、空气净化器、新风系统、小家电产品等)、物联网无线通讯模块,健康生活电器业务,以及适应不同行业应用的物联网模块业务

化工溶剂灌装

山东晟铭智能装备科技有限公司,产品主要有称重灌装机,化工溶剂灌装,聚氨酯灌装,增塑剂灌装,润滑油灌装设备,增塑剂罐装设备,大桶吨桶灌装机,自动灌装流水线,移动型分装加注设备,液体输送定量控制仪表,自动配料控制系统,同时提供液体灌装机的维修保养,以及以及自动化控制工程项目的设计、制作、安装与调试。

SynologyNAS 

SynologyNAS提供功能完整的网络存储(NAS)解决方案,可让您轻松管理及备份数据,并在Windows、Mac及Linux计算机之间分享数据。

江湖聊天室

醉江湖源于2000年前后的世纪江湖,是在周公的仙剑江湖基础上开发出来的,包含:泡点升级、PK打架、江湖婚姻等功能的文字武侠游戏。您可以在醉江湖里:聊天交友,谈情说爱,也可以仗剑江湖,创建门派,成为一代大侠!经多年修改优化并结合侠剑江湖和楚天江湖的优点,是现今最好的江湖游戏。厌倦网页游戏,何不回归江湖?

芯对比

玫瑰跟月季的区别

全局底部横幅