IEEE 视觉计算的前沿进展与挑战 Fellow梅涛 (ieee on image processing)
今年12月9日，第六届全球人工智能与机器人大会（GAIR 2021）在深圳正式启幕，140余位产学领袖、30位Fellow聚首，从AI技术、产品、行业、人文、组织等维度切入，以理性分析与感性洞察为轴，共同攀登人工智能与数字化的浪潮之巅。
大会次日，IEEE/IAPR Fellow，京东集团副总裁，京东探索研究院副院长梅涛在GAIR大会上做了《从感知智能到认知智能的视觉计算》的报告，他指出视觉计算的感知研究虽然已经相对成熟，某些人工智能（AI）任务已经能够通过图灵测试，例如在内容合成与图像识别，但在视频分析领域，视频数据内容多样化以及视频语义的不清晰等原因导致该领域还存在大量挑战性问题。
同时，在认知领域，视觉计算已经有一些进展，例如Visual Genome、VCR等数据集已经布局 ；而在推理层面，国内学者已经尝试通过联合解译和认知推理深入理解场景或事件。
以下是演讲全文，AI科技评论做了不改变原意的整理：
今天的演讲题目是《从感知智能到认知智能的视觉计算》。在开始之前，先用两个图灵测试的例子大致说明AI的进展。
首先计算机视觉不仅在识别领域，在内容合成领域已经达到通过图灵测试的标准。正如上图所示，人类已经很难在一组图片中将两张机器合成的图片挑选出来。
另外一个图灵测试的例子是“看图说话”：给定一张图片，描述图片的内容。下面两句话分别由人（第一句）和机器（第二句）生成。很显然，如果不仔细看图片，可能会潜意识的认为机器比人写的详细。
如果仔细观察图片，就会发现确实有一只手把小狗举了起来。这也说明：不太经常发生的现象，机器很难描述，其原因和机器学习的内容相关，以及机器没有逻辑推理能力。
通过上述两个例子我们可以看出： 在感知领域，AI已经超越人类；而在认知领域，它还欠缺一些火候。
上图是计算机视觉在过去五六十年取得的进展，2012年深度学习“大火”之前，计算机完成视觉任务通常有两个步骤：特征工程和模型学习。
特征工程的特点是完全依靠人类智慧，例如设计Canny edge、Snak、Eigenfaces等参数特征，同时这些方法已经获得了大量的引用，Canny已经被引用了38000次，Snak 18000次，SIFT更是已经超过了64000次。
2012年之后，深度学习兴起，颠覆了几乎所有的计算机视觉任务。其特点是 将传统的特征工程和模型学习合为一体，即能够在学习的过程中进行特征设计。
深度学习火热的另一个标志是每年有大量的论文投到计算机视觉顶会（CVPR、ICCV、ECCV等），同时如果这些方法表现“杰出”，就能够获得大量的流量，例如GoogleNet VGG在不到8年的时间里获得了10万次引用；2015年的ResNet更是在更短的时间获得了接近10万次的引用。
这说明深度学习领域在飞速发展，而且进入这个领域的人越来越多。一方面不仅深度学习网络在不断“更新换代”，图像、视频等数据集也在不断增长，甚至有些数据集规模已经过亿。
其中，深度学习的一个趋势是“跨界”。在2019年，Transformer在自然语言处理领域的性能被证明“一枝独秀”，现在已经有大量学者开始研究如何将其纳入视觉领域，例如微软亚洲研究院swin transformer相关工作获得了ICCV的最佳论文奖。
上图展示了随着研究范式的变化，数据集的变化趋势。无论是数据集的类别还是数据集的规模都在不断增大，有些数据集更是超过了10亿级别。目前类别最多的是UCF101数据集，其中包括101个类。同时，大规模也带来了一个弊端：一些高校和小型实验室无法进行模型训练。
特定领域进展如何？在图像识别领域，最广为人知莫过于ImageNet竞赛。其任务是给定一张图，预测出五个相关的标签。随着深度学习网络的层数越来越深，识别的错误率越来越低，到2015年， ResNet已经它达到了152层，并且已经超过了人类识别图像的能力。
在视频分析领域。Kinetics-400 视频分析任务反应了该领域的进展，从2017年和2019年出现了各种适合视频任务的神经网络，其网络大小、深度并不一致，而且从准确率、识别精度上看，也没有一致的结果。换句话说，该领域存在大量的潜力（open question）。至于原因，个人认为有两种：
1.视频内容非常多样化，而且是时空连续的数据。
2.同样的语义，在视频中会有不同的含义。例如不同语气和不同表情下对同一个词的输出。
过去10~20年，视觉感知领域存在很多主题。如上图所示，从最小力度的像素级别到视频级别，基本上可以归为几大研究领域：语义分隔、物体检测、视频动作行为识别、图像分类、Vision and language。其中，Vision and language最近五年比较火热，其要求不仅从图视频内容里面生成文字描述，并且也可以反过来从文字描述生成视频或者图片的内容。
总结起来，目前视觉研究的主要方向还是进行RGB视频和图像研究，在不远的将来，成像的方式会发生变化，那时研究的数据将不仅是2D，更会过渡3D，甚至更多的多模态的数据。
在视觉理解领域，通用的视觉理解非常简单：例如区分猫和狗，区分车和人。但在自然界里，要真正的做到对世界的理解，其实要做到非常精细的粒度的图像识别。一个直观的例子是鸟类识别，理想中的机器需要识别10万种鸟类，才能达到人类对“理解世界”的要求。如果再精细一些，需要达到商品SKU细粒度识别。
注：一瓶200毫升和300毫升的矿泉水就是不同粒度的SKU。
过去几年，京东在这方面做了一些探索。探索路径包括：detection的方式，detection结合attention的方式，以及自监督的方式。涉及论文包括CVPR2019 的“Destruction and Construction Learning ”以及CVPR 2020的“Self-supervised”相关工作。
视频领域非常有挑战，当年我想借鉴ResNet，毕竟在图像识别领域它是非常有创新的网络，因为其里面包含skip level的调整。因此，当时我想把2D的CNN直接应用到3D领域。
其实，相关工作已经有人尝试，但存在一定的困难。例如Facebook发现，如果沿着xyz三个轴进行卷积，参数会爆炸，所以很难提高模型性能。因此在2015年，Facebook只设计了一个11层的3D卷积网络。
我的尝试是基于ResNet进行3D卷积设计，但也遇到了和Facebook同样的困难，即参数爆炸。因此，在CVPR 2017年的一项工作中，我利用一个1*3*3的二维空间卷积和3*1*1的一维时域卷积来模拟常用的3*3*3三维卷积。
通过简化，相比于同样深度的二维卷积神经网络仅仅增添了一定数量的一维卷积，在参数数量、运行速度等方面并不会产生过度的增长。与此同时，由于其中的二维卷积核可以使用图像数据进行预训练，对于已标注视频数据的需求也会大大减少。目前该论文引用超过1000次，得到了行业的认可。
其他研究领域也有很多问题有待开发。例如在3D视觉研究方面，不仅需要语义分割，还需要估计物体的姿态；在Image to Language研究中，不仅需要给定一张图片生成一段描述文字，还需要知道物体之间的空间关系语义关系。
AI一直被认为是改变工业界的范式，2019年PWC（麦肯锡）曾经发布过一个报告：AI对整个全球的经济的贡献，在2030年之前，每一年会是14%的提升。并且在中国，增长空间是26%。
将AI应用到工业界，基本需要满足三个条件中的任何一个：降低成本、提高效率、提升用户体验。市值万亿美金级别的公司，例如微软和苹果，其共同的特点在于企业会全面、大规模、一次性的推广AI技术。
大规模推广AI技术时，诞生了许多很有意思的应用，例如“拍照购物”，核心技术是Photo-to-search，该领域已被深耕多年，但真正能发挥的场景是电商。以京东为例，它的拍照购物准确率以经比四年前提高许多，用户转化率提升了十几倍。
另一个电商零售中的例子是“智能搭配”，其目的不仅是让AI推荐同款商品，还要让AI提供穿搭建议。例如当用户购买上衣时，AI自动搭配一个裙子或者一双鞋，并且生成一段描述，告诉用户“为何如此搭配”。该功能上线之后，其带来的点击率超过了人工搭配。
智能导播应用也是AI比较擅长的。例如足球比赛中会有很多固定的相机，相机中的视频会传递到转播车，然后会有20~30个工作人员不断的制作视频，提供转播流，每个人看到的转播流都是相同的。所谓智能导播是指：用AI学习人类导播的方式，然后根据每个用户的喜好，输出相应的内容。喜欢足球的用户会着重推送精彩的射门、动作；喜欢球星的用户会着重推荐球员的特写，从而达到千人千面的效果。
智能导播涉及的技术比较广泛，例如：动作/事件识别、人脸识别、姿态估计、高光检测、相机视图切换等等。值得一提的是，二十年前，我在微软实习时候，导师就安排过相应的任务，但是由于数据和算力的限制，没有做到很好的效果。两年前，我们才在京东上线该功能。
元宇宙的概念很火热，京东也在数字人方面做了一些尝试。日前也凭借跨模态分析技术、多模态交互数字人技术分别斩获ACM国际多媒体顶级会议的最佳展示奖（Demo）。
传统的数字人只能进行“文字交互”，而今天的数字人希望能够模拟真人进行对话，其特点在于形象、逼真、实时反应等等。目前，数字人技术已经成功在市长热线中部署。
通用AI一直是人类的梦想，迈向通用AI的过程中，在视觉方面必须要从感知过度到认知，如此智能视觉系统才能进行决策。
但其中会遇到很多挑战，例如鲁棒性，直接表现在自动驾驶领域，汽车相撞、识别错误等等都表明系统不够鲁棒。模型和数据偏见也是学界经常讨论的焦点，前段时间AI领域的大牛Yann LeCun在推特上因为“偏见来自数据还是来自模型”的发言被diss退网。
认知智能和感知智能的区别主要有两点，在目标层面，传统AI希望增强人类思维并提供准确结果，而认知AI希望模仿人类行为和推理；而在能力层面，传统AI希望找到学习模式或揭示隐藏信息；而认知AI希望能够模型人类思维从而找到解决方案。显然，认知AI将来会有很多用途，例如可信系统、模型解释等等。
实现认知AI，有三个核心问题要解决：第一，需要考虑如何对结构知识进行建模；第二，如何让模型可解释；第三，如何让系统拥有推理能力。
针对结构知识建模，学界目前已经有一些尝试，例如斯坦福大学李飞飞开发的Visual Genome数据集，华盛顿大学发布的VCR数据集等等。
推理方面进展如何？北京通用AI研究院朱松纯教授最近在《中国工程院院刊》中发表论文称：通过 对一张简单图片的分解，计算机视觉系统应该能够同时进行以下工作：1.重建3D场景估算相机参数、材料和照明条件；2.以属性、流态和关系对场景进行层次分析；3.推理智能体（如本例中的人和狗）的意图和信念；4.预测它们在时序上的行为；5.恢复不可见的元素，如水和不可观测的物体状态等。
最后，以gartner的一张趋势预见图结束演讲。每一个技术的开始都会经历缺口、泡沫、泡沫破灭以及谷底、理性回归等几个阶段。正如上图所示，通用AI里面的可解释性、可信任都还在爬升阶段，而计算机视觉已经到了第四阶段的尾声，这意味着未来的两三年，计算机视觉会迈向技术成熟阶段，而且会得到大规模的商用，普惠人类生活。
原创文章，未经授权禁止转载。详情见 转载须知 。
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
深圳1号鲜花凭鲜花运营经验打造花卉平台。主营鲜花预定送花批发、花艺布置、鲜花、礼篮、生日、婚庆宴会用花、开业舞狮、开业策划、汽球派对等产品，花艺师培训和办公室绿植租赁出租等，买花订花送上门就选1号鲜花同城送。
新一代GalaxyZFlip6手机精彩亮相，这是一款小巧精致的折叠屏智能手机，搭载5000万像素摄像头和令人瞩目的GalaxyAI功能，以及电池续航能力强，让您外出携带或长时间使用时无需频繁充电。
本厂生产合杆路灯,综合杆路灯,多功能路灯,交通标志杆,高杆灯,成套智慧路灯,合杆路灯。全国送货到工地，免费安装指导，全国联保。厂长电话:400-6966-018
苏州艾福电子通讯股份有限公司
宜州区第一中学校园网
太浪漫提供全面的生活百科常识，包括家居、时尚、旅游、美食、知识、健康、运动、教育、情感、社会、娱乐、育儿、职场、自媒体、自然、动物、地理、科技、软件应用、技术操作、电脑数码、兴趣爱好等百科知识和经验，寻求各种生活技巧与妙招就上太浪漫网。
海宁东浩皮革制品有限公司是一家专业生产各类真皮服饰手套的工厂。自2006年成立至今,已逐渐发展成为当地的真皮手套生产商。
七目评选是专业的网络评选设计制作平台，免费提供文字投票、图文投票、音频投票、视频投票等微信投票活动创建方案。安全性好，稳定性高，可防止刷票，保证活动结果的公平公正。
金刚石云数据，是专门针对企业客户需求而设计的全方位房地产数据信息平台，致力服务于房地产开发商、顾问咨询及代理机构、房地产投资机构、以及政府部门、国内外房地产研究机构、各大银行、证券及基金等金融机构。
idc技术博客,博客资源分享,一个专注活动、新闻、软件、教程、seo资讯分享的网站！
武汉服务器托管,武汉算力中心,武汉机柜租用,武当云谷数据中心,武汉光谷服务器托管,武汉高电机柜,武汉高电机房
孙立涛，东南大学电子科学与工程学院院长，长江学者特聘教授，杰出青年基金获得者，东南大学，江南石墨烯研究院先进碳材料应用联合研发中心主任，东南大学，FEI纳皮米中心主任，MEMS教育部重点实验室副主任，曾获，江苏省十大青年科技之星，，入选科技部，中青年科技创立领军人才，目前任，电子器件，杂志主编，江苏省真空学会秘书长，美国IEEE纳米...。
去年三月底，国家仪器公司，NI，携美国第一大电信运营商Verizon在这周首次公开进行实时的无线5G原型机测试，旨在测试Verizon在28GHz频段的5G规范，雷锋网当时也对此进行了报道，根据NI发布的公告显示，这次测试是NI协同IEEEWCNC，WirelessCommunicationsandNetworkingConferen...。
Wi，Fi是什么，它是一个基于IEEE802.11标准的无线局域网技术，如今，Wi，Fi已经覆盖了绝大部分的室内场景，你的手机、电脑、智能音箱都已经离不开Wi，Fi，但是，大部分人应该对现在的Wi，Fi使用体验并不满意，有时候，Wi，Fi信号满格却上不了网，有时候，你又疑惑为什么100兆带宽的光纤网络却慢如蜗牛，还有的时候，Wi，Fi...。
CVPR是IEEE一年一度的计算机视觉与模式识别技术会议，也是计算机视觉的世界三大顶会之一，2017年的CVPR会议将于7月21日到26日于夏威夷会议中心召开，雷锋网将赴前线做覆盖与报道，今天是CVPR大会的首日，一大早，CVPR的签到台就井然有序地排起了长龙，与其它国际会议相似的是，会议采用扫码打印名牌的方式入场，此外也支持通过下载...。
CVPR是近十年来计算机视觉领域全球最有影响力、内容最全面的顶级学术会议，由全球最大的非营利性专业技术学会IEEE，电气和电子工程师协会，主办，2017谷歌学术指标，GoogleScholar，按论文引用率排名，CVPR位列计算机视觉领域榜首，据雷锋网AI科技评论了解，今年CVPR审核了2620篇文章，最终收录783篇，录取率29%，...。
雷锋网AI科技评论按，截至发稿前，四篇荣获CVPR2017最佳论文的作者已经分别做了口头报告，而在到场聆听报告的所有人当中，有一位略显特别的听众——他便是本届CVPR的大会主席、微软研究院首席研究员张正友博士，在报告结束后，张正友主席与雷锋网AI科技评论进行了一次对话，张正友，ACMFellow，国际计算机学会院士，和IEEEFell...。
雷锋网AI科技评论按，6.14号，在美国凤凰城HYATT大酒店举办的IEEEComputerSociety，IEEECS，颁奖仪式，主席Jean，LucGaudiot为芮勇博士颁发IEEECS技术成就奖证书，雷锋网了解到，IEEECS技术奖是专门授予在计算机、信息科学、工程或计算机技术领域做出杰出和创新贡献的专业人士，芮勇博士作为去年...。
CVPR，国际计算机视觉与模式识别会议，是IEEE举办的年度学术性会议，会议主要关注计算机视觉与模式识别等方面的技术内容，在各种学术会议统计中，CVPR有着非常强的影响力和高排名，在美国夏威夷刚刚结束的CVPR2017大会上，学术界和工业界都给予了极高的关注度，无论是收录的论文数和参会人数都刷新了CVPR的历史纪录，8月12日下午，由...。
按，2021年12月9日，2021年12月11日，2021第六届全球人工智能大会，GAIR2021，于深圳正式召开，历经五年，见证数次潮水的转向，成为目前为止粤港澳大湾区人工智能领域规模最大、规格最高的学术、工业和投资领域跨界盛会，GAIR2021，集成电路高峰论坛，国产高端芯片之路，，集聚来自学术界、产业界和投资界的15位大咖...。
雷锋网编者按，截止发稿，美国高通公司在中国手机芯片市场的反垄断调查暂时告一段落，该公司宣布因违反中国反垄断法律，将被罚款9.75亿美元，另外高通也将对中国市场的智能手机专利授权，做出多项调整，国内针对高通的反垄断案还没有宣判，但后者在国外就先遇上了另外一个难题，近日，在经过了英特尔、苹果、微软等巨头向美国电气和电子工程师学会，IEEE...。
雷锋网消息，10月3日，WiFi联盟将基于IEEE802.11ax标准的WiFi正式纳入正规军，成为第六代WiFi技术，即WiFi6，作为第六代WiFi技术，WiFi6究竟有多6，在解读这个问题之前，我们先要有一个小插曲，WiFi联盟在确定第六代WiFI的同时，为了更易于用户理解，还正式公布了采用数字的新的命名标准，WiFi新命名标准...。
2021年12月11日，由&，AI掘金志主办的第四届中国人工智能安防峰会，在深圳正式召开，本届峰会以，数字城市的时代突围，为主题，会上代表城市AIoT的14家标杆企业，为现场和线上观众，分享迎接数字城市的经营理念与技术应用方法论，作为上午场的开场嘉宾，虞晶怡从深度学习的角度，从建模、渲染以及隐私保护三个方面分享了对未来城市...。
线性代数，linearalgebra，是关于向量空间和线性映射的一个数学分支，现代线性代数的历史可以上溯到19世纪中期的英国，1843年，爱尔兰数学家哈密顿发现四元数，1844年，赫尔曼·格拉斯曼发表他的著作，线性外代数，DielineareAusdehnungslehre，，包括今日线性代数的一些主题，1848年，詹姆斯·西尔维斯...。
发表在极米投影仪2021，6，2810，53想要唱歌却常常记不住歌词，不想拿起手机看词怎么办，我们可以利用极米投影仪打造一个歌词墙，这样就可以随时看歌词，下面教大家两种极米投影仪歌词展现的教程，进入音乐模式，将手机和极米投影仪连接同一个无线网，然后手机下载极米app并连接投影仪，具体教程可以看极米app连接投影仪这篇文章，然后在，爱机...。
发表在专业问答2022，11，815，16展示机型信息，品牌型号，索尼X80J系统版本，当贝OS定制版电视有画面没有声音可能是音量设置过低或者静音，可以调高音量解决；可能是影视资源音源存在问题，可以更换电视剧资源解决；可能是电视内置或者外接音响存在问题，可以更换或者维修音响解决，电视有画面没有声音是咋回事啊电视有画面没有声音通常由三种...。
是这个，magnet，?xt=urn，btih，迅雷磁力是迅雷5中新增的一项配置，准许用户经常使用磁力链接启动下载，妇孺皆知，迅雷可以说是一个全能型的下载软件，BT、HTTP、EMULE都可以，然而在BT被封的日子里，迅雷的BT下载遭到了不小的影响，迅雷磁力的产生将大大缓解这一状况，便捷地说，磁力链接是一种不凡链接，然而它与传统基于文...。
央视网信息，作为中孟两国，一带一路，框架下的关键协作名目，由中国中铁承建的孟加拉国帕德玛大桥铁路衔接线名目标树立将在往年片面收官，这条线路北起首都达卡，超越帕德玛河一路向南加长至杰索尔，被外地人称为，幻想之路，终究这条线路为孟加拉国人成功了什么幻想呢，跟咱们的记者一同去实地体验一下，达卡火车站是孟加拉国最大也是最忙碌的车站，一进到外...。
