视频图像智能化 澎思科技首席科学家申省梅 打造完善有效的智慧安防局面 (视频图像智能识别)
雷锋网AI科技评论按：10月17日至19日，由CCF主办、苏州工业园区管委会、苏州大学承办的CNCC 2019在苏州成功召开。今年大会以「智能+引领社会发展」为主题，选址苏州金鸡湖国际会议中心召开。雷锋网AI科技评论作为战略合作媒体对会议进行了全程跟踪报道。
在《 CNCC爆款技术论坛，申省梅、陈熙霖主持，西湖李子青、阿里王刚多视角讲解CV赋能智慧城市 》一文中，雷锋网AI科技评论提到，由澎思科技承办的「计算机视觉技术赋能智慧城市」技术论坛尽管在大会第三天举办，仍然人满为患，成为今年CNCC的爆款技术论坛之一。
澎思科技首席科学家、新加坡研究院院长申省梅作为该技术论坛的主席兼演讲嘉宾，带来了主题为《视频图像智能化助力智慧安防建设》的演讲，她认为当前由于巨量摄像头的存在并不断生产出海量的监控视频，如果想要更好地利用、存储和检索视频图像，必须把视频图像智能化，将视频结构化和智能压缩，只有这样才能做到事前预警、事中处置、事后分析。
个人简介：申省梅，澎思科技（PENSEES）首席科学家、新加坡研究院院长，前松下新加坡研究院副院长。作为计算机视觉与深度学习领域顶级科学家，领导超40人的算法研究团队，获得十余项计算机视觉领域国际顶级竞赛冠军，累计专利300余项，致力于监控与安全、智慧城市、自动驾驶、智能机器人以及AI工厂自动化解决方案等领域的相关技术的开发部署和落地。曾联合新加坡国立大学LV组参加PASCAL VOC（视觉物体分类）连续三年获奖，在美国国家技术标准局（NIST）主办的非受限条件下人脸识别竞赛IJB-A获得了人脸验证 （verification）与人脸辨认（identification）的双项冠军，在微软百万名人识别竞赛MS-Cele-1M人脸挑战赛获双项冠军。
以下为申省梅演讲全文，AI科技评论进行了不改变原意的编辑。
申省梅：
视频图像是从摄像头而来，就像我们的眼睛，我们看到了东西，但如果我们没有大脑来分析，图像就等于是没有意义的东西。
智慧城市包含着方方面面，从最近的落地来看，智慧安防、智慧交通、智慧社区远远走在了前面。那视频图像智能化能如何助力于智慧安防建设？
纵观整个安防行业的发展历程，AI的发挥空间还有很多。我相信大家也熟悉整个安防行业的发展，在座年轻人可能不太清楚，最早监控用的都是模拟摄像头，在中国模拟摄像头可能都不见了，但在其它国家还在大量地被使用。下一个阶段，当数字相机出现以后，就出现了DVR；接着网络监控阶段出现了，那时候我们就叫NVR+网络软件数字相机；今天我们看到的高清摄像头、以及智能监控已经出现在各个应用场景中了。
据英伟达预测，到2020年全世界会有10亿个视频摄像头在使用，另一个统计说中国现在已经有1.76亿个摄像头，3年之后可能会有6亿摄像头，也就是说平均两个人一个摄像头。
对大量的视频，尽管我们有压缩手段（视频流），但怎样存储、怎样观看越来越成为一个难题？假如我们想从大量视频当中快速地侦破一个事件，或检索一件事都变得非常困难。那是不是可以用人工智能来帮忙解决这个问题，做到事前预警、事中处置、事后分析呢？
数据压缩，事实上是一种不做内容分析的压缩，包括MPEG1/2、H.264、H.265，甚至现在的H.266，以及中国的压缩标准AVS2/3。即使有这样的压缩，但现在摄像头的像素越来越高，摄像头的数目越来越多，即使有5G的出现，有云端的存储，我们最后的DVR、NVR（即使是云端的存储）也都是一种物理的存储。这不像我们大脑，从来没有一个人说“我们的大脑放不下东西了，我的记忆力满了”这样的话。因此我们就问，什么时候人工智能能做到代替物理的存储？物理存储是一个空间，它是有局限性的。目前的一种做法就是视频图像智能化。
视频图像智能化
对视频图像智能化我们要做好几件事，都是基于图像的分析理解。
第一，视频图像的恢复增强，即在恢复过程中如何提高图像质量。
第二，视频图像的目标检测、跟踪、识别。这个我们可以做到事前预警、事中处置。
第三，视频结构化，它包括人脸属性、行人属性、车辆属性、非机动车属性、以及各种物体的属性，每一个东西都有它的ID（都有它的属性），这些结构化的信息就会使事后检索分析变得更为方便。
第四，在智能化的时代，我们除了普通的图片和视频压缩以外，能不能在视频内容理解的基础上做智能压缩。目前我们也在做智能压缩，也在做视频摘要，这会让我们进一步节省存储的空间和传输的带宽。
1、视频图像恢复增强
刚才讲到图像压缩会造成图像模糊，其实还有很多方面都会造成图像的质量下降，比如设备用的不正当，例如你用了高清的摄像头，但你的lens用的不匹配，或者我们拍摄的时候，环境条件（比如灯光或天气）不太好。李子青老师讲过光线对人脸造成非常大的影响，这几个问题都会让我们看到视频图像恢复增强是非常重要的一关。
分享一下我们最近的成果，对非常小的脸用的是“深度超分辨率技术”。传统的人脸识别在40×40以下就不行了；用上深度学习后可能会提高到30×30。
而我们的工作可以做到12×14（这是一个很小的脸），中间的结果是我们用深度学习的超分辨率方法恢复了他的人脸识别，我们在人脸识别的库上检测发现，用了深度超分辨率以后，我们的人脸识别性能从0.75提高到0.97。
当然还有其他各种各样的模糊问题，我们也都在做，例如运动模糊、defocus的模糊等，我们希望将来能够用单一的模块覆盖不同的模糊。
其次是背光、低光的处理。这里有两个图，右边这张图很黑，什么都看不清，当我们用低光处理后（如左图），内容就可以看到了。第二张图是做人脸识别的时候，如果你背后光线非常亮，你站在那边拍照，常常会出现脸部漆黑一片。我们用了背光处理，背光处理有不同的方法——传统的、深度学习的方法，在不同的硬件上、不同的场景下，我们会选择不同的算法。
图像增强也包括去抖动，比如刮风时抖动引起来的图像模糊，以及去雾、去云、去雨的处理。
2、视频图像识目标检测、跟踪、识别
澎思科技的人脸识别和行人识别、车辆识别，以及非车辆（自行车、摩托车等）的识别都是我们的关键产品，在技术上面，我们要求是非常高的。
这是过去我带领的团队取得的成绩，关于人脸识别，取得了NIST奖，以及微软百万名人脸识别挑战赛的冠军。目标跟踪、行人检测、行人再识别也分别打破了世界记录。此外在PASCAL VOC（ImageNet前身），我们当时连着3年参加比赛，并且连续3年拿到冠军。交通异常检测、自动驾驶、以及智能机器人，我们都有参加比赛拿到过冠军，计算机视觉其实面特别广，它也用在智能机器人，自动驾驶方面。
我们最近在做跨摄像机的行人再识别ReID。在不同的摄像头里，有时候有人脸出现、有时候没有人脸出现，通过ReID的技术，即使在看不到人脸的情况下，我们仍可以通过行人的身体特征去判断这个人是谁。
这是我们做的一些测试，黄色框中这个人根本连脸都看不到，他出现在不同的角落，但我们通过他身体的特征，会知道这是同一个人，ID是55，另外一个人是ID25。
7、8月份左右，我们在行人再识别三大数据集Market1501、DukeMTMC-reID、CUHK03，视频行人再识别三大数据集PRID-2011，iLIDS-VID，MARS，以及行人属性上都打破了世界记录。
人脸识别，澎思更专注于动态捕捉下的人脸识别。监控相机没有办法约束条件，人脸的姿态、灯光的变化各种各样，还有模糊的情况。在这方面，最近澎思的模型在IJB-B和IJB-C下刷新了记录。我们的客户也拿我们的模型去跟友商做了比对，可以看出性能远远超过友商的性能。
李子青老师刚刚提到的ICCV的人脸识别比赛，我们在ICCV LFR挑战赛的轻量级图像识别、大型图像识别和轻量级视频图像识别三项竞赛中成绩第一，一个竞赛成绩第二。
3、视频结构化
视频结构化刚才也讲到了。当你事后想要从视频中检索一件事的时候，可以用视频的属性来检索。
这是公安的需求。原来公安想要从一天的视频中找到想要的东西，要用肉眼来看视频，找一个东西，确定一件事是什么时候发生的，至少要把整个录像看完才行；然而将视频结构化以后，几秒钟就可以找到想要的东西。
澎思科技的视频结构化属性与目标参考了国标，比如对行人结构来讲，我们支持27大项、128小项，这是属于业界第一的。9月份，澎思在行人属性三个数据库上也刷新了世界记录。
当然，在做的过程中也有很多困难，比如数据采集、以及数据长尾问题。长尾问题我们用了各种方法来解决，甚至用一些传统的图像处理方法，比如雨伞我们可以生成不同颜色的，其中也用了一些很inpainting的技术，也用了GAN来生产，比如最下面这个人脸的数据库不平衡，这个文章已经发表。
澎思也可以做到实时结构化预览、综合检索，以及以图搜图，甚至以图搜视频。
在人脸属性上，除了性别、年龄以外，澎思的算法还包括有没有戴口罩、有没有眼镜等，共支持其它40多个不同的属性描述。
结构化也包括人、车一些行为的异常检测。异常包括交通的异常、打架、抢劫、聚集、事故、抽烟等。2018年我们也在CVPR上的AI CITY CHALLENGE拿到了冠军。
4、视频内容的智能压缩、视频摘要
最后一个内容，讲一下视频内容的智能压缩，视频摘要。鲁继文老师提到深度强化学习怎么来帮助我们的例子，在这个问题上，我们知道很难用强化学习来做视频摘要和内容压缩，因为你不知道视频中哪一个行为是最关键、最重要的。
所以，一个策略就是在不同的情况下要有不同的考量，不仅仅是从一帧上去考量，它是在时空域上的一个分析，所以我们采用时空域的特征，并且做到关键内容的保留、压缩和摘要，根据不同的情况，有的时候可以做到10倍、100倍、甚至1000倍的压缩。我们在压缩的过程中属性同时会被记载下来，当将压缩后的这一段视频存下来以后，会不断地将重要的场景和行为存下来，而且对它的属性都有描述。
视频图像智能化，事实上还取决于图像质量的好坏，而图像质量的好坏又取决于整个软硬件系统的构成。比如说拍摄距离是多少、相机的像素是多少、镜头怎么选择、传输的方式是怎么样的、视频图像压缩的方式等，这些都会影响到图像质量的好坏。所以我们说完美体现技术的优势还在于一个很SMART的解决方案，以及系统人员的培训。
在AI产业图谱中的技术层，澎思科技一直走在前面。我们的立场是坚持应用驱动的解决方案，商业驱动的算法研究，用最有效的算法和最经济的软硬体来解决客户的刚需。
因此我的结论就是， 视频图像的智能化非常重要。现在很多人都在用深度学习，如果是视频图像数据，就一定要进行结构化分析，这是一个前提。这个方面包括了很多技术，如果把这些技术都用好，我们就可以实现事前预警、事中处置、事后检索分析。我个人更想追求的一个方向是节省存储空间、传输带宽、智能化的方式。 这个方面我相信接下来大家会往这个方面多考虑，我们会有更好的发挥空间，谢谢大家。
雷锋网报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
4399游戏盒为您提供精品手机游戏免费下载，精彩游戏视频解说，众多游戏攻略评测，还有好玩的手游推荐。找热门好玩的游戏就用4399手机游戏盒。
，大连专业微信公众号代运营、网络营销、网络媒体发布、网络传媒公司。
各国创意地图，刮刮地图品牌介绍，产品介绍；英国LUCKIES刮刮地图，香港travelege地图
景德镇永鑫真空电器主营：真空开关、真空灭弧室、真空灭弧开关、真空断路器、矿用真空接触器，是一家专业研发制造真空开关，真空灭弧开关等产品的实力最好企业。
重庆贝钠特清洁设备有限公司产品线涵盖:驾驶室洗地机,手推式洗地机,驾驶室扫地车,手推式扫地机,洗扫一体机,工业吸尘器,电动巡逻车,高压清洗机及各种商业清洁设备,代理品牌有:贝纳特,力奇,明诺,奥科奇,威德尔,HMC等。
润建股份-通信信息网络与能源网络的管维者
坏坏情感是男女恋情百科知识分享网站,帮助您解决情感关系中的恋爱问题、经营爱情、情感矛盾、挽回恋情等内容,挽回男女双方因矛盾破裂的感情。坏坏情感,让更多情侣简单的经营爱情与解决矛盾。
巩义吉宏机械制造有限公司位于“小上海”巩义市回郭镇，是从事对辊破碎机,双齿辊破碎机,四辊破碎机,强力分级式破碎机的技术企业，是国内重要的辊式破碎机研发基地和破碎筛分设备生产中心
广州壹号展览服务有限公司成立于2006年，十年磨一剑，经过全体公司员工的不断努力，我司已经成为集商业展示服务、门店装修服务、活动策划执行、形象设计、企业VICI设计、喷绘印刷、商业演出、广告制作、户外亮化工程、平面设计、包装设计、活动策划执行推广等业务为一体的综合性广告服务公司。
慧亚招商网——全屋定制,门窗,涂料,木门等家居加盟找品牌先上慧亚大平台，各类品牌帮你甄选，考察路线帮你设计，加盟风险帮你规避，后期经营给你工具助力管理！
新阳光教育致力于同等学力申硕、同等学力英语、同等学力法学、同等学力西医综合、同等学力经济综合、同等学力工商综合考试辅导，为学员提供专业同等学力报名、同等学力培训以及同等学历,新阳光教育是全国通过率连年走高的辅导机构
IT大数据技术、数仓学习分享
如今，有很多人们忙碌于繁忙的工作没有时间去谈恋爱而错过了恋爱的机会，导致自己已经到了父母认为该结婚的年龄还缺乏甚至是没有恋爱经验，为了解决这一个问题，很多父母都会给自己的孩子找一个婚姻介绍所，毕竟现在婚姻介绍所的政策也越来越好，很多人都在这里找到了自己理想的另一半，所以很多人也愿意去婚姻介绍所寻找一生的伴侣，随着选择婚姻介绍所的人越来...。
年蜜逗奶茶已经推出了两个系列的饮品，一个是气泡水系列，一个就是洛神系列，这两个系列的产品都是清爽型的，超级适合夏天，一推出就深受消费者的喜爱，不过今年夏天还有一系列产品人气超级高，那就是蜜逗奶茶去年推出的酸奶紫米露系列！年卖的超级火的一款饮品，你肯定想不到！酸奶紫米露是蜜逗奶茶去年推出的一款，非常健康养生的一系列产品，能够养气血，饱肚...。
一个人，无论从事什么职业，都应该有合格的职业道德，教师的职业道德，是教师为人师表应遵守的基本准则，蒙特梭利教育首先要呈现的是教师的改变，跨世纪说，老师对了，孩子就幸福了！，师德师风建设工作，一直是幼儿园的管理重点！作为园长，怎么让师德师风工作像教学工作一样有抓手，怎样把看似无形的师德师风建设工作抓出实效……经过多年来的研究探索，跨世...。
峰会在北京诺金酒店隆重举行，尚美生活集团创始人、董事长马英尧、新经济多位创投界重量级嘉宾齐聚这场万亿盛宴，共话行业变化与市场发展新方向，带来了一场思想碰撞，从基层看去，社会是乡土性的，简单的一句话说透了的本质，可以县、乡、镇、村为代表的下沉市场怎么打，年才开始创业做经济型酒店的马英尧先生很有发言权，当年，已经上市，在没有资本支持的...。
时不待我，只争朝夕，机会稍纵即逝，抓住时机开展智慧之选项目，提前抢占先机才能迅速获得市场认可，现在重庆火锅加盟正是不错，尽早进入市场才能赚得更多，经营得更好，同时，合理经营技巧也能助你在餐饮市场迅速站稳脚跟，这时候找一家实力强大的加盟总部就显得尤为重要，因为实力强大的加盟总部必定有着一套成熟的运作管理模式，可以帮助加盟店持续稳定的经营...。
自2019七月份上海市启动强制性废品分类政策以来，使得很多人日常生活之中倒废品这样一件简单的事情，也变得复杂起来，更是在全国都掀起了废品分类认知的热点话题，这样的社会环境下，越来越多的人都会在家庭装修的时候看，开始注重起来废品处理的问题，问世多年的废品处理更是成为了当下非常火热的产品，备受当下年轻家庭的欢迎，从而很多人看准商机，想要具...。
峰会在北京诺金酒店隆重举行，尚美生活集团创始人、董事长马英尧、新经济多位创投界重量级嘉宾齐聚这场万亿盛宴，共话行业变化与市场发展新方向，带来了一场思想碰撞，从基层看去，社会是乡土性的，简单的一句话说透了的本质，可以县、乡、镇、村为代表的下沉市场怎么打，年才开始创业做经济型酒店的马英尧先生很有发言权，当年，已经上市，在没有资本支持的...。
2019年12月中旬，下过雨的南京天气有些寒冷，位于南京麒麟高新开发区的华能智链研发部门办公室，显示屏上来回切换着数个研发任务的排期表，详细精确到每个月份每个子项的开发进度，这是一家行至数字化转型中途的供应链管理公司，华能智链全称江苏华能智慧能源供应链科技有限公司，一家做供应链的公司研发部门四五十号人，这可一点也不，传统，，大部分人对...。
2019年，施耐德电气在世界供应链Gartner榜单中排名第11位，很大一部分原因来自于其在智慧物流、工业品制造方面取得的成就，据了解，施耐德电气上海智慧物流中心是他们目前在中国最大的物流中心，前些年，这个智慧物流中心一直默默无闻，而最近几年其战略地位逐步凸显，在智慧物流行业可谓小有名气，如此重要的职能、地位以及知名度上的转变，背后原...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
昨天，高通在旧金山召开了年度人工智能日，AIDay，大会，在本次会议上，该公司揭开了三款芯片的神秘面纱，而这三款芯片可以用于智能手机、平板电脑以及其他移动设备，然而，这些芯片只是开胃菜，重头戏是一款专为边缘计算设计的新产品——QualcommCloudAI100，产品管理高级副总裁KeithKressin说，，我们设计这个全新的信号处...。
5月8日消息，据华尔街日报报道，Spotify正在跟多家内容制作商洽谈，当中不乏一些知名的传统媒体公司，似乎计划推出属于自家的视频服务，消息称，Spotify有在跟一些专门为YouTube制作内容的人员接触，希望能跟他们签订合作协议，并还将跟他们一起制作独家内容，这项服务将跟音乐流媒体服务一样，面向付费会员推出，之后则会推出含广告的免...。
电磁炮是一种寓，sang，教，xin，于，bing，乐，kuang，，满足于各类技术宅，工科男技术幻想的高能神器，正所谓，你一辈子不炸掉点什么，你算什么技术宅，然而，普通的电磁炮，我们还得跑过去按，还得自己瞄准，这样一点都不酷炫好吗，于是，创马华农站的许森炫&，杜永亮同学就在电磁炮的基础上做了进一步的改进，通过手机蓝牙来完成电...。
啵啵鱼是近年来热销的风味餐品，啵啵鱼中有着细腻的鱼肉与鲜美的汤汁，令人品尝过后久久难忘，因此该餐品一经问世后便受到广大美食爱好者的热捧，餐品销量得以居高不下，许多经营该项目的从业者事业均有所发展，发展形势趋于向好，近来一些长期关注该项目的人士，他们出于代理开店目的，提出了啵啵鱼加盟找哪家的问题，针对该问题，下文将给出清晰的解答，给有需...。
一、强化国内治理，为中国引领新型全球化奠定坚实的国内基础，中国致力于提升国家治理能力，实现市场、政府和社会三者的良性互动，增强国家的软硬实力，从而更好地参与全球治理，特别是在理念供给、政策执行、理论研究和人才培养等方面，中国加强能力建设，以改变全球化过程中的失衡与不公，获得国际社会的广泛共鸣，二、凝聚政治共识，纠正对全球化的错误认知，...。
