从人脑和蛙眼得到的启示 自动驾驶 的革新 感知 (人从蛙眼身上得到了什么启示)
需要处理的图像像素过多与芯片算力不足的矛盾，已经成为了当前制约自动驾驶发展的瓶颈之一。
为了解决上述问题，事件相机与脉冲神经网络的结合或许会是一个可行的解决方案。
卷积神经网络是目前图像目标检测算法的重要手段。以ResNet-152为例，一个152层的卷积神经网络，处理一张224*224大小的图像所需的计算量大约是226亿次，如果这个网络要处理一个1080P的30帧的摄像头，那么它所需要的计算量将高达每秒33万亿次，十分庞大。
以当前典型的百度的无人车为例，计算平台约为800TOPS，其中1TOPS代表处理器可以每秒钟进行一万亿次操作。
假设一个摄像头所需要的算力为33TOPS，更遑论无人车动辄配置十余个摄像头，以及多个激光雷达和毫米波雷达。
为了准确检测行人并预测其路径，芯片往往需要多帧处理，至少是10帧，也就是330毫秒。这意味着相关系统可能需要数百毫秒才能实现有效探测，而对于一辆以60公里每小时行进中的车辆来说，330毫秒的时间就能行驶5.61米。
如果为了保证足够的安全，将帧数增加到每秒30帧，图像数据很可能让自动驾驶芯片不堪重负。
针对算力不足的问题，提高算力是业内玩家最容易想到的方法。然而，目前芯片的制程正在不断压缩，在极小尺寸下，量子遂穿效应逐渐显著，摩尔定律逐渐失效，芯片算力的提升也在面临巨大挑战。
同时，算力的提高也伴随着功耗的提高，但在新能源的大背景下，分配给芯片的能量越多，续航能力就会受到越大的影响。
算力与能耗正在逐渐成为自动驾驶发展的一对矛盾。
那么我们能不能另辟蹊径呢？仿生学也许能给我们带来新的思路。
对于人类来讲，在静止的画面中注意到运动物体并不难。对于青蛙来说，它甚至只能看到运动的物体，对静止的背景画面视而不见。
针对生物这一特性，研究者们设计出一种事件相机。
传统相机以固定帧率重复扫描整个场景，无论场景中是否有目标活动，均忠实的输出由一帧帧图片组成的视频流。毫无疑问，这种连续的视频流存在高度的信息冗余，大量无用的背景图片也被送入卷积神经网络进行运算。
事件相机则不同，事件相机仅记录亮度“变化”的像素点。
传统帧相机与事件相机输出的效果对比如下图所示，即传统的帧相机输出为整个视场的全部信息（左图），而事件相机只捕捉场景中运动的手臂，如（右图）所示。
基于重点关注运动目标这一特点，事件相机也许能在自动驾驶领域大展身手。
由于事件相机剔除了静止的背景图片，所以每帧产生的数据量大大减少，达到几十kb的级别。
相对于传统相机，事件相机还有高帧率、低功耗、高动态范围等优点：
下面两张图展现了事件相机的关注运动物体和高动态范围的特性。传统相机在光线较暗的情况下，难以辨识图片中右边的行人。然而事件相机却能够十分清晰的捕捉到右边的行人，并同时滤出图像右下静止的车辆信息。
传统相机
在自动驾驶领域，事件相机相对于传统相机具有巨大的优势，不过需要注意的是，事件相机无法提取出距离信息，需要激光雷达配合判断目标距离。
或许会有人感到疑惑：事件相机这么好，为什么没有大量应用在自动驾驶领域呢？
实际上，相机获取信息仅仅是第一步，后续事件相机信息的处理则是更为关键的一环。
如下图所示，传统相机的输出是一帧帧的静止图片，而事件相机则是一个个事件（Event）流。
一般来说，目前的神经网络都专注于如何提取每帧静止图片中的行人、汽车等目标，如YOLO，resnet等算法。针对基于时间戳的事件流，目前尚无有效的算法进行目标识别。
而事件流处理算法的缺失，与当前的神经网络结构是分不开的。
当前主流的神经网络被称为第二代人工神经网络，以精确的浮点运算为基础，缺失了在自然界中最重要的一个因素：时间。对于神经网络而言，输出的结果会和输入一一对应，任何时候输入相同的图片，神经网络都会输出一样的结果。
然而真实的大脑，是以这种浮点运算为基础的吗？显然不是，真实的大脑是以脉冲为基础的，以脉冲传递和处理信息。
这种以脉冲传递为基础的神经网络是脉冲神经网络（spiking neural network，SNN），被誉为第三代人工神经网络。基于脉冲神经网络结构设计的芯片也被称为类脑芯片。
脉冲发生的时刻携带着重要信息，脉冲神经网络天然具备对时序信息处理的能力，这与事件相机基于时间戳的事件流输出十分吻合。
此外，脉冲神经网络还具有事件驱动、异步运算、极低功耗等特性。
总的来说，事件相机和脉冲神经网络的结合，正如人类用眼睛和大脑观察四周：自动忽略周围静止的事物，对突然出现的运动物体予以重点关注和运算。
当前学术界已经掀起了对脉冲神经网络研究的热潮，但由于神经态硬件的发展正处于起步阶段，并且人们对于大脑的工作机理认识还不够全面，目前尚无基于脉冲神经网络在商业上的应用。
随着人们对大脑认识的深入，以及国外的TrueNorth、SpiNNaker、Loihi和国内清华的天机芯（Tianjic）和浙大的达尔文等类脑芯片的研发。我们也期待，事件相机与脉冲神经网络的结合能够给自动驾驶行业带来新的突破。
参考文献：
桑永胜,李仁昊,李耀仟,王蔷薇,毛耀.神经形态视觉传感器及其应用研究[J].物联网学报,2019,3(04):63-71.
Kim S , Park S , Na B , et al. Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection[J]. Proceedings of The AAAI Conference on Artificial intelligence, 2020, 34(7):11270-11277.
原创文章，未经授权禁止转载。详情见 转载须知 。
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.
简益通用流水记账软件手机电脑同步记账版是一款简单实用的记账软件,具体有记账简单,操作流畅等特点,另外公司旗下简益库存管理软件手机电脑同步记账版,符合广大用户的库存管理需求,是不可多得的库存管理软件。
滑州在线是滑县本地综合生活信息门户，为滑县网友提供滑县招聘求职、找工作招人才、滑县买房租房、闲置二手、相亲交友、同城优惠、头条信息、滑县本地热门活动等生活信息服务。滑县佰事通,滑县百事通,滑州百事通,关注滑县本地人、身边事，让家乡更美好！
正广通总部位于国内的物流公司,国内与国际物流供应商.正广通提倡优质服务理念,致力于为客户提供优质高效的物流货运,仓储配送,第三方电商物流外包等一站式综合供应链物流运输服务.
无锡先导智能装备股份有限公司，全球新能源装备第一品牌，2015年在创业版上市，股票代码300450，业务涵盖锂电池智能装备、光伏智能装备、3C智能装备、智能物流、汽车产线、氢能智能装备、激光精密加工、机器视觉等八大领域。
东莞捷斯雅是一家专业研发机械设备的生产厂家,主营:除湿干燥机,模具控温机,塑料干燥机,东莞干燥机,高温模温机,工业冷水机,水式恒温机等业务,【咨询热线】13925743109
湖南志航网络科技有限公司成立于2008年7月，专业致力于湖南服务器托管、长沙服务器托管、长沙双线服务器租用、长沙服务器租用、湖南长沙主机托管、湖南长沙服务器租用，目前拥有湖南长沙电信麓谷机房、长沙软件园双线机房（电信、联通、移动三线）的一手资源，24小时客服电话400-0731-481
鹤壁万丰矿山机械制造有限公司是一家集设计、生产、销售、安装、服务于一体的企业，主要产品有JK型矿井提升机、JTP型矿用提升绞车、JKMD型矿井提升机、JZ型凿井绞车、电控/配套设备等各种矿山设备等。
茶都网新闻资讯,全面的茶功效知识历史文化介绍!提供多种品牌茶批发、价格咨询等服务!同时介绍茶叶类的普洱茶绿茶白茶红茶等茶叶功效新闻知识的的茶网,茶都茶文化，汇集海量茶叶知识，助你更懂生活！
维贝尼总部位于北京，源自欧美国际化最先进早期教育理念。颠覆传统的早教模式，专注于打造“中国精致社区亲子教育空间”；维贝尼国际目前开设有0-3岁早教班，1.5-4岁精品幼托班，3-8岁幼儿英语启蒙班，立志于向全国的0-8岁宝贝提供高质量的成长环境，让更多孩子得到全面、快乐的成长机会。
祯通物流是提倡优质服务理念的专线物流公司，专注于中港物流领域，以合肥物流、石岐区街道、东区街道、火炬开发区街道、西区街道、南区街道、五桂山街道、小榄镇、黄圃镇、民众镇、东凤镇、东升镇、古镇镇、沙溪镇、坦洲镇、港口镇、三角镇、横栏镇、南头镇、阜沙镇、南朗镇、三乡镇、板芙镇、大涌镇、神湾镇为核心，致力于为客户提供优质高效的货物运输服务。
如其设计风格一样锐利，克里斯·班戈曾在10年前接受媒体采访时点评道，这位备受争议的汽车设计师曾在宝马集团担任设计总监，并对多款车型进行颠覆性的设计革新，乃至于超过万名汽车爱好者联名发起，反班戈运动，另一方面，由于在汽车设计领域的造诣之高，他被誉为汽车设计界的乔布斯，后来还斩获了美国设计行业最高和最负盛名的奖项，美国设计奖，10年后...。
2月23日，Aqara上市了一款黑科技加持、突破行业传感技术天花板的产品——Aqara人体场景传感器FP2，该款产品主打多目标定位感知、AI人体姿态侦测、AI干扰过滤识别以及全屋智能联动，是一款引领行业跨越式升级，推动行业从，被动智能，向，主动智能，跃迁与落地的科技产品，据悉，Aqara人体场景传感器FP2采用毫⽶波雷达技术，可以进行...。
苹果知名供应商，今年iPhone8将出货3D镜头雷锋网消息，据日媒报道，知名苹果供应商大立光电近日宣布其正积极为下半年3D深度感测镜头的出货做积极准备，业界普遍认为，该摄像头组件是为了iPhone8而准备，这个特殊的传感器利用RGB摄像头传感器和红外激光计算面前的物体或者人物的空间深度映射，将会让手机实现面部识别功能，用户可以通过瞥一...。
车企要拥抱云原生！，6月14日，在智己汽车，新世界智能原点，发布会上，阿里云智能副总裁李强透露，智己的全量数据已跑在阿里云上进行智能驾驶模型的训练优化，训练效率提升了70%，作为上汽集团旗下高端智能纯电动车品牌，在技术路线选择上，智己颇具前瞻性，2020年诞生之初，智己就完全摒弃了传统的线下机房，与阿里云合作，百分百拥抱云原生，目前...。
在现代化的机场候机楼、医院大楼、办公楼、运动场、大学校园和零售商店中，方便易用的室内导航应用程序的市场日益扩大，根据MarketWatch，道琼斯旗下的新闻网站，的一份报告，预计到2022年，这一需求可望以30%的速度增长，而智能手机中磁力计、加速计和陀螺仪等先进传感器的出现将加速这一需求，为了满足这一需求，IBM爱尔兰研究院建立了一...。
2021年12月10日，由&，新智驾主办的第四届，全球智能驾驶峰会，在深圳正式召开，这一次，新智驾以，智能驾驶鏖战时刻，为主题，将话筒递给业内19家标杆企业，辐射13大技术，场景，覆盖智能驾驶算法、芯片、感知、落地等多个维度，每个领域只筛选最具代表性的一家企业，遵循基础理论技术创新和行业解决方案落地两项黄金标准，演讲...。
近几年，传统汽车正逐渐发展为，轮子上的计算机，，经久耐用和车速早已不是消费者购车的标准，尤其自动驾驶的兴起，，可靠，的汽车正在走向，可信，的汽车，具体而言，是踩油门加速和踩刹车停车的动作转变为紧急情况下汽车自己做出的可信的决策与行动，汽车如何自己做出决策，智能感知系统充当汽车的眼睛，是，可信，的前提，那么现有的汽车智能感知技术发展如何...。
2018年2月25日，在当年度的MWC上，来自中国的智能手机厂商vivo亮出了一台名称为APEX概念机，它的接近100%的屏占比、升降式前置摄像头、隐藏式的听筒和传感器，让整个行业都为之震惊——有媒体评论称，这才是未来的手机，此后，据雷锋网所知，基于APEX概念机的产品理念，vivo相继推出了采用升降式前置摄像头设计的vivoNEX和...。
雷锋网按，本期新智驾，AI，Drive，周刊带你回顾互联网科技公司、出行服务公司、传统车企和一级供应商在出行领域的一周要闻，1、百度成立智能驾驶事业群，陆奇挂帅3月1日，百度宣布将自动驾驶事业部，ADU，、智能汽车事业部，L3，、车联网业务，CarLifeetc.，进行整合，成立智能驾驶事业群组，IDG，，由百度集团总裁和首席运营官陆...。
雷锋网消息，美国当地时间2月13日，大众汽车宣布将与Mobileye联手布局未来自动驾驶系统，从2018年起，大众旗下车辆将装配Mobileye基于摄像头的测绘和定位技术，这些配备Mobileye传感器系统的数以万计的车辆，将在未来成为实时数据的收集和共享终端，而大众也会与Mobileye共享采集到的数据，为需要海量、实时数据的自动驾...。
在过往交流中，曾有多名业内人士不约而同地对新智驾提及，，怎么不关注商用车，商用车辅助驾驶领域玩家也很多，甚至有企业高管断言，做乘用车一定没有未来，但也有业内人士认为，做商用车只是能够活下来，只有做乘用车才能活得更好，不难发现，智能驾驶领域近两年一个明显的趋势是，越来越多专注RoboTaxi场景的公司，开始将触角延伸到诸如干线物流、机...。
2021年12月10日，由&，新智驾主办的第四届，全球智能驾驶峰会，在深圳正式召开，这一次，新智驾以，智能驾驶鏖战时刻，为主题，将话筒递给业内19家标杆企业，辐射13大技术，场景，覆盖智能驾驶算法、芯片、感知、落地等多个维度，每个领域只筛选最具代表性的一家企业，遵循，基础理论技术创新，和，行业解决方案落地，两项黄金标...。
多年以来，芯片巨头英特尔在服务器CPU领域一直占据绝对优势，即使AMD在服务器、数据中心等高性能计算进行针对性的加强和优化设计，推出了服务器CPU产品EPYC，但英特尔仍然占据大约94%的数据中心市场份额，堪称，数据中心之王，如今，情况发生了变化，除了AMD在服务器CPU市场上卷土重来，以GPU闻名的芯片公司英伟达也于今年9月宣布以...。
雷锋网AI科技评论按，美国当地时间11月15日，2018国际大学生超级计算机竞赛，SC18，在达拉斯落下帷幕，清华大学计算机系超算团队摘得总冠军，总分88.398分，满分100分，，高出第二名新加坡南洋理工大学11.518分，这也就意味着，清华大学超算团队成功包揽2018年三大国际大学生超算竞赛ASC、ISC和SC的总冠军，实现了继2...。
智慧城市经受了一场意外的考验，新冠肺炎疫情让城市以网格化治理，数字政府等功能在疫情防控中大大强化，从紧急开发上线疫情服务平台，到开放远程办公、智能外呼等举措，数字化防疫贯彻在各个环节，智慧城市是一个由点及面的过程，与传统，围追堵截，的防控手段相比，智慧城市提供了一种新的城市治理思路，也让产业各方对疫情之后的智慧城市有了更多期待，城市发...。
9月20日，北京阳光刺目，尴尬突如其来，暴风TV，AI2.0，发布会后，雷锋网编辑，尿急逃遁，，走进了奥雅会展中心只有两个小便器的男卫生间，，解放，之机，暴风集团董事长冯鑫叼着一支还未燃着的烟走了进来，尴尬地，SayHi，后，一阵沉默，时针回拨两小时，冯鑫穿着没有扎进牛仔裤里的白衬衫，单肩背着一个松垮垮的包，匆匆经过雷锋网编辑身旁，在...。
这个车大略有15万左右的活动，详细的活动状况须要你自己协商依照普通成交价998万元计算；详细是哪款车型呢西风悦达起亚K3有好几款车型，手动挡规范型998万，手动挡奢侈型1148万元，智能挡规范型1098万元，智能挡奢侈型1228万元，智能挡尊贵型1418万元，以上是16排量的，还有18排量的两款车型；K3是起亚家族中全新的一款紧凑型家...。
