无人驾驶 如何使用立体视觉实现距离估计 (无人驾驶如何改变未来出行)
双语原文链接： Pseudo-LiDAR — Stereo Vision for Self-Driving Cars
在自动化系统中，和计算机视觉已经疯狂地流行起来，无处不在。计算机视觉领域在过去十年中发展迅速，尤其是是障碍物检测方面。
障碍物检测，如YOLO或RetinaNet，提供2D的标注框，该标注框指明了障碍物在图像中的位置。
为了获取每个障碍物的距离，工程师将相机与激光雷达(光探测和测距)传感器融合，使用激光返回深度信息。利用传感器融合技术将计算机视觉和激光雷达的输出融合在一起。
使用激光雷达这种方式存在价格昂贵的问题。而对此，工程师使用的一个有用的技巧是：对齐两个像机，并使用几何原理来计算每个障碍物的距离。我们称这种新设置为 伪激光雷达。
伪激光雷达利用几何原理构造深度图，并将其与物体探测相结合，以获得三维的距离。
如何利用立体视觉实现距离估计？
以下5步伪代码用于获取距离：
1.校准2台照相机（内部和外部校准）
先建立视差图，再建立深度图
然后，深度图将与障碍检测结合在一起，我们将估算边界框像素的深度。本文结尾处有更多内容。
开始吧！
1.内部和外部校准
每个摄像机都需要校准。校准意味着将具有[X，Y，Z]坐标的3D点（世界上）转换为具有[X，Y]坐标的2D像素。
当今的相机使用针孔相机模型。这个想法是使用针孔让少量光线穿过相机，从而获得清晰的图像。
如果图像中间没有障碍物，那么每条光线都会通过，图像会变得模糊。它还使我们能够确定用于变焦和更好清晰度的焦距f。
要校准相机，我们需要将世界坐标转换为通过相机坐标的像素坐标。
固有参数是我们称为K的矩阵。
过相机校准可以找到K矩阵。
通常，我们使用棋盘格和自动来执行它。 当我们这样做时，我们告诉算法棋盘上的一个点（例如：0,0,0）对应于图像中的一个像素（例如：545、343）。
为此，我们必须使用相机拍摄棋盘格的图像，并且在经过一些图像和某些点之后，校准算法将通过最小化最小二乘方损失来确定相机的校准矩阵。
通常，必须进行校准才能消除图像失真。 针孔摄像头模型包括变形，即“ GoPro效果”。 为了获得校正的图像，必须进行校准。 变形可以是径向的或切向的。 校准有助于使图像不失真。
以下是相机校准返回的矩阵：
每一个计算机视觉工程师都必须了解和掌握摄像机的标定。这是最基本、最重要的要求。我们习惯于在线处理图像，从不接触硬件，这是个错误。
-尝试运行OpeNCV进行摄像机校准。
在相机校准过程中，我们有两个公式可以将世界上的点O设为像素空间：
world到相机的转换
当您进行数学运算时，您将得出以下等式：
如果您查看矩阵尺寸，则不匹配。
因此，我们需要将O_world从[X Y Z]修改为[X Y Z 1]。
2.极线几何--立体视觉
我们的眼睛就像两个相机。因为它们从不同的角度看同一幅图像，它们可以比对两种视角之间的差异，并计算出距离估计。
下面是立体相机设置的示例。你会在大多数自动驾驶汽车上发现类似的东西。
立体相机如何估算深度
假设你有两个相机，一左一右。这两个相机在相同的Y轴和Z轴上对齐。基本上，唯一的区别就是它们X值不一样。
现在，看看下面的描述。
我们的目标是估算出O点（代表图像中的任何像素）的Z值，即深度距离。
现在从鸟瞰的角度来考虑这个问题。
立体相机鸟瞰图说明：
? 我们得到 Z = X*f / xL.
右相机方程：
? 我们获得 Z = (X — b)*f/xR.
放在一起，我们可以找到正确的视差 d =xL -- xR和目标正确的 XYZ 坐标。
3. 视差与深度图
视差是什么?视差是一个三维点从两个不同的相机角度在图像中位置的差异。
? 由立体视觉我们可以估计任何物体的深度。假设我们做了正确的矩阵校准。它甚至能够计算一个深度映射或者视差映射。
为什么是“基线几何”？要计算视差，我们必须从左图像中找到每个像素，并将其与右图像中的每个像素进行匹配。 这称为立体对应问题。
为了解决这个问题--
这是因为两个相机是沿着同一轴对齐的。
以下是基线搜索的工作原理：
基线搜索
应用：建立伪激光雷达
现在，是时候将这些应用到真实世界的场景中，看看我们如何用立体视觉来估计物体的深度。
每一幅图像都有外部参数 R 和 t，事先通过校准确定(步骤1)。
视差
对于每一幅图像，我们可以计算相对于另一幅图像的视差图。我们将做如下操作：
我们将获得左右图像的视差图。
为了帮助您更好地理解差异的含义， 我在 Stack Overflow 上找到了一个很棒的解释 。
从视差到深度图
? 我们有两个视差图，这基本上告诉我们，两幅图像之间的像素位移是多少。
对于每个摄像机，都有一个投影矩阵 P_left 和 P_right。为了估计深度，我们需要估计K, R 和 t。
世界坐标系到相机坐标系的转换
cv2.decomposeProjectionMatrix()的OpenCV函数可以做到这一点，并从 P 中得到 K、R 和 t；对于每个相机，现在是时候生成深度图了。深度图将使用其他图像和视差图告诉我们图像中每个像素的距离。
我们对每个像素进行计算。
估计障碍物的深度
针对每个相机，我们都有一个深度图！ 现在，假设我们将其与障碍检测（例如YOLO）结合在一起。 对于每个障碍，这种算法都会返回带有4个数字的边界框：[x1; y1; x2; y2]。 这些数字表示框的左上角和右下角的坐标。
例如，我们可以在左边的图像上运行这个算法，然后使用左边的深度图。
真不可思议！我们刚刚构建了伪激光雷达！
借助立体视觉，我们不仅知道图像中的障碍物，而且知道它们与我们的距离！ 这个障碍距离我们28.927米！
立体视觉是一种使用简单的几何图形和一个额外的摄像机将2D障碍物检测转换为3D障碍物检测的技术。如今，大多数新兴的edge平台都考虑了立体视觉，比如新的OpenCV AI Kit或对Raspberry和Nvidia Jetson卡的集成。
在成本方面，与使用LiDAR相比，它保持相对便宜，并且仍具有出色的性能。我们称它为伪激光雷达，因为它可以取代激光雷达的功能。检测障碍物，对障碍物进行分类，并在3D中进行定位。
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
hao123游戏频道，推荐全网络最热门的游戏，包含最全的游戏分类、游戏排行榜、游戏资讯，最炫的游戏视频，最新的开服信息、新手礼品，最权威的游戏榜单。
齐论电商一直致力于成为中国最专业的电商培训交流平台，根据淘宝卖家经营需求，在全资源圈整合自身资源，设立视觉设计、淘宝搜索排名引流、直通车付费推广、电商服务软件周边咨询、货源、等常驻部门，形成立体化服务,解决卖家难题。
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
天津大明制药设备厂专门从事制药设备技术开发、科研及工程设计的技术型企业，公司主营实验室提取设备、中药提取设备、中药浓缩设备、多功能提取罐、中药提取罐、间歇精馏塔、连续精馏塔、低温干燥器、中药醇沉、中药萃取、中药浓缩、醇沉罐、浓缩罐等，产品畅销天津、河北、四川、云南、吉林、辽宁、黑龙江、内蒙等地。
飞数科技
托普维克（廊坊）建材机械有限公司、SR辛德勒、普林钦非凡、海斯AAC成员在内的德国托普维克集团的全球销售和服务网络的一部分。托普维克廊坊是托普维克集团对中国市场和所有集团成员在中国市场的客户负责任的伙伴。
福建红桥创业投资管理有限公司（简称：红桥创投）创立于2007年8月，由福建亲亲投资有限公司、七匹狼控股集团股份有限公司联合来自深圳在中国创业投资领域有丰富实战经验及优秀投资业绩的资深专业人士发起设立，是一家专注为国内中小企业提供私募股权投资及财务管理顾问服务的专业机构
石家庄凯罗雕塑有限公司鬼屋设计制作安装，是集设计研发、制作安装于一体的工艺雕塑专业企业
北京987交友网是北京本土的大型免费征婚交友相亲平台，附带大量北京qq群，并不定期在北京地区举办各种公益相亲活动。
高考网依托好未来教育强大的教学资源，已实现优秀教学资源共享为己任，建立的适用于高中生学习和交流的专业平台。免费提供2025高考成绩查询功能、新高考政策解读、学习资料下载等相关内容，与全国各地高中生共享高考信息与学习资料。
好的电脑装机联盟,技术员联盟,是中国收益高的装机技术联盟,不扣量结算快的装机联盟网站,装机联盟哪个好,首选7654技术员联盟。
easyaier是AI技能学习平台。easyaier课程涉及ai机器学习,ai模型训练,数据探索课程,0代码基础均可快速掌握使用。课程覆盖了面试就业、职业成长、研究成果自我提升等需求场景,帮助用户实现从技能到岗位能力的提升。
在大多数机器学习竞赛中，特诊工程的质量通常决定着整个作品的得分与排名，也是参赛者们非常看重的一部分，在GitHub上，作者Nomi，专注于计算机视觉与嵌入式技术，也是tiny，dnn的原作者，向我们介绍了一个面向kaggle数据科学和离线竞赛的实用工具库nyaggle，可供开发者专用于特征工程与验证，在机器学习和模式识别中，特征工程的...。
译者，AI研习社，季一帆、，在强化学习中，我们使用奖惩机制来训练agents，Agent做出正确的行为会得到奖励，做出错误的行为就会受到惩罚，这样的话，agent就会试着将自己的错误行为最少化，将自己的正确行为最多化，本文我们将会聚焦于强化学习在现实生活中的实际应用，很多论文都提到了深度强化学习在自动驾驶领域中的应用，在无人驾驶中，需...。
不差钱的苹果又开始买买买了，据彭博社报道，苹果今年早些时候已以5000万美金的价格收购了一家计算机视觉初创公司，这家AI初创公司名为Vilynx，成立于2011年，总部位于巴塞罗那，据悉，他们约有50名工程师和数据科学家已加入苹果，其中包括Vilynx的联合创始人兼首席技术官ElisendaBou，Balust，这50名员工会继续在他...。
近几年，传统汽车正逐渐发展为，轮子上的计算机，，经久耐用和车速早已不是消费者购车的标准，尤其自动驾驶的兴起，，可靠，的汽车正在走向，可信，的汽车，具体而言，是踩油门加速和踩刹车停车的动作转变为紧急情况下汽车自己做出的可信的决策与行动，汽车如何自己做出决策，智能感知系统充当汽车的眼睛，是，可信，的前提，那么现有的汽车智能感知技术发展如何...。
罗永浩，锤子新机即将发布4月16日消息，日前京东手机官方公布了一张锤子新机发布在即的微博，罗永浩转发并评论，，嗯，即将，罗永浩的这一回复引发了外界对新机的极大猜想，有分析认为，锤子此次发布的有可能是坚果Pro，目前罗永浩并未进一步透露新机的具体内容，此前曾有消息称，锤子新机发布会将在本月25日举办，发布会主角是坚果Pro3，之前也有...。
雷锋网AI科技评论按，2018年，AI研习社又为大家呈上了一系列公开课，AI研习社的粉丝们也再度与我们相伴走过了一年，作为一个针对AI开发者的公开课类目，，猿桌会，自去年推出以来广受各位的喜爱，在今年雷锋网AI研习社依旧以最饱满的诚意为大家邀请了领域内的各路大神进行分享，具体内容涵盖深度学习开源框架、神经网络调参和优化、开发语言使用技...。
华为多地重兵投入研发无人车*华为设计总监2015年在微博上发布的，Honor，汽车概念渲染图，2月21日，有媒体曝出华为正在研发无人驾驶汽车之后，多个消息源向雷锋网新智驾，AI，Drive，确认了华为无人车研发的消息，并且人员投入颇大，一名来自高校的自动驾驶从业者告诉雷锋网，，华为确实有团队在进行无人车研发，另一消息源向雷锋网透露，...。
根据外媒报道，美国东部时间5月22日下午，中国机器人公司Pony.ai已获得加州监管机构的许可，在三个城市指定的街道上测试无人驾驶汽车，目前，虽然共有55家公司拥有使用安全驾驶员测试自动驾驶车辆的有效许可证，但获得无人驾驶车辆许可的却并不常见，Pony是第八家在该州获得无人驾驶测试许可的公司，其他包括中国公司AutoX、百度和WeRi...。
微信凌晨又放大招，公众号文章可添加小程序微信公众平台发布消息，为了方便用户在阅读文章时使用微信公众号提供的服务，公众号群发文章支持添加小程序卡片，具体功能为，1、公众号可将已关联的小程序添加到群发文章的正文中，点击后打开小程序，2、可自定义小程序卡片的标题和图片，指定小程序打开的页面，3、支持所有公众号群发文章的正文里添加小程序，此外...。
2017年2月，从谷歌母公司Alphabet拆分独立的自动驾驶公司Waymo，起诉Uber窃取其商业机密和知识产权，在经过长达一年的诉讼后，倔强的Uber最后与Waymo达成和解协议，并以SeriesG的股份，约等值2.45亿美元，作为和解代价，而且Uber不能使用Waymo的任何硬件或软件商业秘密，在中国，2017年12月百度起诉其...。
2018年，零售市场多了几分热闹，旷视、依图、地平线等AI新星不约而同地选择客流分析作为切入点，先后推出了智慧零售解决方案，这并不意外，一方面，客流分析是人、货、场数字化中的重要组成部分，市场空间广阔；另一方面，这些企业都以计算机视觉技术为核心，而计算机视觉在目前所有客流分析技术中前景最为明朗，正当AI新秀们的客流分析方案进入线下门店...。
获UPS投资刚过去一个月，图森未来这次完成单轮1.2亿美元融资，这是不是反应出中国自动驾驶商业化要在重卡上提速了，9月17日，图森未来宣布获得1.2亿美元的D2轮投资，并完成总额为2.15亿美元的D轮融资，截止到现在，作为全球第一家无人驾驶卡车独角兽企业，图森未来的总融资额已经达到2.98亿美元，D2轮的投资方除了此前已宣布的UPS外...。
2017年7月7日至9日，全球人工智能与机器人峰会CCF，GAIR大会在深圳大中华喜来登酒店举行，本次由CCF中国计算机学会主办、雷锋网与香港中文大学，深圳，承办的大会聚集了全球30多位顶级院士、近300家AI明星AI企业，参会人数规模高达3000人，都是国内顶级阵容，在7日上午的人工智能前沿专场中，亚利桑那州立大学教授、AAAI学会...。
据Google执行主席埃里克·施密特透露，也许GoogleGlass会在一段时间内停止供应，但在不久的将来它会凯旋回归，施密特在接受华尔街日报采访时说到，，眼镜业务是Google非常重要且基础的平台，，公司停止销售备受争议的初代产品，是Google的一次自我调整，旨在推出更受消费者欢迎的智能眼镜，施密特的声明破除了GoogleGlas...。
英特尔计划在明年发布独立GPU已经不是什么秘密了，近几个月，该公司一直在慢慢透露有关其独立GPU的信息，本月初雷锋网报道了英特尔独立GPUXe的哲学以及其创新技术，如果一切按计划进行，英特尔的独立GPU愿望应该会在2020年的某个时候实现，英特尔XeGPU概念背板，图片所有，CRISTIANOSIQUEIRA为了建立图形相关的工程师与...。
在日常生活中，不管是小朋友，还是大人，都很喜欢吃零食，在当下，各种各样的零食很受欢迎，零食店有消费市场，投入成本不是很高，对于创业者来说，是很好的创业项目，那么，零食折扣店加盟零食折扣店进货渠道有哪些，进货渠道有很多，接下来，小编来介绍一下，加盟开一家零食折扣店，需要有稳定的进货渠道，这样的话，更有利于日常的经营销售，零食折扣店的进货...。
将于12月1日到职的欧盟外交与安保政策初级代表博雷利外地期间11日在社交媒体发文称，当日他观赏了乌克兰边陲左近的进攻工事并示意他在前线亲眼目击了，乌克兰军队的力气和韧性，此外，博雷利还呐喊称，，更多、更快的，对乌，军事援助至关关键，据此前报道，博雷利外地期间9日称其已达到乌克兰首都基辅，这是俄乌抵触迸发以来他第五次访问基辅，博雷利...。
