无人驾驶 如何使用立体视觉实现距离估计 (无人驾驶如何改变未来出行)
双语原文链接： Pseudo-LiDAR — Stereo Vision for Self-Driving Cars
在自动化系统中，和计算机视觉已经疯狂地流行起来，无处不在。计算机视觉领域在过去十年中发展迅速，尤其是是障碍物检测方面。
障碍物检测，如YOLO或RetinaNet，提供2D的标注框，该标注框指明了障碍物在图像中的位置。
为了获取每个障碍物的距离，工程师将相机与激光雷达(光探测和测距)传感器融合，使用激光返回深度信息。利用传感器融合技术将计算机视觉和激光雷达的输出融合在一起。
使用激光雷达这种方式存在价格昂贵的问题。而对此，工程师使用的一个有用的技巧是：对齐两个像机，并使用几何原理来计算每个障碍物的距离。我们称这种新设置为 伪激光雷达。
伪激光雷达利用几何原理构造深度图，并将其与物体探测相结合，以获得三维的距离。
如何利用立体视觉实现距离估计？
以下5步伪代码用于获取距离：
1.校准2台照相机（内部和外部校准）
先建立视差图，再建立深度图
然后，深度图将与障碍检测结合在一起，我们将估算边界框像素的深度。本文结尾处有更多内容。
开始吧！
1.内部和外部校准
每个摄像机都需要校准。校准意味着将具有[X，Y，Z]坐标的3D点（世界上）转换为具有[X，Y]坐标的2D像素。
当今的相机使用针孔相机模型。这个想法是使用针孔让少量光线穿过相机，从而获得清晰的图像。
如果图像中间没有障碍物，那么每条光线都会通过，图像会变得模糊。它还使我们能够确定用于变焦和更好清晰度的焦距f。
要校准相机，我们需要将世界坐标转换为通过相机坐标的像素坐标。
固有参数是我们称为K的矩阵。
过相机校准可以找到K矩阵。
通常，我们使用棋盘格和自动来执行它。 当我们这样做时，我们告诉算法棋盘上的一个点（例如：0,0,0）对应于图像中的一个像素（例如：545、343）。
为此，我们必须使用相机拍摄棋盘格的图像，并且在经过一些图像和某些点之后，校准算法将通过最小化最小二乘方损失来确定相机的校准矩阵。
通常，必须进行校准才能消除图像失真。 针孔摄像头模型包括变形，即“ GoPro效果”。 为了获得校正的图像，必须进行校准。 变形可以是径向的或切向的。 校准有助于使图像不失真。
以下是相机校准返回的矩阵：
每一个计算机视觉工程师都必须了解和掌握摄像机的标定。这是最基本、最重要的要求。我们习惯于在线处理图像，从不接触硬件，这是个错误。
-尝试运行OpenCV进行摄像机校准。
在相机校准过程中，我们有两个公式可以将世界上的点O设为像素空间：
world到相机的转换
当您进行数学运算时，您将得出以下等式：
如果您查看矩阵尺寸，则不匹配。
因此，我们需要将O_world从[X Y Z]修改为[X Y Z 1]。
2.极线几何--立体视觉
我们的眼睛就像两个相机。因为它们从不同的角度看同一幅图像，它们可以比对两种视角之间的差异，并计算出距离估计。
下面是立体相机设置的示例。你会在大多数自动驾驶汽车上发现类似的东西。
立体相机如何估算深度
假设你有两个相机，一左一右。这两个相机在相同的Y轴和Z轴上对齐。基本上，唯一的区别就是它们X值不一样。
现在，看看下面的描述。
我们的目标是估算出O点（代表图像中的任何像素）的Z值，即深度距离。
现在从鸟瞰的角度来考虑这个问题。
立体相机鸟瞰图说明：
? 我们得到 Z = X*f / xL.
右相机方程：
? 我们获得 Z = (X — b)*f/xR.
放在一起，我们可以找到正确的视差 d =xL -- xR和目标正确的 XYZ 坐标。
3. 视差与深度图
视差是什么?视差是一个三维点从两个不同的相机角度在图像中位置的差异。
? 由立体视觉我们可以估计任何物体的深度。假设我们做了正确的矩阵校准。它甚至能够计算一个深度映射或者视差映射。
为什么是“基线几何”？要计算视差，我们必须从左图像中找到每个像素，并将其与右图像中的每个像素进行匹配。 这称为立体对应问题。
为了解决这个问题--
这是因为两个相机是沿着同一轴对齐的。
以下是基线搜索的工作原理：
基线搜索
应用：建立伪激光雷达
现在，是时候将这些应用到真实世界的场景中，看看我们如何用立体视觉来估计物体的深度。
每一幅图像都有外部参数 R 和 t，事先通过校准确定(步骤1)。
视差
对于每一幅图像，我们可以计算相对于另一幅图像的视差图。我们将做如下操作：
我们将获得左右图像的视差图。
为了帮助您更好地理解差异的含义， 我在 Stack Overflow 上找到了一个很棒的解释 。
从视差到深度图
? 我们有两个视差图，这基本上告诉我们，两幅图像之间的像素位移是多少。
对于每个摄像机，都有一个投影矩阵 P_left 和 P_right。为了估计深度，我们需要估计K, R 和 t。
世界坐标系到相机坐标系的转换
cv2.decomposeProjectionMatrix()的OpenCV函数可以做到这一点，并从 P 中得到 K、R 和 t；对于每个相机，现在是时候生成深度图了。深度图将使用其他图像和视差图告诉我们图像中每个像素的距离。
我们对每个像素进行计算。
估计障碍物的深度
针对每个相机，我们都有一个深度图！ 现在，假设我们将其与障碍检测（例如YOLO）结合在一起。 对于每个障碍，这种算法都会返回带有4个数字的边界框：[x1; y1; x2; y2]。 这些数字表示框的左上角和右下角的坐标。
例如，我们可以在左边的图像上运行这个算法，然后使用左边的深度图。
真不可思议！我们刚刚构建了伪激光雷达！
借助立体视觉，我们不仅知道图像中的障碍物，而且知道它们与我们的距离！ 这个障碍距离我们28.927米！
立体视觉是一种使用简单的几何图形和一个额外的摄像机将2D障碍物检测转换为3D障碍物检测的技术。如今，大多数新兴的edge平台都考虑了立体视觉，比如新的OpenCV AI Kit或对Raspberry和Nvidia Jetson卡的集成。
在成本方面，与使用LiDAR相比，它保持相对便宜，并且仍具有出色的性能。我们称它为伪激光雷达，因为它可以取代激光雷达的功能。检测障碍物，对障碍物进行分类，并在3D中进行定位。
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
本公司主营山西托辊，太原托辊，山西皮带机，太原皮带机，皮带机托辊，伸缩皮带机，输送机皮带机，转弯皮带机，大倾角皮带机，运输皮带机，移动式皮带机，山西刮板输送机，太原刮板机，刮板机输送机；要问山西托辊厂，山西托辊厂家，山西托辊生产，山西托辊生产厂，山西托辊生产厂家，太原托辊厂，太原托辊厂家，太原托辊生产厂，太原托辊生产厂家哪家好，当然是我们公司；主营区域：山西、内蒙、陕西、新疆、宁夏、东北、云、贵、川等地区。
上海乐南傲科技有限公司是一家建材石灰生产公司，公司涵盖氧化钙、氢氧化钙、生石灰、熟石灰、石灰石粉等多个板块
规划云为您提供规划百科，通过城市规划案例搜索，自然资源部文件搜索，发改委文件搜索，住建部文件搜索，PDF文件搜索，MAP地图搜索，国外图片搜索，国匠城规划搜索，直达您需要的信息。
大连鑫萌精密机械有限公司、大连鑫萌、大连精密机械、大连机加工件、3D打印件、钣金件、冲压件、铸造件、治具等机械零部件
郑州软源电子科技有限公司产品接入中心，用户综合服务站，方便用户进行综合设置，为用户提供更多自主型服务。
文芳阁传媒是一个专业在网络上承接企业，个人软文代写,软文营销的软文推广平台。以低价格把新闻发布在新浪、网易、新华、凤凰、腾讯、央视,搜狐,中华,人民网等3000家门户及地方网站媒体报价，以塑造公司品牌的知名度和公信力...
鸵鸟体育快讯网_您可以及时掌握各种体育赛事的动态,包括足球联赛,篮球锦标赛,网球公开赛等.我们提供专业的分析和评论,帮助您更深入地了解赛事和运动员的表现.
北京贝斯机电工程有限公司（BASI）是原北京自动化系统工程研究设计院项目合作部与美国INTERSYSTEM.CO，Ltd于一九九四年八月成立的中外合资公司。2005年改制为民营企业，是集工贸为一体的具有独立法人经营权的公司。
湖南锦创星玻璃门窗建材科技有限公司是一家集设计、生产、销售和安装于一体的厂家，专业生产各种玻璃及门窗，承接玻璃安装工程、门窗、幕墙、钢结构雨棚安装等业务。产品采用先进设备，专业性的技术，为您打造高品质的经典门窗。本公司产品外型设计时尚典雅，表面处理精细考究，并可以根据家居的整体风格及自身喜好，选择不同的颜色、款式、空间特点量身订做。
上海点方文化传播有限公司.智慧焦点,思维魔方,决定每个孩子成长的速度,成就的高度,成功的广度!热线电话:021—58367987,13621705929
亳州市畅农中药材种植有限公司提供：白芍种苗、菊花种苗、赤芍种苗、牡丹种苗、白芷种子、丹参种苗、射干种苗、何首乌种苗、蒲公英种子、桔梗种苗等批发价格等信息。公司是栽培育种、制中试经营的宗旨是；联合开发；利用退耕还林还草的优惠政策和发展机遇，大力开发中草药种植推广名优品种。
虽然现在网络已经完全普及，但是对于众多玩家来说，选择游戏时还是比较偏向于纯单机不联网手游，玩家可在此类游戏当中单纯体验游戏的无尽乐趣，不肝不氪，操作方式也特别简单，此类游戏一般对于年龄都没有任何限制，就算是小孩子都可以轻松闯关，接下来看看小编为大家盘点的几款纯单机不联网手游吧，在中国的历史当中，诗词是非常重要的环节，在中国古代也涌现出...。
脑内小剧场不能轻易示人，表面云淡风轻又看不出什么想法，有时候，和职场戏精沟通起来实在太为难了！鬼知道在他们，微笑，表情的后面，心底有没有，呵呵，思来想去，不如用明亮清晰的简报来照亮他们的内心戏，由此4000流明高亮智能商务投影机明基E540应时登场，帮助职场人士更加精准顺畅地传达内心意见，说一不二，如实还原开会议题每逢约见客户，纯聊...。
发表在专业问答2023，9，509，55展示机型信息，品牌型号，当贝D5X、爱普生TW5700TX系统版本，当贝OS4.0、腾讯极光TVOS投影仪调整画面大小比例可以通过画面缩放、光学变焦或移动设备进行调整，下面为投影仪如何调整画面大小比例的详细方法做具体说明，投影仪如何调整画面大小比例方法一，画面缩放1.打开投影设置在投影仪上点击打...。
最近几周，我遇到了一个新客户，在谈及报价时，那个人可能觉得我的费用太高，希望我能降低价格，并说我可以使用AI来创作作品，我拒绝了，失去了这个新客户，但我并不后悔，我想借此机会谈谈我的观点作为一个艺术家，我从小就在学习艺术，高中时开始学习传统艺术，后来上大学学习艺术和设计，工作10年后，我选择去艺术学校学习油画，获得硕士学位，我花费数十...。
每经编辑杜宇据央视资讯，外地期间2024年10月5日，俄罗斯外交部副部长里亚布科夫示意，假设美国开局复原核实验进程，俄罗斯将立刻作出，镜像式，回应，外地期间2024年10月3日，俄罗斯外交部副部长里亚布科夫就国内和地域形势示意，以后核大国之间出现间接武装抵触的危险不容低估，里亚布科夫说，，以后形势史无前例，咱们正在穿梭未知的政治和军事...。
B50属于一汽，红旗是一汽的产品，重要造中上流车，过去B50标红旗，如今标一汽，对于奔流B50，奔流B50是一汽奔流消费的紧凑型轿车，截至2019年8月，市面上一切奔流B50车型均为2019款，停产开售，多少钱区间为8.59，10.49万元，车身尺寸方面，奔流B50的长宽高区分为4695*1795*1460mm，能源方面，奔流B50有...。
越北国产的小核荔枝、大青芒、，黑美人，西瓜芒果、柑橘、火龙果、柚子、菠萝蜜、榴莲和山竹等颇受中国消费者欢迎，拓展资料，中国不时是越南果蔬的关键进口市场，越南果蔬协会日前颁布的报告显示，2016年上半年，越南果蔬进口额为11.7亿美元，其中对华进口高达6.92亿美元，同比增长近80%，中国稳居越南果蔬进口市场首位，北江省是越南小核荔枝...。
这是第一款带硬车顶的BMW敞篷百跑车，精妙的设计，让它即使在车顶闭合时仍能坚持完美而经典的低悬外观，由两局部导致的度铝合金车顶外壳可以在约20秒的期间内完整折叠，车顶闭合后出现出双门跑车样式版轮廓，严惩的侧窗和后窗确保诱人风景尽收眼底，权敞篷还是封锁，随您所愿宝马z4敞篷跑车价格，出口宝马车型报价进入官网网站宝马Z4车型厂商指点价经销...。
釜山广域市釜山，韩语，부산，英语，Busan，，全名釜山广域市，位于韩国西北端，是韩国第一大港口和第二大市区，也是环球上最忙碌的港口之一，历史...明代中国对朝鲜的第一次援助1.朝鲜长期依附于中国，向中国低头，每当朝鲜遇到困难，中国这个老大哥，可以说是有难必帮，今天，中朝仍保持着睦邻友好的外交关系，那么中国第一次援助朝鲜是什么时候，援...。
品质还算不错，不过美国车做工粗一点，比不上德系和日系的车细腻，夏天油耗开空调低功率版大约在10，15个油之间，看你的路况了，能源还算微弱，百公里减速大略是8秒多吧，家用买菜下班足够，爱护费用小爱护在500高低，比君威性价比高，要知道君威的2.0T得要25w，制胜家用和商务都还行，总体格调偏静止，要说商务，人造比不上雅阁天籁凯美瑞君越帕...。
方法如下在电脑桌面上，找到并关上阅读器在搜查框中，输入并搜查4399游戏盒，点击，下载到电脑，，4399游戏盒即可下载成功，4399游戏盒在哪里下载装置，4399游戏盒可以在其官方网站启动下载以及装置，关上其官方，点击游戏盒下载，而后经常使用手机微信的扫一扫启动识别并下载即可实现装置，详细的以OPPO手机的A5安卓版为例，下载装置方法...。
重庆分类目录网站将2019年08月共124个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
2月27日消息，苹果的产品价格无疑是高的，但它的创新成本却很低，去年，苹果的研发开支达到86亿美元，听起来数字很大，在周五的股东大会上，苹果CEO库克还提到了这一点，实际上，苹果研发开支只占公司营收的3.6%，在标普500指数成分股市值最高的10家企业中，苹果研发开支占营收的比重排在最后，数据还显示，标普50指数成分股企业中已经有13...。
爱运动爱生活，体育在我们的生活中是必不可少的一部分，在生活中体育也是很多人喜爱的，小编要为大家推荐的是雷鹰体育用品加盟，它在市场上的口碑好，深得消费者的信赖与支持，加盟总部对加盟商非常负责，提供一站式的扶持，加盟错不了，一起来看看加盟体育用品专卖店怎么样卖体育用品生意好吗，加盟体育用品专卖店怎么样，现在体育用品在市场上有很大的需求量，...。
近年来，随着云计算、AI、IOT等技术的不断发展，IT等信息技术领域也有了新的突破，可以更好的赋能关键信息基础设施建设，然而，安全作为主旋律，一直是备受关注的焦点，一方面，传统安全防护措施的缺失，对于新型高级威胁缺少防护壁垒；另一方面，开源趋势下，事后防御的手段已不满足安全需求，，安全左移，下提出了更高的安全需求，尤其是，近日影响力巨...。
发表在其它家用投影仪品牌2022，11，1115，57创珀M2Pro投影仪是一款拥有不错的画质表现以及性能配置，具体创珀M2Pro投影仪怎么样呢，下面就通过详细的参数配置进行分析，看看创珀M2Pro投影仪质量究竟如何，是否值得用户入手，创珀M2Pro投影仪怎么样，1.光学参数在亮度方面，创珀M2Pro的实际亮度为1350CCB流明，拥...。
光影魔屏安装软件看电视直播教程，1.从电脑里下载好当贝市场apk，点击立即下载并拷贝到U盘，然后U盘插上光影魔屏的USB接口，这时，系统会检测到外接设备，然后打开移动存储，USB，找到当贝市场apk，点击并确认安装即可；光影魔屏自带的[文件管理]，选择[安装包]，USB设备，找到当贝市场apk，点击并确认安装；3.当贝市场安装好之后，...。
