环境信息在自动驾驶中扮演着至关重要的角色,它不仅用于状态感知,还涉及到V2X网联通信。目标是将不同传感器的数据统一到一个时空坐标系中,以实现更精确的环境理解。书中提到了多种传感器的标定实验,如长焦到短焦、摄像头到多线激光雷达、毫米波雷达到激光雷达等,这些实验对于理解不同传感器的特性和如何将它们集成到自动驾驶系统中至关重要。书中还强调了对小目标如红绿灯的检测方法,包括图像金字塔、逐层卷积、特征金字塔、空洞卷积等,以及基于颜色和边缘信息的传统视觉方法和基于网络的方法,如FPN红绿灯检测和特征融合SSD。此外,还讨论了V2V、V2I、V2P和V2N等通信方式,以及它们在自动驾驶中的应用。路测感知部分讨论了如何区分车辆所处的不同场景,如城市道路、行人密集区、高速公路和村镇道路,以及如何感知图像序列中的运动物体。目标定位和识别是自动驾驶中的两大问题,书中提到了基于检测和基于预测的方法,以及类别相关和类别无关的方法。在目标跟踪方面,书中提到了早期的基于联合概率数据关联(JPDAF)的跟踪算法和多假设跟踪,以及近年来的连续能量函数优化问题。预测运动轨迹也是自动驾驶中的一个重要方面,书中提到了TrafficPredict算法。最后,书中指出了自动驾驶环境感知面临的挑战,包括数据对准、传感器观测数据的不稳定性、数据关联、不完整不一致及虚假数据等问题。书中还提供了三种融合结构的比较图,以及如何通过前融合和后融合来获得更可靠的环境模型。总之,这本书为理解自动驾驶环境感知提供了一个全面的框架,涵盖了从传感器标定到目标检测、跟踪和预测的各个方面,以及面临的挑战和解决方案。
最近正好读了这本书,就连带着写一些吧:
读这本书是希望能对自动驾驶感知有一个框架式的了解。
优点:
缺点:
版本:2020年6月页数:186字数:30.3K
这里记录一些关键内容
环境信息主要用于状态感知和V2X网联通信。
目的是将两个或多个传感器变换到统一的时空坐标系。
同时标定两组以上的外参实验结果:长焦到&短焦、摄像头到多线激光雷达、毫米波雷达到激光雷达
感觉5、6两章是最重要的内容
相比于一般检测,红绿灯太小。针对小目标,大致方法有:图像金字塔、逐层卷积、特征金字塔、空洞卷积、RNN思想-基于传统视觉方法:-基于颜色和边缘信息-基于背景抑制-网络方法:-二阶段方法:FPN红绿灯检测(FasterRCNN的进阶)-一阶段方法:特征融合SSD-结合高精地图-高精地图需要达到分米级才能区分各个车道
车V2V路
V2I:道路危险状态提醒、限速提醒、信号灯提醒、滤波同行人
V2P:手机、智能穿戴设备等实现交互云
V2N:实现远距离数据传输
路测感知
区分车辆所处的场景,如城市繁华地段道路环境/行人密集的住宅区和校园/高速公路/村镇道路
感知图像序列中的运动物体
两大问题:目标定位&目标识别。
对应分成两类方法:基于检测&基于预测。
根据是否限制目标的种类又可分为:类别相关&类别无关
对目标的位置进行估计
在得到目标检测结果后,通过优化等手段,将尚未明确身份的检测结果逐一识别,从而在检测的基础上完成跟踪。
早期方法:基于联合概率数据关联(JPDAF)的跟踪算法、多假设跟踪、转换为匹配问题、建立k部图
近年来:连续地能量函数优化问题
预测运动轨迹-TrafficPredict:实现层(个体对象)、类别层(同一类对象)
需要解决的挑战与问题:-数据对准、传感器观测数据不稳定、数据关联、不完整不一致及虚假数据
P171给了一张三种融合结构的比较图
组合得到环境模型
由于每个传感器都只探测到目标的某一部分,而这一部分极有可能在后融合中被当作背景过滤,所以前融合能获得目标更可靠的信息
以上内容由58汽车提供。如有任何买车、用车、养车、玩车相关问题,欢迎在下方表单填写您的信息,我们将第一时间与您联系,为您提供快捷、实用、全面的解决方案。
原创文章,作者:58汽车,如若转载,请注明出处:https://car.58.com/7182707/