智能汽车摄像头数量与功能详解:究竟需要多少摄像头?

智能汽车摄像头数量与功能详解:究竟需要多少摄像头?_58汽车

智能汽车单车通常配备8-15个摄像头,覆盖整车360度视觉及舱内乘员监控。摄像头广泛应用于智能驾驶环境感知、视觉呈现及驾驶舱监控。环境感知摄像头用于机器识别路况,视觉呈现摄像头则为人提供视觉辅助,如360度视野、行车记录仪等。驾驶舱监控则关注驾驶员状态及手势识别。摄像头技术基于CMOS传感器,通过色彩滤波获取色彩信息。智能汽车摄像头应用面临精度、算力、成本等挑战,需平衡各项参数以满足实际需求。

摄像头在智能汽车时代被誉为“汽车之眼”,如果没有记错的话是Mobileye开创了智能汽车基于AI底层的摄像头的应用,而马斯克的特斯拉彻底把他发扬光大了,这下汽车产业一发不可收拾的开启了基于AI的摄像头的竞赛。

智能汽车市场的摄像头市场巨大,那么智能汽车单车到底要用多少个呢?他们分别用在哪方面呢?智能汽车摄像头技术和难点在哪里?

Tesla的前置三摄

所以本文借用相关资料希望从以下几个方面:

希望能给大家带来一些观点和思考。

智能汽车到底要用多少摄像头?

当前L2++的智能驾驶摄像头大概都在8-15个覆盖整车的360度视觉,以及触及舱内乘员监控。

汽车摄像头应用趋势

根据yole的的数据表明:

所以Yole的数据比较真实,未来单车的摄像头数据都是十几个。这个在手机消费电子行业任凭你浴霸甚至整个手机都放摄像头也比不了。

智能汽车摄像头都用在什么地方?

那么智能汽车,他的摄像头都用在哪里?起到什么作用?

车载摄像头都用在哪方面?

如上图Yelo的图片,车载摄像头大概会用在如下四个方面,其实总结是三个方面:

智能驾驶环境感知-他包含两个部分的摄像头,一部分是环境感知摄像头,也就是之前文章讲的绝大部分;另外一部分是热成像摄像头用于夜视。

环境探测视觉呈现-他包括三部分分别是内部后视镜的替换,360度视野,一般360视野包含了倒车视野摄像头,最后一个是行车记录仪或者行车黑盒子,他与智能驾驶环境感知的差异是,环境感知是给机器看的,视觉呈现是给人看的,所以他们的技术特征不一样,下文会讲到。

驾驶舱监控-他包括驾驶员监控识别摄像头和3D手势识别摄像头,也属于输入给机器的数据。

智能汽车摄像头技术原理?

人之所以看世界是五彩斑斓的,是因为人看到的全是来自外界物体的反射光。摄像头的基本原理是类似于眼镜通过传感器接收来自于物体反射的光线。光线有人类看得见的可见光,也有人类看不见的NIR近波红外线,SWIR短波红外线,而传感器可以识别也就形成了各种夜视视像头。

摄像头结构以及原理

当前摄像头传感器主要有CMOS和CCD,CCD相对于CMOS的优势在于其高感光度,高像素,高功耗为代价获得更好的图像质量,所以一般用在单反相机,而高功耗会导致热量问题和更高的价格,另外CMOS读取速度快,成本低所以当前车载摄像头都采用CMOS。另外还有夜视(NV)或高动态范围(HDR)等对光高度敏感的专用芯片。

蔚来汽车采用的Sony摄像头参数

一般去选择或者判断摄像头,都会考虑摄像头的参数和配置,上图为Sony车载摄像头的参数,应该是蔚来汽车要采用的8Mp摄像头参数配置,上图中参数抛开由镜头决定的视场角(FOV)和电源信息,车载传感器一般会有这些指标:

如特斯拉的前视1.2Mp1280x96430fps,就可以去解读了,但在智能驾驶领域。其实摄像头还根据可以感知颜色来分类,他主要是原因是CMOS是一种光电传感器只能感应光的强度,不能区分光的波长(色彩),因此图像传感器需要通过色彩滤波(ColorFilter)以获取像素点的色彩信息。

色彩滤波阵列,英文名ColorFilterArray或ColorFilterMosaic,简称CFA或CFM,是像素传感器上方的一层马赛克覆层,用于采集图像的色彩信息。一般的光电传感器只能感应光的强度,不能区分光的波长(色彩),因此图像传感器需要通过色彩滤波(ColorFilter)以获取像素点的色彩信息。

摄像头CMOS色彩感知

生活中通常所用的摄像头都是通过以下滤波(R=Red红色;C=Clear不滤光;B=Blue;G=Green蓝色)获取颜色的。每个像素只能感应一种颜色的光,但是我对外输出的时候,需要知道这个像素的RGB值,我就只能通过周围像素去计算,这个计算和转换是靠ISP去完成的。从而得出我这个像素的RGB的值,这样我每个像素虽然只感应了一种光,但是每个像素经过处理后传输到外面后就是有RGB的信息了。

车载摄像头概览

当前车载摄像头CMOS感知色彩有以下几种:

根据Yole发布的信息,对于参数和环境感知的色彩都影响摄像头的数据量,从而影响数据的传输以及数据处理器的算力。

智能汽车摄像头应用难点有?

写到这里发现一个很有意思的现象,欧美朝着L4,L5自动驾驶进军Robotaix的Curise,Waymo都采用RGB的摄像头,我粗略的查询了下中国Robtaix的文行知远,Didi都采用RGB的摄像头(这个信息没有确认,如有知道的还请探讨)所以对于未来L4-L5的真正全自动驾驶他的感知应该是通过RGB丰富感知环境再通过类似于激光雷达的传感器融合实现。

如果以上推测成立,那么可以推测以下两个结论:

有大牛表示,目前国内大部分新势力都是“沿用”特斯拉的方案采用RCCC或者RCCB,可能就是跟着跑。

当然智能汽车也只是产业化的产物,所以在摄像头甚至其他传感器得应用其实都在在检测精度、计算处理需求、功率和成本限制、鲁棒性和可靠性,拓展延续性等实际参数之间选择和调和,所以他准确得说是一门“艺术”而不是“科学”,所以他的难点是基于自身产品定位以及发展,服务客户也满足发展等矛盾的调和和选择最优解。而不是简单的从参数和数量上去论英雄。

参考文章

1.Pavingthewaytoself-drivingcarswithadvanceddriverassistancesystems-TI

2.ADASHighBandwidthImagingImplementationStrategies-TI

3.AdvancedDriverAssistance(ADAS)SolutionsGuide-TI

4.TheFundamentalsofCameraandImageSensorTechnology-JonChouinard

5.ComputerVisioninAutomatedParkingSystems:Design,ImplementationandChallenges-MarkusHeimbergera,JonathanHorganb,CiaranHughesb,JohnMcDonaldb,SenthilYogamanib,∗

6.SeeingThroughFogWithoutSeeingFog:DeepMultimodalSensorFusioninUnseenAdverseWeather-MarioBijelic1,3TobiasGruber1,3FahimMannan2FlorianKraus1,3WernerRitter1KlausDietmayer3FelixHeide2,41Mercedes-BenzAG2Algolux3UlmUniversity4PrincetonUniversity

7.SensorandSensorFusionTechnologyinAutonomousVehicles:AReview-DeJongYeong1,2,3,*,GustavoVelasco-Hernandez1,2,3,JohnBarry1,2,3andJosephWalsh1,2,3

8.OnthePerformanceofOne-StageandTwo-StageObjectDetectorsinAutonomousVehiclesUsingCameraData-ManuelCarranza-García*,JesúsTorres-Mateo,PedroLara-BenítezandJorgeGarcía-Gutiérrez

9.ADAS:KeyTrendson‘Perception’-Junkoyoshida

10.Challengesoffullautonomyforsensinginautonomousvehicles-jeffhecht

11.Yole图片整理-yole

12.CMOS图像传感器基础知识和参数理解-成都子程电子

以上内容由58汽车提供。如有任何买车、用车、养车、玩车相关问题,欢迎在下方表单填写您的信息,我们将第一时间与您联系,为您提供快捷、实用、全面的解决方案。

原创文章,作者:58汽车,如若转载,请注明出处:https://car.58.com/7138884/