李帅君：我们是Tier1的角色，关于周视摄像头选型，我认为主要参考三个方面：硬件光学、稳定性以及算法。

从硬件光学来讲，它是指整个摄像头的解析力，光学的成像分辨率以及一系列光学颜色的测试，这些都是基础性能。

然后，在此之上会要求硬件的稳定性，摄像头是否已经通过在不同的温度、震动、机械性能、电子兼容性等条件下的测试项目。

最后，在算法上，摄像头模组通常还是要接到后端的域控制器去做感知算法的处理。我们福瑞泰克也做域控，相当于是由我们自己来处理。但我们在考核摄像头供应商时候，还是会看它是否具备ISP的处理能力。如果具备，那么我们在后端碰到一些ISP相关问题，去跟供应商做相应沟通的时候会更加顺畅。

吴子章：刚才李总说的非常全面，我在李总的基础上稍做一点补充。对于摄像机的选型，大家在产品需求的差异还是蛮大的。不同的场景（高速/城区/泊车）需求下的理解不同：不同的刷新率和分辨率。另外，我们还需要照顾到远场和近场的感知，到底希望能感知到什么样的清晰度，大家会有一些区别。摄像头选型的时候都会针对这些具体需求进行考量。

孙鲁毅：作为芯片厂商，因为我们不直接进行摄像头选型，我们是支持我们客户/Tier1来做选型。

我们主要考虑两方面：首先，会考虑支持摄像头需要的性能。如果同时运行多颗摄像头，需要搭配什么样的芯片？比如6V5R的行泊一体方案，它所搭配的摄像头就不能特别多，否则，不仅成本过高，芯片的性能也支撑不了。

对于大算力的芯片而言，如果市场上需要，把周视/环视/前视/后视的摄像头全部接入进去，问题也不是很大。需要支持摄像头总的处理能力，包括摄像头的接入能力，处理的时候不会丢帧（运行比较复杂AI算法的时候，要保证它不会丢帧）等。

梁柱锦：前面三位讲得很完善，我补充两点，我们做选型可能会从两个角度：

总之，关注的核心就两个点：从硬件角度能不能满足，以及从功能角度能不能满足。

二.主持人：对于侧前和侧后方向的环境感知，通常有以下三类比较主流且经济使用的智驾传感器配置方案：1）配置有环视摄像头，但无周视摄像头和角雷达，会用环视摄像头去实现一些行车辅助功能；2）配置有周视摄像头，但无环视摄像头和角雷达，会使用周视摄像头去实现一些泊车辅助功能；3）配置角雷达，但无环视和周视摄像头。如何看待这三种不同类型的方案？（不同方案的优劣势和重点针对的应用场景是什么？）

梁柱锦：我谈两个层面，对于这三类不同类型的传感器。我们首先要知道他们的优劣势在哪里。其次，就是刚才讲到的场景问题，是要做行车，还是做泊车。

我们分析一下三类不同类型的异构传感器：1）角雷达的优点在于它的测距测速很稳很准，不受天气环境影响，可全天候工作，但对于对横向目标敏感度低，如对横穿车辆检测效果不佳；还有一些鬼影、静距离盲区等问题。2）环视摄像头的优点在于FOV特别大，看到的范围很广；3）周视的FOV偏小，但是看得比较远。

针对这些特性，我觉得在泊车场景，不需要看太远，但要尽可能看得进所有的目标，还要识别到空间车位及线车位。在这种情况下，如果只用角雷达，是没办法识别车位，因为它没有语义感知的功能。但用周视摄像头，处于安装位置及视角的原因，又看不到近距离的目标及车位。

对于行车场景，又要分高速和城区。高速场景需要看得远。环视摄像头的缺点就是看不远 —— 探测距离只有30~50m。周视可以覆盖更大的范围，比方说，做高速领航，需要做变道，不同的变道速度对于侧后方的感知距离也不一样。举个例子，侧后方需要看到大于80米左右的距离，才能安全的变道，这也是为什么最早的驾驶员触发变道功能要求自车车速在60kph以上的原因之一，自车变道速度越低，对于侧后方的识别距离要求越高。如果用环视摄像头，就达不到这个需求。用角雷达的问题在于它的噪声会很多，对于侧后方的车辆的横向位置识别性能不佳，所以就导致了变道的成功率很低。

所以我总结一下：需要根据传感器不同特性，以及在不同的应用场景下，系统到底想要具备的功能是什么，然后根据需求去选择不一样的传感器搭配。

孙鲁毅：刚才梁总讲的很全面，我稍微补充一点。随着不同传感器的技术发展，我觉得一个很明显的趋势 —— 视觉的优势以及发展的潜力比雷达要大。雷达也不是说就不行，只是说视觉的进展会更快。在我看来，随着视觉传感器技术的提升，角雷达被拿掉是有可能的。甚至没有周视摄像头的情况下，如果前视和后视摄像头FOV足够大，便可以覆盖很大的角度，支持变道等功能。

做得比较好的环视鱼眼摄像头，其实可以看到30米。30米对于横向车道的判断也没有什么太大问题。在未来，这三种传感器最有可能被拿掉的是角雷达，但前后雷达的意义比较大则仍会保留，尤其是前雷达。

如果把周视跟环视比，我不是特别看好周视。周视当然有用，但环视摄像头天生的大FOV是周视摄像头无法取代的，特别在泊车场景下完全无法被取代。很多时候看得不够远，不是问题；而看不看得清楚才是问题。比如，光线比较差，或者夜晚开车，我们人眼也看不到100米。所以，看不远不是问题，首要解决是在大视角下可辨识度的问题。

如果一定要选的话，我觉得这三个传感器首先被淘汰的是角雷达。随着技术的发展，周视的地位可能就要受到影响，尤其现在大家做行泊一体，总是在讨论能不能干掉周视。

吴子章：我觉得孙总说得非常好，说出了很多我们从业者的一些经验和痛点。其实很多同行一直希望用一种传感器去取代另一种传感器，并且有很多同行已经做过了试验和验证。有一段时间，有些厂商就已经拿4路的周视专门去做泊车的功能，但做了一段时间就不了了之了。

当然也有一些厂商用环视去做行车场景上的尝试。环视也有刚才梁总说的一些问题，它的近场感知还可以，但是远场感知肯定是很难提上来，至少目前还存在成像质量或其它局限性问题，所以两者在一段时间内可能还是会共存的。两者在冗余性上面，在当前阶段，算法上的冗余会比异构传感器上的冗余更有意义一些。

在角雷达的发展过程中，近一两年的发展确实没有那么快了，可能它的价格或者说市场竞争已经趋于稳定。在我们看来，激光雷达的降价对角雷达的存在具有一定的挑战性。随着补盲激光雷达的引入，它可能会扮演一条“鲶鱼”的角色 —— 如果它的作用发挥越来越大，其它传感器可能就会受到一定的影响。

李帅君：我补充一点，分别谈一下这三类传感器目前的现状以及发展中存在的一些不足，最后再讲一下我个人对整个趋势的判断。

先说周视摄像头（特斯拉是最典型的例子），能够看得比较远，但是看不到足够近的目标。原因很简单，就是FOV不够大。对于大部分的智驾应用来讲，我们其实更需要用周视摄像头看更近一些的东西，这是它现在的缺陷，需要去弥补的地方。

其次，对于鱼眼摄像头，基本快成了标准配置，这是一个很好的基础。有一个容易被大家忽视的地方 —— 环视和周视设计目标不一样。大部分的鱼眼摄像头是为了泊车而设计，它现在是完全正的向下去安装，视场角是为看车道线服务的，然而现在有一大半看到的是车的本体，这是没有意义的。从我们环境感知的目标来看，它应该抬起来一点去看侧面更远的地方。怎样才能把FOV用得更好一点，可能需要上限能做到静态环境探测15米左右，运动目标物体探测能做到20~30米。

最后，角雷达的问题，它的处理比较简单，非常有用的地方在于对于移动物体感知比较敏感。不足之处在于，如果近处有很多交通参与者，不太容易把他们互相分辨，因为会存在很多噪音。车载毫米波雷达最开始应用于欧洲，原本的设计就是为了应对高速场景。它会对远距离监测范围内、有移动速度的物体，容易用相对很小的代价就可以把它区别出来，这是它的优势。

对于整体的发展趋势，雷达和视觉技术都会往前发展，去增强它的感知能力。我非常认同下午豫兴电子付总演讲中的一个观点 —— 能用基础的简单的方法去解决的，就不要去拼高大上的算法。

那么，环视和周视摄像头的FOV或者探测距离不够，要去发展，其实我觉得要更多的要在镜头的设计上去做文章，让它更充分的去利用视场角去Cover，确保进来的像素都是有效的，是真正感兴趣（工作）的范围，我觉得这是重点。

角雷达用简单方法能够对高速的目标产生作用，它就一定有它在感知层面上的意义。当然，我在一定程度上同意在终局的时候，周视以及环视摄像头可以不用激光雷达和毫米波雷达就可以把所有的场景都覆盖。但这是一个终局的形态，可能需要5~10年的时间。

在我们谈BEV算法的时候往往忽略掉 —— 它还需要3D真值来训练。怎么获得3D真值？车上如果没有激光雷达，但是有角雷达的时候，它也能给采回来的数据提供很重要的Reference。所以它对提供量产影子模式的真值有一个非常重要的作用，在我们到达终局之前，我认为角雷达一定会存在的。

三.主持人：以往的一些高端品牌车型中，周视摄像头大多都采用与前视摄像头同分辨率的8MP，但是现在很多车型中，周视摄像头大多开始降为使用2MP。您如何看待这种现象？（是因为这些车型本身的算力、带宽不足以支持过多的高分辨率摄像头，还是说对于实现高速/城区NOA等高阶智能驾驶功能，2MP的周视摄像头完全够用，亦或者是出于成本和性能方面的综合考量？）

如果8MP周视摄像头能够在远距离或者说在某些情况下，的确带来了一定的指标提升，但它的提升也给整个成本带来了很大的增加，可能就要重新考量这件事情了。

但8MP周视摄像头的确也是会比之前低分辨率周视摄像头起到更强的效果。比如，在过路口或者说车的侧方有一些Corner case需要去帮助解决的情况下。

过一两年，随着整个市场环境有所缓解，再加上整个摄像头在成像质量上，或者说在安装角度上面得到一定程度地提升或改进，并且给我们的整个系统带来比较好的增益的情况下，8MP周视摄像头也可能会被重新考量用起来。

看同时代的传感器 —— 我们单独去测SNR（信噪比），是2MP摄像头好，还是8MP摄像头好？测下来结果基本是2MP摄像头好。为啥？因为同时代的技术，简单来讲就是Pixel越大越好。基本的要素决定了8MP摄像头在白天光线很好的时候，它的SNR比较好。但在夜晚或者光线比较差（下雨或雾天）的时候，它的表现常常不如2MP摄像头。去测好像素个数，如果挑那种特别low light（低光照）场景，8MP摄像头的好像素个数甚至都没有2MP摄像头的多。

车载摄像头的应用解决的是可见度的问题，不仅仅要应对白天光线好的场景，还要应对夜晚以及恶劣天气下场景。即使是有一个很好的ISP也不能改变CMOS 图像传感器产生的数据本来就不行的问题。

好像素与坏像素，还有一个区别就是动态范围。同时代的技术里面，动态范围跟 Pixel大小有很大的关系。现在随便一个手机好几千万像素，一个稍微老一点的单反，可能就1000多万像素。拿10年前的单反跟现在最新的手机比，白天光线良好的时候近距离拍照，手机完胜10年前的单反，再挑一个恶劣的环境（光线较暗），会完败于10多年前的单反。

数字图像系统要考虑到多少像素是有用的，技术又是怎么样发展的。这些主要受光学相关因素的影响，比如镜头的加工工艺、镀膜以及安装精度等。

另外，从算法和算力的领域看。周视为什么之前用8MP摄像头，我觉得最主要的原因还是为了广告宣传效应。技术层面也有意义，但意义不是特别大。高像素摄像头在技术上最大的意义是场景重建，如果采集这些数据去做场景重现，自己去建地图非常有意义。如果前视、周视都是8MP摄像头，可以跑8MP摄像头的BEV算法，但是BEV+Transformer的网络不会跑得很快。在现在的技术现状下，很难跑到实时。

我可以这样讲，周视全部用8MP摄像头，如果是跑真正实时的自动驾驶的网络，4个Orin-X都不一定能搞定。基本会采用缩小、裁剪以及其它一大堆的技巧处理后的轻量版的网络才能够运行。如果是开发一个性价比比较合适的方案，个人认为：前视有效距离要比较远，要做到200米左右的感知，8MP前视非常有必要。但对周视来讲，通常不是那么必要上8MP，2MP的分辨率已经完全够用。

实际上，我们的手机性能可能不一定需要那么好的芯片。我觉得对于8MP摄像头也是一样。周视用8MP摄像头，企业就可以对外宣称说他的自动驾驶系统的感知性和安全性比用2MP摄像头要更好，这样的车可以卖的更贵。

这是从非技术角度，从技术角度讲的话，前面几位已经讲的非常全面了。

我这里稍微补充一下，现在就算是我们用2MP摄像头，其实大部分的算法也并没有把所有的这些数据全部利用好。大家实际做算法的时候，一般都会接入2MP周视摄像头进来，如果用BEV，在目前主流的一些宣称在100 TOPS左右的芯片上去跑，也很难跑实时。更别说要去带4个8MP周视摄像头了。

总之，所以我觉得，对于高端车型，一方面是为了宣传，也就是是所谓的广告效应。另一方面是为了未来的可扩展性。我觉得未来整个算法的模型肯定要迭代。如果前期预留更好的一些传感器的配置，后面其实大概率是能用起来的。当然，如果我们只是想简单的去做高速或城区NOA，其实周视用2MP也是完全够用的。

超级高像素鱼眼摄像头的意义就在于去弥补传统鱼眼摄像头看不远的问题。把像素变高，鱼眼摄像头最大的问题就是畸变问题。解决不好畸变，相当于四周的东西都看不了，想要去覆盖全车360°的是覆盖不好的。

特别是对于一些在周边/图像边缘的一些场景，对算法的要求相对比较高。怎么能够把去畸变做得更好，甚至压根不用做去畸变，只是通过网络模型去处理（去畸变这种模型）。这会对算法提出更高的要求，我们鉴智就提出了双球形去畸变的方案。

所以我非常认同，当鱼眼摄像头的像素提升了，它一定是能去替换掉现在的周视，当然这个是在我们限制的ODD范围内，比方说我们要去满足C-NCAP，过十字路口场景，普通的鱼眼摄像头可能就看30米的距离，但C-NCAP现在可能要求看80米的距离，怎么办？像素就需要提升4倍或8倍。所以，我认为超级鱼眼摄像头一定是有价值的，一定可以逐步地把周视替换掉，用更低/更少的传感器，去达到我们现在想要的这种城区/高速领航的需求。

鱼眼镜头是所有镜头中难度最大的，虽然我们不做镜头，但是我们接触过很多镜头厂商，鱼眼镜头市场上最常见的是接近于Equidistant形变的镜头， 这种镜头的边缘压缩比较明显，边缘压缩会导致边缘的角分辨率比较低，如果环视鱼眼摄像头兼顾用于周视，真正所感兴趣的信息会在边缘高度压缩的地方，这是Equidistant镜头常见的一些问题。

从光学角度的设计，鱼眼摄像头对于单点高亮度的光源，在HDR的场景下很容易有紫边，这是天生的光学设计，想解决这个问题是非常复杂的。解决鱼眼摄像头带来的鬼影问题，光学成本会比较高。如果要解决上述问题，还要解决夜晚亮度过高的问题，要增加它的光圈，鱼眼镜头+光圈会加重紫边，情况会越来越坏。如果加了光圈以后，成像质量又好，那么镜头体积就得加大，体积加大以后安装又变得很困难，最后又导致成本迅速增加。

也有人会想能不能另辟蹊径，我不做Equidistant镜头，去做那种边缘扩展比较开这种，比如 stereographic镜头。首先这种镜头的专利有没有到期，会不会收专利费暂且不谈，单加工成本就比较高，并且尺寸也比较大。

鱼眼摄像头还有一个难点。前面已经讲到部分是算法的应用，比如侧面一辆车开过去的时候，环视鱼眼摄像头的成像 —— 有一个差不多45度角的转向，它的这种特征跟常规的前/后视摄像头所看到的都非常不一样，所以要进行一些形变矫正，并且形变矫正本身也很复杂，不是简单的形变矫正。比如，当某辆车距本车距离比较近以后，它就会凸出来，产生复杂的形变。

总之，鱼眼摄像头存在两大问题：1）光学设计怎样跟CMOS 图像传感器进行紧密绑定，降低成本，现在整个行业还没有很好的解决方案。2）如何很好地应用鱼眼摄像头去做算法。目前，这个问题在整个行业也没有特别好的答案。

其实，从鱼眼摄像头使用者的角度来看，的确遇到了很多前面几位提到的问题，比如鱼眼摄像头的安装角度或安装策略问题，鱼眼摄像头在左右两侧实际上是要向下看，它要比前后两侧鱼眼的安装位置更低，如果用800万像素的摄像头，安装的角度同样会向下去倾斜一些，那么，它是否能够看得足够远呢？这可能也是个问题。另外，越边缘的地方，形变和畸变会越大一些，尤其在侧方的远处，可能会正好赶上形变比较剧烈的一些区域。

如果说出现的这些问题，都通过算法去解决。但算法在量产的过程中也会应用在不同的车型，比如，在小轿车量产的算法，如果换到大型的商务车上面，可能就需要进行比较大的算法调整或者说算法的适配，无疑会给算法部门带来比较大的压力，所以，整个过程是需要解决系统优化的问题，但系统优化可能就需要我们行业内的一些外部的驱动力引入进来。总之，传感器的变革是一个艰辛又漫长的过程，所以我们还是拭目以待吧。

另外，周视有周视的问题，环视有环视的问题，两个对比来看，我认为环视要往上走的难度可能更大一点。

另外，瓶颈并不在Pixel（像素）上面，而在镜头上。最终的需求是需要一个侧面的视觉系统来具备足够大的FOV以及更远的探测距离。相对来讲，我觉得如果采用同样的原理，同样性质的镜头，把周视摄像头的FOV做得大一些，安装角度再外下探一些，周视摄像头来兼顾环视应用可能更容易实现一些。

接下来讲怎么去配置这三类传感器，我的基本观点是要有深度信息以及不同源的至少两类传感器，因为视觉是最丰富的一个信号源，应该具备。接下来是训练网络，不管什么样的感知算法，都需要一个真值，但纯视觉的系统往往比较难获得真值信息。那么，就需要有一类传感器来辅助认知。

目前大家有不同的实现路径：1）激光雷达 —— 大部分人从学术界继承过来的一种方式。2）双目立体视觉 —— 鉴智以及其它少数企业在推行的一种方式。3）3D/4D角毫米波雷达 —— 包括福瑞泰克等企业在内在坚持的一种方式。我觉得这些方式都可以去选择，它的核心作用就是给视觉数据提供距离上的估计。它是用更简单的一种方式，但一定是不同源的传感器，这样才能够跟视觉传感器组合起来去生成真值来训练。

因为我们需要通过芯片上面有限的算力，把不同源的传感器进行强力的融合。尤其是前融合，对传感器的输入信号源有一定的要求，并且对网络模型的要求也更高，并且需要经过强化训练。目前，业界的技术水平在普遍应用上还存在局限性。

选一款传感器，最开始肯定是要看需求，是要覆盖高速，是城区，还是要覆盖泊车。如果三个场景都要覆盖，要考虑的东西会很多，所有场景的需求都要考虑进来。此时，我们不单单是用一般的冗余度去看问题，可能还需要从功能设计的角度去看。有些功能可能一定要这种传感器，另外一些功能可能对另外一类传感器是必不可少。那么，从功能需求端来看，这些传感器就必须得搭配进来。

很多时候我们都面临的同样现实的问题。如果想要在下一代的功能当中去克服所遇到的困难，其实还是需要有一些同行勇敢的站出来 —— 传感器的配置或者所使用策略就自己设计，不管其他人怎么做，保证自己的效果好就行，并且成为行业标杆。

成为这样的标杆当然很难，因为不仅需要自身有计算芯片的生产研发的能力，还要有相应传感器的研发能力。这是一般供应商很难去复刻的一个模式。但对于我们或类似于我们量级的供应商而言，可能还是要从我们自身的基本的功能层面，或者说冗余度层面、应用场景层面去组合，并最终达到我们现最好的功能性和安全性。

总体而言，我认为所谓的异构冗余传感器是为了解决具体的问题而叠加上去的。异构是不是能解决问题，要靠实际的测量和实际的测试，然后根据测量和测试结果再去挑选所对应的传感器。

基于这个想法来讲，可能要去搭一套东西，具体是前融合还是后融合，也要看现有的算力平台是否有足够的算力资源支撑。另外，我们还要考虑开发整套系统的可移植性和可扩展性。另外，除了传感器异构，我认为还应该考虑基于同样视觉传感器，采用不同方法的算法异构。

补全功能就是根据我们对各种传感器的分析 —— 视觉一定要有的，因为视觉富含语义信息，可以做非常多的事情，基于视觉我们要往下拆解，比方说，我们选择了周视摄像头，要去做泊车，就要选择鱼眼摄像头作为另外一种异构传感器补充进来。假设我们要去做高速NOA，测距测速需要更准，可能会将毫米波雷达或者激光雷达补充进来。