年会｜端到端是城市NOA的终局解决方案么？

2024年8月1日，在焉知汽车主办的“蓄势谋远•智电未来”为主题的第四届焉知汽车年会上，同济大学教授朱西产、理想汽车高级算法专家詹锟、现代汽车集团中国前瞻数字研发中心自动驾驶开发部部长蒋伟平、福瑞泰克智能驾驶首席架构师李帅君和清华大学客座教授边宁（主持人），就“端到端是不是城市NOA的终局解决方案”话题展开了圆桌讨论。

在该环节，各位嘉宾畅所欲言，分别发表了自己看法与见解。以下内容是焉知汽车基于嘉宾原意对部分核心内容进行的提炼，以供业内人士参考。

边宁（主持人）：智能驾驶领域正呈现多元化技术路径，涵盖多传感器融合、纯视觉方案、端到端大模型、分层端到端驾驶模型，以及将人工智能和规则相结合进行优化。我们先来讨论一下智能驾驶，包括NOA尤其是“无图”NOA、全栈端到端、AI以及纯视觉相关的情况。

朱西产：自动驾驶技术路径还在探索中，对于L2+智能驾驶，希望政府能够出台标准，让它成为一个真正的、能通过认证的自动驾驶系统，摆脱L2+辅助驾驶和自动驾驶的灰色地带的现状，交给用户一辆安全有保障的自动驾驶智能汽车。

詹锟：我们的自动驾驶技术方案是数据驱动路线，NOA从高速高精地图逐渐转为城市轻图，然后再转为城市无图的方案。现在正在做的是直接端到端，从感知输入，然后在规控输出，再配合一些认知能力的大模型来做方案。今年我们将会把双系统（端到端+VLM）方案交付给用户使用。

蒋伟平：我们的前瞻数字研发中心专注于前瞻性的技术开发，特别是在自动驾驶领域。我们主要聚焦于L2+、L2++、L3和L4级别的产品和解决方案开发，致力于推动这些高阶自动驾驶技术的创新和实际应用。

李帅君：第一，关于智驾产品的定位和技术路径，福瑞泰克坚持Tier1的基因，更多聚焦在中小算力平台上打造安全可靠的产品，力求用更精简的算力发挥先进AI算法的性能，打造更具性价比的智驾产品，追求科技平权，普惠大众。

第二，关于各种AI技术的发展，福瑞泰克认为会是伴随智能驾驶技术发展的一个长期和持续的过程，会持续需要数据闭环系统的支持。福瑞泰克当前更关注面向量产的数据闭环系统的打造，支持行业伙伴和OEM，共同推进算法的迭代和发展。

边宁（主持人）：目前城市NOA的规模化量产落地依然面临着巨大挑战，现在有哪些实际的进展，以及在技术路线的选择上倾向于哪种方案能够尽快落地？

詹锟：从去年开始我们正式做城市NOA，我们经历了几代变化，第一代是轻图方案。去年下半年，我们逐渐发现这个路径还是存在一些问题，涉及到的先验轻图更新也很难保证。

下半年开始去掉先验轻图，直接靠感知能力，靠大算力，开始做无图方案。今年7月份正式全面交付给客户使用。

现在理想汽车Max车型已经有这个版本，当然体验上还有很多提升的空间。所以我们还在思考，怎么继续去提升它的能力和体验。特别是特斯拉FSD V12.3端到端无图方案，尤其是FSD V12.5新版本推出后，大家体验后感觉非常好。我们看到它的潜力和上限非常高，这更加坚定了我们走这条路线的决心。

我们会用数据驱动方式，充分利用我们的车队规模、数据量的优势。另外，我们可以看到技术路线从分段式的模型到一体化模型，规模越来越大。目前我们正在研发并推送给大家测试的是端到端方案，这是未来的一个发展趋势。

边宁（主持人）：所以暂时大家还是分层或者模块化的端到端，先快速上车，然后再朝完全的端到端方向走。

蒋伟平：现代汽车一直致力于研发L2+及更高级别的自动驾驶功能。早期在高速NOA方面取得了显著进展，相关产品已经相对成熟，并成功在多款车型上落地，用户体验也得到了广泛认可。

在城市NOA技术的开发上，现代汽车的路线与行业趋势保持一致。初期阶段，现代主要依赖高精度地图信息，在特定区域内能够实现较好的用户体验，但在大规模落地上存在一些问题。进入第二阶段，现代开始探索“去图”方案，尝试基于普通导航地图来实现相关功能，从而增强系统的灵活性和适应性。现阶段，现代汽车正在转向端到端技术的发展方向，重点推进两段式端到端技术的上车与量产。通过这一策略，现代旨在进一步提升产品的用户体验，实现更广泛的商业化应用。

朱西产：目前来说，国内车企更多的还是融合了激光雷达的环境感知方案去做城市NOA。在我们看来，自动驾驶对安全性的要求会越来越高，端到端方式能够很好地把上限拉上去，但是安全下限却难以保证，甚至会比传统的规则模型更低。所以目前特斯拉的纯视觉端到端模型还不能确保安全的情况下，我们还不应该盲目地跟随，目前根据国内车企智能驾驶开发的数据能力和AI训练算力条件下，做感知端到端、然后融合了激光雷达的感知方案在规控算法上保留安全准则模型的分段式端到端方案模型是比较合理的技术路线。

边宁（主持人）：很多行业专业家们都在讨论，对于完全端到端的高阶智能驾驶方案，激光雷达可能是必选项。从福瑞泰克的角度介绍一下你们的情况。

李帅君：研发进展方面，2022年福瑞泰克就推出了ADC20的高速NOA解决方案，仅用13Tops的算力，就可以支持高速NOA和自动泊车，目前还是行业里最低算力的同类产品。而当下，我们正在重点研发100TOPS以内能够支持城区基础NOA功能的中阶智驾方案，计划与年底完成量产。

技术路线方面，关于有图和无图，我们认为完全的无图很难做到，秉持福瑞泰克量产和扎实稳健的基因，我们目前选择了轻图的路线，通过数据闭环在云端构建一套轻图机制，再下发给车辆，用于支持智能驾驶。

关于大模型，先结合福瑞泰克100款车型的量产项目经验，谈谈我看到的现实情况，可能和今天大家在讨论的美好憧憬还有很大的差距。

我看到的现实很骨感，像BEV+Transformer这样的先进AI算法，都需要完整的、更高质量的4D标注数据来训练。今天，如果哪家算法厂商说他已经采集并制作了10万个高质量的数据片段在训练他的BEV+Transformer算法了，那他已经很领先了，因为对于大部分玩家，数据真值的储备还远达不到这个程度。整体而言，大家还处于早期阶段，AI算法本身可能相对容易升级，但需要有相当长的过程，数据真值才能跟上，数据闭环迭代的工具才能跟上，先进AI算法的性能收益，才能真正发挥出来。BEV算法，Transformer算法，大模型算法，都是同一个道理。

再说说端到端，端到端整体可以分为两类，一类是以UniAD为典型代表的端到端，它是在感知、地图、通用障碍物、跟踪、运动规划的各个环节，都加入了更多的Transformer，然后拼接起来的一个端到端算法，它实质上更多是Transformer算法的一种的延伸。和前面说的性质一样，你要发挥它的作用，就还是需要对其中不同的环节单独训练，训练就需要数据真值来支持，当前大家还卡在10万级的数据真值片段的这个瓶颈上，不突破这个瓶颈，很难发挥这类算法的性能和潜力。

第二类端到端算法，是像特斯拉FSD这类的端到端，是所谓的One Model端到端，它的一个核心价值其实在于，能够省去中间各个环节的真值标注的成本和时间，这个是一个蛮有意义的方向。

但从现在看到的一些研究结果来看，端到端算法的性能还没有得到充分的验证。很多端到端算法当前是通过开环测评的方式来测评性能的，当把它放到闭环的现实世界中，它的性能掉得非常惨烈，可能是从80-90分掉到30-40分的概念。在我看来，端到端算法要在现实世界中，稳定可靠的产生价值，还有比较长路要走。

朱西产：特斯拉FDS 12版本的表现一下子把端到端的热度给带起来了。按我的理解，它应该是一个完全端到端。国内近期有很多公司宣布自己的端到端模型已经上车了，我觉得有必要让企业主动给媒体和消费者说清楚，目前国内上车的端到端模型应该是分段式端到端模型，在规控模型里应该还没有丢弃安全准则，否则这智能汽车还真不敢开。

从自动驾驶的测评角度来说，我不希望看到端到端带来的所谓的“惊喜”。汽车毕竟是个工业产品，并且是一个产品责任很重的工业产品。交付给用户的自动驾驶软件所表现的能力，我还是希望不要给我惊喜，最好还是在我的预期之内。

带来惊喜固然好，带来100个“惊”，可能99个是惊喜，只要有1个惊吓，那你的这个产品可能就完了。全世界传扬的都是你的“1”个惊吓，而不是你的“99”个惊喜，那“99”惊喜就会被认为是你自己的自吹自擂。所以，我也不希望汽车产品带来太多的惊喜。“波澜不惊”的智能驾驶产品才是一个好产品。

主持人（边宁）：最后请4位嘉宾用一两句话来预测一下，无限趋近于L3级别自动驾驶会在什么时间点到来？

李帅君：福瑞泰克还是做好Tier1的角色，提供好上游域控、算法、数据方面的服务和支持，不断推进量产节奏。2022年我们推出高速NOA，希望今年年底能推出城市NOA，持续不断地去演进。

回到主题，Rule-Base和AI一定是并存的。AI是一个学习工具，它永远不能100%地答对考题，它自己也不可能知道自己错了。一定需要一个额外的监督机制，来做交叉的判断。这个监督机制一定不能AI本身，Rule-Base就可以起到监督者这样的一个作用。

蒋伟平：具身智能目前非常热门，而自动驾驶也可以视为具身智能的一部分。许多端到端的方法和技术正是借鉴了具身智能的理念，随着技术的不断融合，我相信这种趋势会越来越明显。我认为，自动驾驶有望成为具身智能最早实现落地的场景之一，并对此抱有极大的期待。

詹锟：我认为，完全把规则去掉不太可行，但是我觉得出现了一个范式的变化，以前的规则是用来写我怎样开比较好，现在规则是我怎么开不行。上限交给端到端，但是下限一定要交给规则。

在我们测试Tesla V12.3 的过程中，有几次安全接管都跟视觉传感器看不清有关，所以纯视觉能不能做L4也存在异议，不是一定不行，但是要花很大算力，并要把摄像头训练好。我们当时测的场景是去感知一个镂空栅栏，在黑天情况下视觉看不清楚，确实需要通过规则一起来解决。

我觉得端到端是趋势没错，但也有可能像朱老师讲的那样，也有可能是一个坑，需要的算力和数据量都非常大，大家跟特斯拉在这些方面的差距的确也比较大，所以我们也都在找适合自己的路径。

朱西产：畅想意味着不是要马上落地，我们现在就是怕落地。自动驾驶能力，包括所有的人工智能畅想都是非常乐观的，大模型表现出我们从来没有过的体验，让计算机可以代替人工的新的可能性。大模型的表现非常惊艳，但我估计近两年上车的可能性不大，因为大模型需要的高算力还很难在车端布置，并且大模型也同样解决不了安全的长尾难题。

现在即便在没有安全问题的领域使用大模型，真正做好的也还没有。现在做到最好的ChatGPT，估计顶多打个60来分。在非安全领域，它做到80分左右可能才会真正产生较大的商业价值。所以，大模型现在虽然很火，但是，看看做大模型的高科技公司的财务报表，基本全部都是亏本的。

大模型带火了什么？带火了英伟达，带火了芯片。但大模型本身现在还不能很好地推广使用。

大模型在非安全领域从60分提升到80分的时候，大模型技术可能会帮助公司盈利。但在自动驾驶领域，我觉得直接使用大模型的端到端算法，由于安全长尾难题，困难更大。