作者丨魏溶
“我们不是去押注谁赢，”英伟达自动驾驶中国团队负责人吴新宙近日接受The Verge采访，在播客节目《Decoder》访谈中这样定义英伟达的角色，“我们是在根据OEM的能力在不同层面帮助它们。”
这句话概括了英伟达在汽车行业的核心策略：不做赢家的赌徒，做所有人的工具供应商。
这套策略背后，藏着一笔万亿美元的账。吴新宙给出的市场逻辑很直接：全球汽车每年跑13万亿英里，目前自动驾驶占比约0.006%。
“我们希望从未来自动驾驶的每一英里中，从整个生态系统所创造的价值里分到一部分，”他说，“这就是那个万亿美元机会的来源。”
但要吃到这块蛋糕，首先得让车企愿意上车。英伟达的办法是：不做封闭系统，做开放平台。从芯片、操作系统到开源模型、传感器方案，OEM可以只取所需。
有些车企具有很强的OEM能力，可以自己写算法；有些企业则更倾向于交钥匙的方案，英伟达同样可以提供。“甚至有车企想用自己的推理芯片，我们照样合作。”
但问题是，车企为什么要上英伟达这趟车？答案也很简单：省钱。数据是自动驾驶的燃料，但采集数据的成本极其高昂。吴新宙直言，要养一支庞大的车队去采集数据，对任何公司来说都是巨大的资本投入。
英伟达通过Hyperion生态系统汇聚各OEM的数据，目前已积累数百万小时真实驾驶数据，再通过合成数据和神经重建技术生成数以千万计的变体，所有生态参与者都能共享。
“省下来的成本非常可观，”吴新宙直言。这是车企愿意跟竞争对手共享数据的核心动机——这并非行业共命运的理想主义，而是一笔实实在在的经济账。
但另一方面，即便车企愿意和英伟达合作，英伟达自己也得先解决一个内部难题：算力紧缺。外界外界普遍认为英伟达作为全球GPU龙头，内部产能想必相当充裕。
实际上，吴新宙坦言：“哪怕是英伟达，用于计算的GPU供应也是有限的。我们有内部的优先级分配……有时候也需要黄仁勋出面来协调。”
汽车团队必须与如日中天的数据中心业务争夺产能和算力，甚至需要CEO亲自介入。
如果说成本、产能是英伟达和车企要去解决的问题，那么涉及到安全层面，或许是用户和买家更加关心的部分。英伟达的技术方案有两个关键设计：一是延迟控制。传统多组件技术栈需要几百毫秒，端到端模型一次推理就能输出轨迹，“即使在当前这一代，我们也能控制在100毫秒以内。”
二是安全兜底。端到端模型与传统技术栈并行运行，后者“在每一帧都试图验证端到端模型生成的所有轨迹，并用已知的安全标准来检验是否安全。”每个模型发布前，团队每天跑约500万次仿真测试。”
吴新宙还透露，英伟达下一代自动驾驶模型将嵌入语言推理能力，车辆在行驶中可实时用自然语言解释自身决策逻辑。这一机制已在GTC大会上公开展示，搭载Alpamayo模型的车辆在行驶中会持续输出类似“我的车道有一辆双排停放的车，我正在绕过它”的实时推理。
这样的技术选择，也回应了行业里对特斯拉纯视觉方案的讨论。吴新宙罕见公开评价了竞争对手：“在基础的L2++技术层面，Elon（马斯克）很可能领先所有人。在ADAS市场上，Elon领先于大家这一点应该没人质疑。”
但吴新宙随即强调，L2领先不代表L4能赢。他明确表示激光雷达对L4安全冗余“仍属必要”，纯视觉方案在更高阶应用中存在局限。
既然如此，L4的普及时代究竟什么时候会来呢？吴新宙给出了对L4规模化落地的时间判断：“如果要给个具体时间，我不会说五年整，但也不会超过五年。”
至于业界对中国是否会率先实现L4的猜测，吴新宙给出了否定判断。他认为Waymo在旧金山已验证了无安全员的L4商业运营，中国也有同等成熟度的车企。
“目前在美国和中国，都有车企真正证明了L4可以在城市规模的区域内、没有安全员、不受限制地为每一位乘客安全部署。”谁先撞线，尚未可知。
有一点或许是清晰的——英伟达正在把赌注压在整个行业桌上。目前，英伟达已与全球约80%的量产OEM建立L4生态合作，ADAS技术将于今年年底率先在美国梅赛德斯车型上推出。
吴新宙对话全文要点
英伟达不打算押注单一车企，而是向全行业开放分层技术，OEM按需取用。
数百万小时真实驾驶数据+合成数据变体共享，帮车企省下巨额采集成本。
英伟达端到端模型延迟控制在100毫秒，传统技术栈做安全护栏。
吴新宙认为特斯拉L2++确实领先，但L4纯视觉方案“存在局限”，激光雷达仍属必要。
吴新宙谈L4规模化落地就在五年内，中美并列第一梯队。
对话译文（节选）
以下是对话译文（节选），为方便阅读，雷峰网在不改变原意的基础上，对内容进行翻译和编辑。
Nilay Patel | The Verge 总编辑、Decoder节目主持人
吴新宙 | 英伟达自动驾驶中国团队负责人
Nilay Patel：很高兴和你对话。我觉得现在“车到底是什么”这件事，整个都在被重新定义。整个汽车行业正在经历一场大洗牌，在自动驾驶和电动化这条漫长又曲折的路上，你觉得汽车行业现在到底走到哪一步了？
吴新宙：这是个好问题。我在汽车行业工作了差不多15年，最早是在高通，我负责过高通汽车团队一段时间。“Software-defined vehicle（下简称为SDV）”这个概念，大家已经耳熟能详了。现在随着AI技术的发展，这个概念又向前演进了一步，进入了我们所说的“AI-defined vehicle（下简称为AIDC）”的阶段。
过去十年间，得益于这些大规模的技术创新，汽车行业发生了相当快速的变化。如你所知，我也曾在一家中国OEM（原始设备制造商）工作了五年，负责他们的自动驾驶团队。
现在我来到英伟达。回顾这15年的职业生涯，我有幸见证了这场巨大的变革。汽车从最初以机械为主、加上电机的形态，逐步演变为可以通过OTA（空中升级）来快速更新功能的智能终端，这就是SDV的时代。如今，随着技术向生成式AI方向迈进，我们正利用AI来重写汽车中的大部分软件，这也正是我们称之为“AIDV”的原因。
这一转变，一方面加速了车辆功能的迭代速度，另一方面也重塑了我们对于“汽车”这一产品的定义。AI正在深刻影响行业的每一个层面。面对这些新技术所带来的演进，未来的发展前景确实令人期待。
Nilay Patel：你觉得整个行业会普遍转向SDV，还是传统车企会继续维持现状？
吴新宙：百分之百。我有幸亲眼目睹了2018年到2023年间中国发生的变化。短短五年，整个行业经历了一次巨大的转型。在那段时间里，不仅是新势力车企，传统车企也必须做出改变。大家都在向单一中央计算的电子电气架构靠拢，因为这是保持竞争力的必要条件。
在世界上其他地区也是如此——我们通过与梅赛德斯等合作伙伴的Drive和Drive自动驾驶合作项目，也在推进类似的方向。梅赛德斯当前这一代车型已经采用了基于中央计算机的架构，接下来会覆盖他们所有车型。对于其他主流OEM，我们也都在合作，帮助他们把架构往一台或两台计算机的方向升级，因为这里面会涉及信息娱乐系统，也会涉及基础驾驶或高级驾驶辅助系统（ADAS）、ECU等。但我认为整个行业实际上正在相当快速地朝这个方向前进。
当然，有的厂商会慢一些，有的会快一些，这就是行业的常态。但我毫不怀疑，全球汽车行业基本上都在朝着这个方向演进。
Nilay Patel：其实我挺好奇你的经历的。你之前在小鹏汽车工作过，我作为一个在美国待了很久的车迷，感觉中国车企有一个很独特的优势。它们不用操心美国传统车企需要操心的一大堆问题。再加上中国政府在这方面给了很大的补贴。你的感受是这样吗？是不是基本上就是因为有了这样一个重新起步的机会？
吴新宙：我觉得那只是其中的一面。它们的包袱确实更轻，少了很多需要操心的事，这当然是个优势。但我看到的另一个现象是，在中国，不仅是新势力车企，就连那些全球性的大厂也必须去适应中国的那种节奏。至少从我了解到的情况来看，大家都是以那个节奏在跑。说到底，你要想参与竞争，就得跟上。
不过就像你说的，这一波浪潮……SDV这个概念已经提了很久了，真正把它做到大规模量产的，还是特斯拉。我不确定它们是不是第一个，但论规模和程度，绝对是最极致的。我相信世界其他地区的OEM最终也会跟上来。
我觉得现在每家OEM都得往这个方向走，因为这是竞争的方式，也是生存的需要。自动驾驶会逐渐成为所有车企必须具备的能力，大家都相信这个未来。而要走到那一步，首先得有我之前说的那种架构，这样才能在不需要大量分散ECU的情况下实现软件升级。说实话，最近我好像没听到谁还在反对这个方向了，可能你听到的不一样，但在我看来，这已经是大家必须迈出的一步。到了这个阶段，这几乎就是下一代架构的入场券。我们确实在跟很多OEM沟通，但行业向这个方向走，已经是一个共识了。
Nilay Patel：通往这个大家公认的未来汽车形态的路，比我预想的要难，也比过去五年上过节目的任何嘉宾说的要难。我想听听你的看法——你是供应商，你在推销这个愿景，你在努力把芯片装进每一辆车。从你的角度来看，到底是什么让这条路变得这么难走？
吴新宙：你提到了好几个方面。汽车行业体量很大，涉及庞大的供应链，牵涉大量公司和员工。每次在架构上做改动，每推出一款新车，你都得保障它十年到十五年的生命周期。英伟达作为供应商，对我们提供的任何技术，无论是芯片组、其他平台还是自动驾驶技术，也都向客户做出同样的承诺，同一代产品要支持十年到十五年，哪怕是最新一代芯片也是这样。从硅谷供应商的角度来看，这几乎不可理喻，但这就是汽车行业的本质。这个行业的本质决定了它会拖慢节奏。这是第一点。
第二点，技术的变化太快了，而且跟我们以前理解的那个汽车行业已经大不相同，要想转向SDV、AIDV，你需要来自不同领域的人才来搭建公司，去适应这一波新的技术变革。这也正是英伟达可以介入的地方。因为我们相信，技术已经发展到了一定成熟度——我们这里主要讲的是自动驾驶——已经可以推向大规模量产了，这时候供应商就可以进来发挥作用了。
所以我们不仅仅是提供自动驾驶技术，而是提供从芯片到操作系统、开源模型，再加上我们称之为Halos的安全操作系统在内的整个平台，帮助OEM更快地适应这个新世界。这个行业就是这样，不是每家厂商都能跑一样快。所以说，由于行业体量大、包袱重，大家要跑到终点肯定需要时间。但我在英伟达的工作，就是尽可能帮助每一个向自动驾驶迈进的公司，尽快把这个愿景变成现实。
Nilay Patel：英伟达生产出来的每一块GPU基本上都已经被预订了，这就是现在AI行业的现状。这些芯片都会流向某个地方的NeoCloud。那你要跟那条业务线去抢资源和关注度吗？那条业务增长的规模和速度你也看到了。
吴新宙：是的，说出来你可能不信。（笑）哪怕是英伟达，用于计算的GPU供应也是有限的。我们有内部的优先级分配，我基本上每周都要和同事们碰，商量怎么划分不同的计算资源，有时候是用于训练，有时候是用于测试，或者分配给公司里其他不同方向的工作。有时候我们也需要黄仁勋出面来协调，但大概就是这么个情况。
Nilay Patel：具体是怎么操作的？那种争论是什么样的？是算ROI（投资回报率）吗，比如“投入多少钱，能从客户那里赚回多少钱”？还是看市场规模？讨论的时候主要考量哪些因素？
吴新宙：以上都有，如你所料。收入显然很重要，但英伟达也是一家很有战略眼光的公司，你应该也了解。我们重视黄仁勋有时所说的“零万亿美元业务”。我们一直在寻找能够创造万亿美元业务的新机会。所以公司内部在探索新方向时，会设定一些战略优先级。你可能也知道，我们不是一家盯着市场份额的公司。我们衡量的，是如何在眼下的收入和未来的机会之间找到一个平衡点。
Nilay Patel：英伟达这家公司的运营方式很特别。你刚才也提到，黄仁勋什么事都深度参与。我看过他一个采访，他说他不搞一对一会议，而是把大家聚在一起，直接当面把问题争论清楚。那是一种什么样的体验？
吴新宙：我在英伟达三年了。说实话，非常独特。当然也不是说所有人同时在一起，而是分不同的小组。我们每个组都会有技术策略和产品的评审会，跟黄仁勋一起讨论。对我来说这其实挺让人兴奋的，能学到他的战略思维，看他怎么想产品、怎么定策略。他技术上的深度也很少见，光是看他怎么一直紧跟技术最前沿，就已经很有启发了。我觉得能跟黄仁勋学习，对我来说是一生一次的经历和机会。
Nilay Patel：你刚才描述自动驾驶的机会，尤其是未来的机会，听起来像是一个很大的赌注。“我们要把英伟达的计算优势和AI能力带到汽车上，让它们自己开驾驶。”那收入模式是什么样的？就是单纯向车企卖芯片和软件吗？还是消费者付订阅费，然后有一部分流回到你们这里？那“万亿美元的机会”到底从哪里来？
吴新宙：这也是一个很好的问题。我们坚信，未来所有能移动的载具都会实现自动驾驶。将来汽车跑的每一英里，都应该是自动驾驶的。你可以算一下，全球汽车每年要跑13万亿英里，而现在这里面自动驾驶的占比几乎可以忽略不计，我记得大概是0.006%的样子。所以摆在我们面前的机会是巨大的。英伟达的想法是，通过提供全套基础技术来帮助整个生态系统尽快实现这个目标，还是从芯片到操作系统，再到我们所说的Halos。Halos这套操作系统很重要，因为它不仅提供了SDK和API，让大家可以在我们的硬件上开发模型，还为开发者部署模型提供了安全方面的保障和约束。
我们还定义了我们称之为Hyperion的硬件平台。那是一个可量产的平台，包括计算资源、ECU，以及传感器套件。我们认为要达到不同级别的自动驾驶，这样的配置是必要的。在这之上，我们还提供了Alpamayo，这是我们自己训练的一个开源模型。说它是开源，不光是模型架构开源，参数和数据也开源，你可以拿它在我们平台上做微调。再往上，我们还提供所有需要的基础设施，比如仿真，这在当前自动驾驶开发中非常重要。我们现在常说，自动驾驶已经变成了一个“三计算机”问题：训练计算机、仿真计算机，车上的推理计算机。所有这些技术组件，我们都希望通过Nvidia Drive这个平台提供给整个生态系统，让大家能在我们的平台上开发自己的技术。
我们希望从未来自动驾驶的每一英里中，从整个生态系统所创造的价值里分到一部分——这就是那个万亿美元机会的来源。
Nilay Patel：过去五年电动化推进的过程中，有一个挺有意思的现象。传统车企发现自己已经变成了保险公司和金融公司，真正的造车工作其实都是供应商在做。现在看自动驾驶这个方向，英伟达显然看到了一个机会，想成为众多车企的主要供应商。但这正好跟车企们“我们要掌控汽车”的想法撞上了。那这个局面怎么协调？因为不是每家车企都有能力去押注技术，在收入还不确定的情况下做前瞻性投入。它们可能需要英伟达这样的供应商，提供一套现成的平台和商业模式。现在是更偏向你们了吗？这个阶段已经过去了，还是说现在还没有定论？
吴新宙：英伟达汽车业务模式的好处在于，我们的平台是完全开放的。我们提供多层的服务，OEM或者机器人公司根据自己的需要，可以选择跟我们合作到哪一层。你刚提到特斯拉，有些OEM能力很强，甚至想用自己的推理芯片来做车内推断，这种我们也能接受，照样合作。实际上我们现在跟特斯拉以及很多用自研芯片的OEM也在云端有合作，甚至会帮它们优化模型。不同OEM合作方式不同，我们在基础设施层面，包括仿真和训练计算这块，跟它们都有合作。
有些OEM想要更交钥匙的方案，我们也乐意配合，那就一路做到位，等于以一个1级或者1.5级供应商的身份跟它们一起走。比如我们的自动驾驶合作伙伴梅赛德斯就是这样，我们跟它们紧密合作，定义它们想要的产品，然后调整我们的自动驾驶技术栈，使其在他们的车辆上上能无缝运行。双方的工程师配合很紧密，确保这套系统能很好地匹配梅赛德斯的设计理念和它们想提供的用户体验。
这对我们来说非常重要。我们不是去押注谁赢。我们是在根据OEM的能力在不同层面帮助它们。这种开放性是我们在OEM合作中特别重视的。
Nilay Patel：你刚才提到了训练模型，在其他采访里你也讲过用合成数据来训练自动驾驶。特斯拉的数据量也很大，因为他们直接用路上跑的车在训练。但不是每家车企都能找到办法跑出十亿英里的自动驾驶里程。那它们最终多少得靠第三方，至少帮它们追到行业平均水平，甚至更进一步。英伟达现在就在那儿等着做这个第三方。这是你们跟车企推销时一个很重要的点吗？
吴新宙：我觉得这是OEM愿意跟英伟达的Hyperion生态系统、Drive生态系统合作的一个很有说服力的理由。因为Hyperion的一个关键特点就是它的计算架构，以及它的传感器架构对数据共享的支持。任何加入Nvidia Drive合作伙伴计划的公司，我们都会通过现有项目共享数据，目前我们已经积累了数百万小时的数据。通过不同的车型项目，我们也在持续从各家OEM那里汇聚数据。然后我们可以先用所有这些数据训练出一个基础模型。我们确保至少从我们不同项目中收集到的数据能够跟OEM共享，这是第一点。第二点是，在新的时代，我们认为算力本身也相当于数据。所以就像你说的，我们也会大量使用合成数据。
还有神经重建数据，我们称之为NuRec。这是一个非常重要的技术和仿真手段。我们从实际场景中采集数据，然后用神经重建技术对数据进行一些调整，比如改变背景或者车辆的行驶轨迹，这样同一组数据就可以生成大量不同的变体。所有这些数据都需要靠计算机来生成，动辄数千万条。我们愿意跟加入这个生态系统的每一位参与者共享这些数据。这样一来，所有Drive生态系统的参与者加在一起，就能共同弥补数据方面的差距，这一点非常关键。
Nilay Patel：所以这其实就是合成数据，对吧？你们先采集大量真实道路驾驶的数据，然后放到模拟器里，模拟器对数据进行一些处理。车企为什么愿意参与数据共享呢？是因为大家都意识到，合在一起追上的机会更大？还是因为它们不想自己砸那么多钱？或者说成本更低？它们为什么愿意跟竞争对手共享数据？
吴新宙：这两个原因其实都对。实际上省下来的成本非常可观。要养一支庞大的车队去采集数据，对任何公司来说都是巨大的资本投入，而且工作本身也是重复性的。如果你能找到一种方式，比如我们在Drive平台上提供的这种，就能帮客户省下大量的精力和资金。
Nilay Patel：这个我挺好奇的，因为整体思路是，你们训练模型，然后装到车上，最后就有了AIDV。传统做自动驾驶的方法，就是不断往里喂更多数据，喂到一定量，车就什么都会了，同时把所有的路都测绘好。但英伟达的路线感觉不太一样，更像是让车自己足够聪明，不管有没有地图都能应对。那就需要不同的数据采集方式，不同的计算方式，然后在AI上要押下更大的赌注。这种路线分化是真的存在吗？你们已经完成了这个跳跃吗？这是平台的未来方向，还是你们正处在一个过渡阶段？
吴新宙：我们现在对L2+所采用的方法，基本上是无地图的。就像你说的，模型确实需要更多数据来覆盖更多的边缘场景，而且模型本身也在越变越大，不管是这一代还是下一代，我们都会用参数更多的更大模型。基础模型在这里也会发挥很大作用。要让模型足够强，数据肯定是关键，但另一方面，使用已经在互联网数据上预训练过的基础模型也是一个趋势，这也会有帮助。所以我才反复强调我们跟英伟达内部基础模型团队的对接。
通过推理模型和基础模型，我们可以借助前沿模型的能力，利用互联网数据来扩大数据规模，帮助车辆在没有特定车辆数据的情况下也能更好地泛化。这是我们迈向更高级别自动驾驶，尤其是L4的主要方向之一，也是我们现在重点推进的工作之一。
说回OEM，我觉得我们能提供给客户的，一方面是我们在已有合作中积累起来的基础，加上我们在合成数据和神经重建数据生成上的大规模能力，另一方面是基础模型的能力——这些模型本身是在更通用的数据上训练的，
Nilay Patel：我觉得现在必须聊一聊安全问题了。我知道实际情况肯定比这复杂，但你们在讲用基础模型来做自动驾驶推理，而我脑子里浮现的全是ChatGPT那种——它答错了给你道歉，但车已经撞了；或者是那种可怕的延迟，模型绕了一大圈才意识到自己走错了。你去看它的思维链，发现它从一开始就完全搞错了方向。那种感觉就像Anthropic认为Claude会有“愧疚感”一样。这些跟开车这种需要实时响应的场景完全不搭边。你们怎么弥合这个差距？延迟怎么办，后台跑大模型怎么办，模型产生各种发散推理怎么办？这些怎么跟驾驶汽车兼容？
吴新宙：安全对我们来说非常重要，对整个自动驾驶行业也一样。我从我们提供的不同层面来回答这个问题。解决安全问题对汽车行业来说不是新鲜事，我们已经有了非常成熟的开发和验证流程来证明软件是安全的，也就是ISO 26262标准。实际上我们开发硬件、操作系统层面的软件和应用软件，都按照最高的安全标准来做，这对任何能上路的驾驶功能来说都是至关重要的前提。这是第一点。
第二点是，我们的做法跟这个领域的一些参与者略有不同。我们实际上为L2++或ADAS功能也设置了冗余（指备份）的技术栈。除此之外是端到端模型，基本上就是像素进、轨迹出。我们还有一个传统技术栈，它更多是基于我们所知的安全标准来开发的，本质上是一个由多个组件构成的技术栈，每个组件都可以用这个已知标准来单独验证。这就是我所说的传统技术栈。当两个技术栈并行运行时，传统技术栈充当了我们有时称之为“老大哥”的角色，但本质上它是一个安全护栏。它在每一帧都试图验证端到端模型生成的所有轨迹，并用已知的安全标准来检验是否安全。
这是我们一个非常重要的理念，而且不仅是一个理念，我们已经在我们技术栈中实现了它。这对更高级别的自动驾驶（L4）来说至关重要。这也是我们L4技术栈的基础——我们实现了完全冗余，不仅是传感器层面的冗余，还有软件架构层面的冗余。这是回答你安全问题的第二点。
第三点，我们在开发模型的时候，也在尽量降低模型产生幻觉的可能性。方法就是做大规模的验证。每个模型发布之前，我们都会建立大量的仿真测试数据，目前每天大概要跑500万次测试。
基本上我们每天会迭代10个版本的端到端模型，然后做大规模验证，确保在所有场景下——你可以理解为每一个被测试的场景——模型输出的轨迹都是对的。这对我们来说也极其关键。以上这些就是我们确保产品安全所做的努力。
Nilay Patel：我问个有点蠢但我真挺好奇的问题。你聊了很多关于模型怎么操控车的事，也说了传统技术栈是安全护栏。那这个模型在推理的时候，是不是像其他模型一样用语言来思考？它会不会在后台自己对自己说：“看到个停车标志，我该干什么？哦，得停下来，踩刹车吧”——就像普通大模型那样在后台用语言进行推理？
吴新宙：简单回答是：会。在我们下一代模型里，也就是用在下一代车型上的——因为当前这代车载算力有限，下一代是基于SOAR架构的。我们会让模型在训练时嵌入语言能力。能够通过语言进行推理非常重要，你还可以直接跟模型对话，问它在做什么，也可以让它加速、减速或变道。
Nilay Patel：那它实际在开车的时候，会不会对自己说：“看到那边有辆车，我得变个道，因为前面几英里要出高速了”——然后通过语言来操控车？
吴新宙：我觉得这是一个组合。语言已经嵌进去了，但视觉信号也极其关键。可以说是多模态的，语言只是其中一部分。你也知道，模型是个黑盒，我们并不完全知道它具体怎么运作的，但你可以问它，它会告诉你它正在尝试做什么。
Nilay Patel：我脑海里就是一幅画面：一个聊天机器人在高速上以时速55英里飞驰，然后自己吓坏了。
吴新宙：实际上GTC台湾发布过一个视频，那个模型在不停地说话。你要是真去听它推理的所有内容，还挺扰人的。
Nilay Patel：那延迟呢？你们肯定部署了，应该是管用的，但有在想办法降低延迟吗？我觉得语言本质上比开车需要的反应速度慢多了，我自己开车的时候脑子根本不会用语言来思考。
吴新宙：百分之百。所以我才说是多模态的。但降低端到端延迟极其重要。实际上，用模型来开车有一个关键优势：传统那种由多个组件构成的技术栈通常需要几百毫秒，而用模型的话，就是一次推理，输入是像素，输出是轨迹，中间没有其他环节，延迟可以降下来——当然要取决于算力。即使在当前这一代，我们也能控制在100毫秒以内，已经算很快了。
至于语言推理这部分，你想想人脑不也这样吗？信息经过抽象之后，传输速率其实并不高。我们正是利用互联网数据来训练这种基于语言的推理能力。我觉得延迟完全可以控制得住，可以这么说。而且，就像我说的，你不是只靠语言来开车，这一点很关键。推理部分我相信是比较慢的，但我们也不完全清楚模型具体怎么运作的。但像素处理那部分，才是驱动车辆做出瞬时反应的核心。
Nilay Patel：对。你要是问Anthropic，他们会说Claude有感觉有情绪，还会害怕。那你们会考虑这个吗？你觉得你们的模型在开车时会有情绪吗？
吴新宙：我们会用安全护栏来确保它不会太情绪化。
Nilay Patel：我就是好奇。毕竟就像你说的，我们不知道模型是怎么运作的。我脑子里真就是那幅画面：模型在说“天哪，我开得太快了！”但传统系统应该能把它压下来。所以，所有这些都是在汽车上运行的吗？
吴新宙：不不不。所有这些（模型推理、语言推理等）都是在研发阶段离线完成的。但第二部分，就是带有安全护栏的那个——我们并行运行两套技术栈的时候——那肯定是在车上运行的。在车上，每一帧画面，在我们的ADAS ECU软件中，我们都在对比传统技术栈和端到端模型生成的轨迹，确保模型输出的是安全的基准轨迹。
Nilay Patel：那按照你们的做法，自动驾驶汽车需要有高速网络连接吗？
吴新宙：不一定需要，但确实要有一定的网络连接来获取导航信息和一些地图信息，这些主要是导航地图。为了让模型端和传统技术栈都能更好地运作，我们会用一些导航地图信息来帮助理解周围环境。
Nilay Patel：我问这个是因为当年5G网络刚推出的时候我做过大量报道，当时所有电信公司都跟我说5G能让自动驾驶成为现实。而看起来你们的方法反而是对低延迟网络依赖最少的那一种。
吴新宙：这么说也不算错，但另一方面，汽车也必须在完全没有网络信号的盲区里独立完成自动驾驶。实时低延迟这个事，我觉得应该说，它对云端是有依赖的。但至少对于ADAS应用，也就是我们所说的L2+，是要覆盖所有使用场景的，建立这种网络依赖不是个好主意。到了L4、L5阶段，那个时候才会引入对网络的依赖。
Nilay Patel：当你在L4自动驾驶时失去网络连接，会发生什么？当你在L5级别，车上已经不再有方向盘，然后你失去网络连接，会发生什么？
吴新宙：在L4级别，你可以把网络连接看作一种传感器。基本的驾驶能力不能过度依赖它。开发L4技术的一个核心理念是，你必须拥有传感器冗余。这不仅仅是针对GPS，还包括摄像头、雷达以及你所看到的一切。对于每一个可能出现的故障点，车辆都必须能够安全行驶。比如你突然失去了GPS信号，但车辆有本地感知能力，它需要能够行驶到一个安全地点并靠边停车。这是一个L4系统必须具备的最低要求。这也是开发这类系统的基本L4原则。
Nilay Patel：现在车企为了控制成本，连车漆都在省。而你这边说的是车里需要大量算力、大量网络连接，可能还要大量内存来加载模型。那这个怎么平衡？这会推动你们更倾向于机器人出租车模式，还是你觉得人们依然会去买昂贵的自动驾驶私家车？
吴新宙：开发自动驾驶汽车确实需要大量硬件，但另一个趋势是，随着技术越来越成熟，硬件成本也在快速下降。比如雷达，在我15年的职业生涯中，雷达的价格至少降了四五倍，因为出货量越来越大，成本就被摊薄了。我也亲眼看到摄像头传感器的价格在下降。竞争多了，量大了，价格就下来了。规模效应在ADAS领域已经非常明显，所有组件都变得更加成熟，甚至到了一定程度的标准化。
你也知道，计算机性能的提升速度非常惊人。以前谈半导体行业的摩尔定律，但在自动驾驶领域，算力需求大概每两年增长10倍，非常夸张。而现在随着AI的成功和英伟达的推动，我们能够以可承受的成本把这种规模的计算能力装到车上——是在车上，而不是在云端。至于晶圆制造产能，当然也要去争，因为成本对所有人都在涨，那肯定不例外。
Nilay Patel：我很好奇，正是英伟达自己的需求在推高全行业的成本。那当公司其他部门愿意出任何价钱去抢产能的时候，你这边怎么争取晶圆制造产能？
吴新宙：答案跟我之前说的差不多。我不知道还能怎么再展开，因为英伟达本来就是一家很有战略眼光的公司。我们的汽车业务表现还不错，但肯定没有数据中心业务涨得那么快。不过我们——包括黄仁勋本人——都坚信自动驾驶的未来，所以会持续投入，不光是内部算力的分配，晶圆制造产能也会去争取，这是我们一直在考虑的事情。
实际上，芯片价格很可能也会上涨，因为现在市场对芯片的需求太旺盛了，谁都想多抢一点。但好的一面是，技术确实在进步。我刚才说了芯片和传感器这边的情况，也提到了Hyperion——那是一个可量产的计算加传感器整合平台。我们一直在成本和技术能力之间找平衡，寻找一套既够用又能实现高级别自动驾驶的最小必要传感器组合。
例如在Hyperion 10中，我们确实提供了两个版本。一个是基础版，主要是摄像头：10个摄像头、3个雷达，没有激光雷达。这是一个非常经济高效的方式来打造L2++级ADAS车辆。另一个是高端版，我们称之为Hyperion High：我们提供所需的传感器组合，大概有14个摄像头、3个激光雷达和7个雷达，以拥有足够的传感器冗余来实现L4级自动驾驶。
ECU也需要冗余，还需要我们的下一代计算平台——更准确地说是当前这一代基于SOAR的平台。想象一下，你有一辆真正能自己开的车。我们认为，有了这套传感器配置和这种计算架构，就能达到那个水平的自动驾驶，也足以让这个成本显得合理。
Nilay Patel：关于自动驾驶到底需要哪些传感器，争论一直很激烈，而且持续了很多年。我记得埃隆·马斯克多年前说过激光雷达是“局部最优解”，那大概就是这场争论的开端，到现在也没平息过。你觉得L4级自动驾驶必须要用激光雷达吗？
吴新宙：简短的回答是：要。我们认为激光雷达是实现L4级自动驾驶所需的安全和冗余能力的重要传感器。但另一方面，也很难说它绝对不可或缺。基于Hyperion 10的高端传感器配置，我们觉得这是一条很可行的路线，能够实现高水平城市和高速场景的L4能力。不过理论上，如果有人能通过海量实际行驶里程来证明不用激光雷达也行，那也不是不可能，但那样的话，ODD就会受到限制。
运行设计域（ODD，Operational Design Domain）基本上就是技术可以部署的适用域。我们对此做了不少分析。根据我们目前的理解和我们做分析所用的框架，我们认为要将L4技术部署在客户能受益的所有ODD中，配备激光雷达比不配备要好得多。
Nilay Patel：当你看特斯拉的全自动驾驶（FSD）及其车辆，他们一直坚持纯视觉方案。你觉得他们现在是领先于你们、跟你们差不多，还是落后于你们？
吴新宙：这个问题可以从两个层面来看。在基础的L2++技术层面，Elon（指马斯克）很可能领先所有人。他很早就成立了团队，并且多年来一直坚持利用大规模车队来开发和测试这套技术。在ADAS市场上，Elon领先于大家这一点应该没人质疑，其他家基本都在追赶。实际上我们也很高兴看到他这么成功。而且Elon也是我们的大客户，SpaceX和特斯拉都在用我们的GPU计算产品，我们会支持他和他的团队继续取得成功。
到了L4这个层面，我觉得局面就更开放一些了。市场上已经有像Waymo这样验证过的玩家，他们已经在用自己的一套方法让用户真正体验L4了。特斯拉可能还在摸索通往L4的路径。我们不会去预判谁会成为赢家，而是希望帮助每一家公司把这项技术做出来。我们的使命是帮助整个自动驾驶生态系统实现那个愿景：让每一英里、一切移动的载具都实现自动驾驶。
Nilay Patel：那你跟特斯拉的高管聊过使用激光雷达的事吗？尤其像你刚说的成本还在降，如果更好的技术方案就在眼前，感觉大家应该直接用才对。你们有聊过吗？
吴新宙：嗯，我自己其实没有，但我的团队肯定有人跟他们聊过。我也很期待有机会跟他们聊这个话题。说到底这些都是基础科学和逻辑问题，听听他们的观点也挺好的。
Nilay Patel：最后我想聊一个可能最不在你掌控范围内的话题。模型会越来越好，英伟达会继续造芯片，客户对自动驾驶的需求大概也会持续增长，这些感觉都是你们能把握住的。中美之间有很多贸易壁垒，英伟达正好夹在中间。当你们想推动整个汽车市场往前走的时候，中美贸易的混乱局面会带来什么影响？你们会考虑这些吗？它有没有拖慢行业的速度？你们能越过这些障碍吗？
吴新宙：我相信政策制定者有自己的考量和理由来制定这些政策。英伟达一直是一个开放的生态系统参与者，我们在中国仍然有很多客户。比如我们还在供应车端推理芯片，因为它们仍然在允许在中国市场销售的GPU门槛以下。我们也和不少中国OEM在合作，在基础设施方面提供仿真工具，同时跟他们一起推进开源模型Cosmos和Alpamayo。一方面可以帮助他们把模型做得更好，另一方面我们也能从中国市场的竞争中有所收获。
同时我们也在跟世界其他地区的OEM紧密合作，给不同OEM提供英伟达平台不同层次的技术和服务，帮他们也能做起来。还是那句话，我们不去选谁会是赢家，而是尽量跟所有人合作。我们的目标很清楚，就是尽最大努力让这个愿景成为现实。
Nilay Patel：你刚才提到在OEM之间共享数据来训练模型、提升能力，那中国OEM和欧美OEM之间的数据共享，会不会遇到监管或者竞争方面的障碍？
吴新宙：当然会有。不仅是中国，其他地区也有类似的限制，比如欧洲就有专门的数据法规。我们会遵守各地的法规，确保在每一个市场都做到合规。
Nilay Patel：那是不是说，不同区域的模型版本会有不同的能力，或者擅长处理不同情况？毕竟输入数据不一样，输出好像也应该不一样。
吴新宙：确实如此。首先对于量产模型，我们会尽量不去分叉，但不同区域之间肯定会有基础性的差异。模型在不同区域拿到不同的输入数据，表现自然会不一样。其中有一些是我们所谓的“国别代码”——不同区域的规则差异很大，比如欧洲和美国就不一样，所以需要做一些适配，参数上也会有所不同。把这项技术推广到世界不同地区，确实是一段很有意思的过程。
Nilay Patel：那基于不同的监管方式、数据路径、输入数据，以及OEM的不同配置和投入意愿，还有政府补贴力度的差异，你觉得中国会率先实现L4级自动驾驶的规模化应用吗？因为如果让我来判断的话，我会觉得L4在中国成为主流体验，会比美国早很多。
吴新宙：我倒不这么认为。你知道Waymo已经让用户真正体验到了L4，至少在旧金山的一些特定区域内，而且扩展速度很快。中国市场确实竞争更激烈，参与者也更多。但根据我的观察，至少其中一些玩家在技术成熟度上已经达到了Waymo在旧金山的水准。我们也在努力帮助整个生态系统的每一位参与者。
从OEM的角度来看，竞争格局有所不同，但即使在OEM层面，不同区域也各有特点。一方面中国的道路确实比美国更具挑战性。而L4这件事，我有时称之为“零和游戏”——要么你有，要么你没有。而到今天为止，真正证明了L4可以在城市规模的区域内、没有安全员、不受限制地为每一位乘客安全部署的，目前仍然是在美国，或者在中国。
Nilay Patel：我想Waymo听到你把他们描述为“主流体验”会很开心。我承认在旧金山的一部分人里，Waymo确实已经比较普及了，但对绝大多数美国人来说还不是。我的问题是：那种“普及程度”到底是什么？是像现在买车时L2级ADAS基本成了标配那样，L4也会变成标配，按一下按钮车就自己开了？你觉得离那个阶段还有多远？
吴新宙：这正是我的使命——帮行业走到那一步。如果要给个具体时间，我不会说五年整，但也不会超过五年。
Nilay Patel：这个预测很大胆。时间差不多了，今天就聊到这儿吧。新宙，你讲得非常精彩，期待下次再聊。五年之内我们一定再请你来，看看这个预测准不准。最后问一下，接下来英伟达在汽车领域有什么值得关注的新动作？
吴新宙：计划不少。今年年底前，我们会在美国所有的梅赛德斯车型以及其他一些合作伙伴的车上推出ADAS技术。接下来几年会逐步推广到全球其他地区。同时我们也和Uber等合作伙伴在紧密推进，GTC上已经公布了，未来几年会逐步推出L4服务，非常值得期待。
另外我们一直是一个生态系统型的公司，几乎跟所有OEM都有合作。现在大概80%的量产OEM都已经加入了英伟达Hyperion的L4生态圈。我们正在和所有伙伴一起构建这个未来，希望之后你会看到更多令人兴奋的消息。
Nilay Patel：好的，就像我说的，我们很快会再请你来。非常感谢你能来Decoder做客。
吴新宙：谢谢你邀请我，Nilay。今天聊得很愉快。
