边缘AI芯片，挑战重重

由于模型的发展速度比硅的更新周期更快，芯片架构师必须平衡灵活的计算、数据传输和纵深防御安全性。

边缘计算的快速发展正迫使芯片架构师和设计团队重新思考如何将人工智能融入垂直市场应用。根本挑战在于时间线不匹配，因为工程团队必须针对人工智能模型、工作负载和部署要求进行设计，而这些需求在芯片设计方案确定后必然会发生变化。

此外，实际边缘计算性能很少取决于峰值 NPU TOPS。更多时候，它取决于内存带宽、延迟、功耗预算、安全性和数据传输。为了跟上不断发展的模型，架构师们正大力追求灵活性——采用异构计算、可编程数据路径、可扩展内存、安全现场更新以及紧密的软硬件协同设计。

但仅仅具备灵活性是不够的。人工智能会在模型、数据、密钥、固件和推理管道等各个层面引入广泛的攻击途径，因此必须从一开始就将强大的安全性融入硬件架构中。同时，运行时和框架之间分散的工具链使得硬件感知优化与原始计算同等重要。

这种结构性转变正在重新定义标准组件的边界。

“随着CPU并行处理能力的不断提升，它们正变得越来越像GPU，” Imagination Technologies产品管理高级总监Rob Fisher指出。“NPU为了提高灵活性，也正变得越来越像GPU。最终，CPU、NPU和GPU将融合在一起。我们发现，越来越多的客户开始着眼未来，而不是一味追求当下性能的极致。

这意味着，我们现在看到的不再仅仅是一个可以随意插入、执行类似GPU功能的GPU。这会对整个SoC产生系统级的影响。”

在设计以人工智能为产品特性的边缘应用时，芯片架构师和设计团队需要考虑诸多因素。硬件选择驱动着这些更广泛的架构决策，但挑战远不止于NPU拓扑结构。

英飞凌物联网、计算与无线业务部PSOC边缘MCU及边缘AI解决方案副总裁兼负责人Eduardo Montanez表示：“AI模型的性能取决于内存、延迟、功耗和安全性等架构细节。” 正因如此，英飞凌的边缘微控制器具备内存扩展性、低延迟架构和高能效，从而支持边缘端的电池供电应用。此外，它们还包含旨在保护数据和软件知识产权的安全功能。

边缘人工智能应用已经给芯片架构师和设计团队带来了挑战，他们需要跟上模型和工作负载的快速变化。

Cadence产品营销集团总监George Wall表示：“随着新网络的不断涌现，任何解决方案都需要具备可编程性，以适应新网络、不断变化的激活功能以及相应的数据类型。与此同时，还必须满足严格的性能要求。”

这使得软硬件协同设计变得越来越重要。“人工智能模型、神经网络处理单元（NPU）、内存层次结构以及量化、剪枝和蒸馏等优化技术必须进行联合优化，才能实现高效部署，”西门子EDA生成式人工智能产品组经理Niranjan Sitapure指出。

整个流程也必须进行优化，因为成功取决于传感器摄取、数据预处理、推理、后处理和持续的模型生命周期管理。

理想情况下，芯片架构师和设计团队应该详细了解边缘应用程序将要执行的操作，包括它将使用的模型、所需的性能、可用内存和功耗限制，以便他们能够设计出具有最佳 PPA 的芯片。

“遗憾的是，现实并非如此，” Rambus公司硅IP市场营销副总裁Paul Karazuba表示。“即使压缩时间，芯片设计周期也比任何包含该芯片的产品发布时间提前一年或更久。在此期间，边缘应用会不断发展演变，包括底层模型的变化，以及可用内存和功耗的提升。这种应用演变迫使芯片设计人员集中精力开发能够适应不断变化的需求的芯片，其中包括但不限于高效、安全地传输数据。”

对另一些人来说，AI加速并非最大的挑战。限制芯片性能和效率的因素可能取决于应用程序的其他部分。

“但架构师和设计师并非为此而设计。他们专注于神经网络加速，声称能达到极高的理论 TOPS 值，而实际应用根本无法企及，”Efficient Computer 的首席技术官兼联合创始人 Graham Gobieski 表示。“事实上，在许多实际工作负载（例如传感器融合、自动驾驶）中，大部分应用程序仍然运行在 SoC 上那些通用但效率极低的核心上。真正实现智能应用的关键不在于更快的 NPU，而在于让应用程序中其他 80% 的部分也像 AI 部分一样高效。”

除了效率之外，边缘人工智能应用还带来了诸多设计挑战。

 性能不仅仅取决于所用可编程处理器的计算能力。“例如，内存带宽必须足够大，才能保证计算单元获得充足的数据，而且数据必须位于处理器易于访问的位置，”Cadence公司的沃尔解释道。“否则，计算单元基本上就无法得到充分利用。确定工作负载需求非常困难，因为芯片设计人员未必能够预见到消费者在未来3到5年内将使用的网络。”

边缘人工智能本质上是一个受约束驱动的设计问题，这使得挑战更加复杂。“你需要应对严格的功耗预算、有限的内存、混合的传感器输入，以及用户能够立即感受到的延迟。架构必须先高效，才能具备智能，”Rambus公司的Karazuba说道。

随着人工智能模型的快速发展，系统架构需要具备内存可扩展性，以支持大型数据集和人工智能模型，同时还需要足够的内存来支持设计中的非人工智能部分。

英飞凌的蒙塔内斯指出：“此外，该设计必须允许端到端、安全的配置和部署，允许现场更新，而不会损害宝贵的数据和软件知识产权。”

在DRAM和计算引擎之间移动模型权重和激活值可能比AI计算本身消耗更多电量。“AI模型的演进速度比芯片开发周期更快。新的架构、运算符和生成式AI工作负载不断涌现，给硬件平台带来了保持适应性的压力，”西门子Sitapure表示。“对于关键/高风险应用，诸如ADAS、工业自动化和机器人等边缘系统需要可预测的延迟、高可靠性，并且即使在连接受限的情况下也能正常运行。”

虽然数据传输对性能和效率影响巨大，但其他挑战却可能被忽视。“第一个挑战看似简单，实则极具挑战性，”Efficient Computer 的 Gobieski 表示，“智能必须适配设备。这意味着在运行任何应用程序代码之前，需要投入大量工程精力将神经网络塞进设备内存。第二个挑战的标准解决方案往往适得其反。将应用程序拆分到 NPU、CPU 和 DSP 上似乎可以发挥每个模块的优势，但这会因为需要多种不同的工具链而使开发变得复杂，而且节省下来的资源也会消耗在数据迁移上。”

硬件团队还面临着不容妥协的物理限制，尤其是严格的低功耗预算。Cadence旗下公司Secure-IC的联合创始人兼首席技术官Sylvain Guilley指出，散热限制和电池容量限制决定了计算效率，同时，对于任务关键型和安全关键型边缘部署而言，可靠性要求也十分苛刻。“解决这些核心挑战需要超越专有的、孤立的硬件技巧，转向更广泛的行业架构标准统一。为了构建边缘硬件的标准开放框架规范，Cadence正在一个新的OCP FCSA子项目工作流中着手解决这个问题。”

 希望将人工智能添加到边缘设备的电子产品开发人员应该从系统设计之初就融入多种安全技术。

安全的基础在于构建一个安全的平台，然后才能开发出安全的应用。“安全的平台至关重要，” Synopsys安全解决方案产品管理高级总监 Dana Neustadter 表示，“它奠定了基础，但并不会自动确保应用或 AI 的输出是可信的。开发人员仍然需要在应用层解决授权、数据保护、输出验证、连接服务安全和组件保障等问题。假设 AI 平台已经提供了信任根、安全启动、认证、加密通信和可信执行环境，这奠定了基础，但并不会自动确保应用或 AI 的输出是可信的。”

纽斯塔特表示，在应用层，开发人员必须处理额外的控制措施，包括：

人们普遍存在一种误解，认为人工智能运行在安全平台上就意味着其结果绝对可信。例如，一个移动机器人的模型报告称走廊空无一人。如果软件在未进行进一步检查的情况下接受该结果，机器人可能会移动并撞上意想不到的障碍物。“人工智能为决策提供输入，但不应成为最终决策的唯一依据，”纽斯塔特解释道，“应用程序应评估模型的置信度评分，并在授权执行操作前完成其他检查。此外，还应应用相关的规则和安全策略，并在设备执行操作前确认环境状况。”

即使建立了一个具有弹性的平台，也无法保证隐私安全。安全的硬件并不能弥补应用层数据处理方面的不安全。例如，商场里的智能摄像头可以分析顾客的行为。即使设备本身是安全的，但如果将这些分析数据存储在未加密的数据库中，攻击者仍然有可能获取到顾客的私人信息。

她表示：“安全的硬件并不能弥补应用程序层面数据处理的不安全。开发人员应该对敏感数据进行加密，并在其整个生命周期内强制执行访问控制。他们还应该仅在必要时保留数据，并将数据的使用限制在授权人员和服务范围内。”

模型也应采用类似于安全启动的控制措施进行身份验证。在加载模型之前，系统应验证其身份、完整性、签名和来源。这也是强大的信任根至关重要的另一个原因。“模型机密性和访问控制也应纳入系统的密钥管理策略中，”纽斯塔特解释道。

边缘人工智能系统可能需要额外的密钥。例如，第三方模型提供商可能希望防止设备所有者或其他方未经授权访问模型。因此，模型保密性和访问控制成为整体密钥管理策略的一部分。

所有模型和组件都可能引入软件供应链风险。开发人员通常依赖开源模型、人工智能引擎、插件和其他外部组件。包含隐藏后门的模型可能会生成错误或恶意输出，即使系统将该模型视为可信，安全的硬件也可能仍然执行它。

“即使是安全的硬件，如果系统将其视为可信程序，仍然会执行已被篡改的模型。因此，为了降低风险，开发人员应该验证程序的来源和完整性，核实供应商，使用可信的存储库，并维护软件物料清单，”纽斯塔特补充道。

Cadence公司的Guilley表示，在为边缘应用设计安全方案并缓解人工智能带来的攻击途径时，工程领导层应尽早与高层产品管理人员合作。这样可以让开发人员进行风险分析，并确定在硬件接口和软件层面哪些地方需要采取缓解措施。

他指出：“这种早期架构基础直接影响着网络弹性方面的整体设备策略。[“及早建立这一基础”]使我们能够将网络安全视为一项投资，而非成本，从而确保后续运营能够全天候安全进行，并将安全事件从紧急情况转变为业务连续性计划的一部分。

在构建必须符合网络安全、人工智能和数据隐私规定的复杂网络物理系统时，这种统一的安全和治理框架显得尤为重要。

“设计团队必须不断应对严格的监管界限，特别是欧盟网络弹性法案、有关收集个人身份信息中的个人数据的法定要求，以及在更广泛的欧盟人工智能法案下强制执行的总体法定授权，”吉利说。

信任根以及安全代码与非安全代码之间的分离也至关重要。“拥有一个能够管理代码认证的引导加载程序至关重要，”英飞凌的蒙塔内兹表示。“随着人工智能向边缘迁移，大多数产品仍然采用与云端混合的方式，支持OTA或其他通信。因此，边缘人工智能应用可能需要为连接链路提供额外的安全保障。”

从宏观角度来看，安全必须以硬件为基础，从安全启动和可信固件到受保护的密钥、内存和模型资产，无一例外。人工智能的出现加剧了这一问题，因为模型、输入和输出都可能具有巨大的经济价值。

Karazuba指出：“人们应该考虑到，经济价值不仅在于模型本身或模型内部的数据，还在于第三方篡改这些数据所带来的财务和法律影响。”

将人工智能引入边缘设备，可以为其增添以往非人工智能版本所不具备的功能和特性。他表示：“鉴于安全漏洞带来的经济和法律后果日益严重，设备制造商必须为人工智能边缘设备设计更强大的安全防护措施。”

西门子Sitapure表示，加密是另一个关键要素。模型权重、训练数据和推理流程都应该加密，以防止篡改、提取和未经授权的访问。

最重要的是，安全绝不能被忽视。“恶意行为者可能会试图入侵底层模型权重，并植入他们自己的模型，从而扰乱子系统运行或利用系统中的其他安全漏洞，”Cadence公司的沃尔说道。“幸运的是，应对措施多种多样，从本地化的加密/解密引擎到专用的安全隔离区，应有尽有。”

更广泛地说，边缘人工智能中最危险的故障并非崩溃，而是系统在运行过程中默默地相信错误状态却仍然继续运行。实时决策越来越依赖于设备端推理的完整性，因为边缘人工智能被部署在摄像头、机器人、车辆和工业系统中，而这些系统依赖神经网络处理器（NPU）、图形处理器（GPU）和线程处理处理器（TPU）来提升性能和效率，但这些处理器通常并未被设计成在故障情况下确保推理的完整性。

在近期发布的一份白皮书中，Keysight 的安全研究人员展示了用于故障注入和测量的实验框图和物理设置，并指出精确定时的故障注入 (FI) 可以在不修改固件、模型权重、软件配置或输入数据的情况下，破坏生产级边缘 AI 流水线的输出。在运行 YOLOv5s_ReLU 的商用 Rockchip RK3568 平台上，大多数故障没有明显影响或仅导致置信度分数偏移，但少数故障会导致漏检、出现虚假目标以及罕见的高置信度误分类，而系统仍能正常运行。这种影响可能远不止于单个推理错误。当受损的检测器输出被输入到下游跟踪系统时，即使是短暂或低概率的错误也可能被过滤为瞬态噪声、锁定到持续跟踪的目标中，或被放大为更密集、持续时间更长的错误系统状态。

在观察到的序列中，重复发生的、有界故障会将瞬态检测器误差转化为持续的错误感知，这些错误感知会持续到原始故障窗口期之后。一旦这些错误被表示为系统状态，即使平台看起来运行正常，它们也会影响警报、自动化逻辑和操作员决策，这对产品团队来说意义重大。对于人工智能驱动的系统而言，传统的弹性指标（例如正常运行时间或故障恢复）可能不足以应对这种情况。弹性还必须包括推理完整性以及防止损坏的输出成为可信系统状态的能力。

与此同时，在某些应用中，去中心化计算提供了一项基础性的安全优势，减少了敏感信息离开设备的可能性。“在设备上运行推理意味着敏感数据永远不会传输，因此不存在被拦截的通信渠道；而去中心化处理意味着不存在可被攻破的中央敏感数据存储库，”Efficient Computer 的 Gobieski 表示。“即使遭到入侵，损失的也只是单个设备，而不是整个集群。这种模式本身也存在一些常见的安全隐患，但与将数据保留在设备上所消除的风险相比，这些隐患要小得多。”

驾驭边缘人工智能领域需要工程团队转变思维模式。成功不再仅仅取决于最大化理论峰值计算能力，而是要在芯片寿命和软件快速迭代之间取得平衡。通过从一开始就优先考虑灵活的架构、软硬件协同设计以及纵深防御安全，芯片设计人员可以构建出能够适应任何新出现的人工智能工作负载的弹性平台——即使在芯片架构最终确定之后也是如此。

（来源：编译自semiengineering，谢谢）