泛机器人“大脑”破局：面向具身神经智能的类脑计算芯片

泛机器人（General-Purpose Ro-bots）是机器人技术发展的新范式，其核心在于突破传统专用机器人的局限，赋予机器人跨场景、跨任务、跨形态的通用化能力。有别于传统单一场景机器人，泛机器人可使得智能体像人一样，具备多场景自适应和形态可扩展的强大泛化能力，能够独立感知环境、进行思考、做出决策、学习新技能和执行各种任务。

泛机器人作为下一代智能体的核心形态，其“大脑”处理芯片面临着跨学科、跨技术栈的复合型挑战：①算力与能耗的极致矛盾。泛机器人需实时处理大量数据，但移动设备受电池容量限制，无法支撑传统GPU大算力芯片；②跨形态闭环泛化能力的严重缺失。泛机器人期望使用同一套内核驱动多形态身体，传统硬件算法耦合以及感知-决策-执行链路分离设计制约了其泛化能力；③实际场景持续学习的迫切需求。泛机器人预训练模型在专用场景面临失效问题，需要片上在线持续学习以适应真实世界。

在过去，基于英伟达公司Jetson系列的移动GPU产品，是国内外市场机器人“大脑”的主要解决方案。然而，面对泛机器人的上述挑战，传统硬件方案依赖于暴力计算资源，无法解决高能效运算、跨形态泛化、低成本学习等核心难题，难以适用于泛机器人时代的新型智慧“大脑”。在这种背景下，研究人员提出的一种新型的智能范式——具身神经智能（Embodied Neuromorphic Intelligence），成为推进泛机器人智能的重要方向。它使得机器人能够在保持低功耗的同时闭环学习和适应复杂环境中的决策和行为，从而推动泛机器人智能的发展。

具身神经智能将神经形态类脑计算（Neuromorphic Computing）与具身感知-行动机制相结合，模拟生物大脑及其感知-行动循环的运作原理。它旨在赋予智能体感知、决策和行动的能力，同时利用大脑启发计算架构来提高计算效率和灵活性。具身神经智能强调具身感知和行动，将智能体的感觉和运动功能紧密结合，它通过视觉、听觉和触觉等多模态感觉系统获取外部信息，并通过运动系统与环境交互来实现自适应行为。图1展示了具身神经智能泛机器人的典型系统架构。

首先，传感器在赋予泛机器人感知能力和促进其环境交互方面起着至关重要的作用。各种类型的传感器旨在捕获对机器人自主操作至关重要的环境数据，同时整合多模态信息以增强感知的全面性和鲁棒性，例如视觉传感器、声学传感器、定位传感器和惯性测量单元等。不同传感器的协同运行使机器人能够在复杂、动态的环境中可靠地运行，确保在面对不确定性和环境变化时也能做出精确的感知和决策。

其次，计算平台主要负责泛机器人的“大脑”处理运算，是具身神经智能得以实现的核心组件，通常使用类脑智能硬件完成功能。神经形态计算平台的核心是模仿生物神经系统的工作原理，利用生物启发模型进行信息处理。机器人能够提炼各种感官数据，并以类似于人脑的认知能力做出决策。此外，具身神经智能依靠大脑启发式计算架构，采用神经形态芯片复制生物神经系统的结构和动态。这些平台通常具有低功耗和高并行计算能力，使得泛机器人能够在复杂和动态的环境中高效地执行实时决策和学习。

最后，执行器是泛机器人智能外在表现的关键部件，负责将计算决策转换为物理动作，从而实现运动和交互。不同类型的机器人采用各种执行机制来适应其特定的任务要求和环境约束，例如移动机器人执行自主导航，固定机器人实现复杂机械操作，仿生机器人模拟生物运动机制。通过集成神经形态计算，具身神经智能机器人可以实现更自然的运动模式和更高效的能源利用，从而适应不断变化的任务和环境。

当前实现真正的具身神经智能仍然是一项重大挑战，其中尤为关键的是泛机器人“大脑”——类脑计算芯片。为突破硬件计算瓶颈，北京大学王源教授团队研发了以PAICORE芯片为代表的一系列先进类脑计算芯片，有效解决了具身神经智能中计算存储资源受限、异构计算范式整合以及实时片上在线学习等核心挑战。

如图2所示，PAICORE芯片是一款超大规模异构计算与在线学习融合的类脑计算芯片，其设计通过创新的架构实现高性能、高能效的神经形态处理，为具身智能体提供了强大的感知、决策和自适应学习硬件平台。

PAICORE芯片实现了超大规模和超高能效的类脑资源集成。该芯片采用28纳米互补金属氧化物半导体（CMOS）工艺制造，芯片面积达537.98平方毫米，集成了1024个处理核心、191万个神经元和47亿个突触，计算能效超过5万亿次突触操作/瓦特，是目前国际规模最大、能效最高的类脑芯片。芯片采用了五级四叉胖树的层次化片上网络架构，提供低延迟、高吞吐量的多播路由能力，并通过异步握手协议实现核间通信。芯片还支持二维网格片间扩展，通过四侧并行接口实现多芯片互连，适应复杂模型的分布式部署需求。

针对算力与能耗的极致矛盾，PAI-CORE芯片首先采用了事件驱动的类脑计算机制，仅当输入脉冲触发时激活神经元，消除了冗余计算开销，使得空闲功耗接近于零；芯片支持动态电压频率缩放技术，可配置于0.625～1.1伏特的宽电压范围以及24～600兆赫兹的宽工作频率范围，芯片动态功耗开销介于0.01～9.97瓦特，可以适配于无人机、人形机器人等瓦级和亚瓦级智能全场景；芯片还实现了存算一体优化设计，片上集成了超过120兆字节近存计算静态存储器（SRAM），将绝大部分数据搬运限制在处理核内部，由此芯片算力可达20.74万亿次突触操作。

针对跨形态闭环泛化能力的严重缺失，PAICORE芯片采用了脉冲神经网络（Spiking Neural Network, SNN）和人工神经网络（Artificial Neural Network, ANN）融合的统一计算范式，单芯片各处理核支持SNN和ANN模型的动态可重构切换，SNN模式下支持增强型泄露-积分-发放LIF神经元，可模拟复杂的Izhikevich生物神经元行为；ANN模式下则支持乘累加、ReLU激活和池化操作，可支持深度学习应用。两种模式共享硬件资源，通过模块级重构实现灵活切换，突破了传统异构架构的效率瓶颈；同时芯片还实现了感知-决策-执行一体化多模态闭环融合设计，可以支持动态视觉DVS相机和光学RGB相机与芯片的感算一体任务，在片内完成多源感知融合，实现类脑任务决策并反馈至执行器输出。

针对实际场景持续学习的迫切需求，PAICORE芯片提出了基于脉冲时序依赖可塑性规则（Spiking-timing-dependent Plasticity, STDP）的在线学习引擎，支持事件驱动的增量学习。芯片片上集成了16个在线学习处理核，STDP学习引擎通过前/后脉冲计数器记录时间相关性，结合随机数查找表实现非线性权重更新，可实现发射率和时间编码结合的学习方案。这一设计使得芯片能在实时环境中动态适应数据分布变化，增强了端侧自主学习能力；芯片通过增量学习设计，使得具身智能应用中的预训练模型可通过少量样本微调实现低成本更新。

PAICORE芯片还适配了软硬协同的PAIFLOW和PAIBox软件框架。支持多范式（SNN/ANN/在线学习）任务的模型提取、中间表示图构建、逻辑原语到硬件原语的等效转换、资源优化/吞吐优化等策略的核心映射以及配置比特流生成。软硬配套设计极大简化了在超大规模PAICORE平台上部署复杂多范式神经形态应用的难度，使其能够高效执行具身神经智能所需的混合计算流程。相关成果受到国内外广泛关注，并荣获了第50届日内瓦国际发明展最高奖项“评审团特别嘉许金奖”。

以PAICORE芯片为泛机器人“大脑”，研究团队还设计了PAICar原型机器人，将多模态感知与神经形态计算相结合，以实现高效的环境感知和理解。

如图3所示，PAICar机器人平台配备了一系列传感器和执行器，形成了类似于人类感觉运动系统的计算架构。该平台通过多个传感器获取多模态信息，包括ReSpeaker USB 4-Mic声学传感器、Intel Realsense RGB-D摄像头、深度摄像头和热成像传感器。所有传感器都连接到中央类脑计算平台，负责数据预处理、机器人运动控制以及与神经形态类脑计算硬件的交互。

传感器的不同感知模态在具身应用中各具优势与局限。例如RGB图像具有高分辨率与清晰的纹理表达能力，并能提供丰富的色彩信息；热红外图像能够在低能见度场景中稳定获取目标轮廓；深度图像擅长捕捉场景的几何结构信息；声音模态则可提供明确的方位信息。针对各模态的特点与局限，PAICar机器人在系统设计中引入多模态融合策略，充分发挥各自信息优势，通过模态间的互补实现性能增强。

为了处理时空多模态数据，PAI-Car“大脑”包括多个硬件部署模块：①基于声音的粗粒度定位模块。该模块的主要作用在于在目标进入视觉感知范围之前，基于声源方向信息快速指引系统关注潜在区域，从而缩小视觉搜索范围，提高整体处理效率。②基于热成像目标检测的细粒度定位模块。该模块采用基于多patch定位的两阶段目标检测算法来实现跟踪目标，并采用基于分类的定位网络来实现精确的目标定位。③基于深度图的避障模块。该模块利用深度摄像头捕捉周围环境的深度信息，并将其作为类脑输入数据，支持机器人在复杂场景下的自主避障决策。④基于RGBD的路径规划模块。该系统使用自上而下的深度图和RGB图像进行全面的环境建模，通过全局和局部路径规划算法实现智能路径规划。⑤基于神经状态机的决策模块。该模块负责高层次的决策制定，综合考虑从各个传感器模块获取的特征信息、底层决策信息以及预设的任务目标和约束条件，以制定最优的行动方案。这些行动方案随后由执行器执行，使得机器人能够在复杂环境中自主完成各种任务和动作。

基于以上设计，PAICar机器人能够执行实时声源定位和跟踪、物体识别、避障和自主决策。PAICar在多种典型的室内与室外环境中试验了目标追踪任务，模拟了实际应用中常见的地面变化与环境干扰因素。实验结果表明，系统通过有效结合多模态感知信息，在图示各种环境下均能够保持稳定行驶，并准确完成目标追踪任务，未出现明显偏离路径、打滑或失控等情况，展现出良好的地形适应性与控制鲁棒性。

PAICORE类脑计算芯片通过事件驱动近存计算破解能效桎梏，以SNN/ANN异构融合重塑跨形态泛化能力，借STDP增量学习赋能场景自适应，为智能机器平台提供了接近生物神经系统的感知-决策-执行一体化及持续学习能力。研究通过在具身神经智能原型机器人PAICar平台上的集成与验证，进一步展示了神经形态计算及多模态处理机制在实际物理环境中的适应性与泛化能力，为新一代具身神经智能系统的构建提供了理论基础与实践路径，从而为未来的泛机器人“大脑”设计打造“破局之脑”。

致谢：感谢国家重点研发计划“微纳电子技术”重点专项“高能效类脑器件及其智能芯片关键技术研究”（2024YFB4405500）、国家重点研发计划“战略性国际科技创新合作”重点专项“新型神经形态器件与电路研究”（2018YFE0203800）的支持。

IEEE Spectrum

《科技纵览》

官方微信公众平台

最后提一句，21ic论坛（bbs.21ic.com）正在招募原创作者，单篇文章奖励最高500元，欢迎广大网友踊跃投稿！ 点击了解活动详情

请点下【♡】给小编加鸡腿