物理 AI 的核心命题:在恰当的时间和地点运行恰当的 AI 模型
连接:随着 AI 融入互联设备,无线连接成为它们彼此之间、与网络以及云端共享数据和上下文的途径; 感知:用视觉、音频 AI DSP 和传感器融合技术实时 “看懂、听懂” 世界; 推理:依托可扩展 NPU,在几毫秒内于本地做出决策。
推理支柱:新一代 NeuPro NPU
NeuPro Nano:旨在满足资源高度受限设备中始终在线传感及入门级感知任务的需求。 NeuPro Prime:针对主流的卷积神经网络(CNN)和 Transformer 工作负载而设计。 NeuPro Max:可扩展至高级边缘 AI 应用,涵盖高分辨率感知、多模态模型、端侧智能助手、机器人技术、物理 AI 以及智能体 AI。 NeuPro Ultra:面向 AI 基础设施应用,既支持云端及数据中心内复杂大语言模型的推理,也覆盖能够提升整体 AI 系统效率的智能存储、连接及数据处理芯片。
具备更高的内存带宽和先进的内存管理机制(包括动态形状和分页 KV 缓存),能够应对更繁重的上下文以及内存密集型 Transformer 工作负载。 通过优化的 Tensor 重塑技术提高乘法累加运算(MAC)的利用率,从而充分释放计算资源效能、提升推理性能。 支持包括专家混合(Mixture-of-Experts)和线性注意力机制(Linear Attention)在内的多种前沿模型结构。 支持预量化模型,客户无需开展额外的量化和校准步骤,即可直接部署已发布的模型检查点(Checkpoints)。
连接支柱:被低估的数据命脉,稳居第一的无线 IP
结语

更多热点文章阅读
点击关注 星标我们
喜欢就奖励一个“在看”吧!