

端侧AI芯片是连接模型能力与终端产品之间的关键一环。
作者|寇雨然
编辑|王博
今年世界人工智能大会(WAIC)的展馆里,越来越多AI模型被装进了实体设备。
有的被放进一台桌面大小的Agent主机,有的进入AI PC和移动工作站,还有的藏在全息投影盒子里,驱动一个可以持续对话的数字人。
AI终端密集出现,让人隐隐感受到:端侧AI的爆发正在到来。
这一变化的确具备了重要的技术前提。云端大模型积累的训练方法和能力,正在进入参数规模更小的模型,让越来越多的任务获得了在终端运行的可能。
当模型能力进入终端可用的区间,端侧AI产业的主要矛盾也随之发生变化。过去,很多项目卡在模型“不够聪明”;现在,问题开始转向硬件能否把这些能力真正接住。模型可以压缩,但终端的空间、功耗、散热和成本却有限制。端侧AI芯片由此成为连接模型能力与终端产品之间的关键一环。
云端芯片追求的是计算能力的上限,端侧AI芯片面对的则是一台具体产品的边界。它既要扛住大模型推理、语音识别、语音合成、视觉处理、长期记忆和多Agent并发的任务压力,也要在数小时甚至全天候运行中控制温度、噪音和整机成本。
「甲子光年」认为,端侧AI的竞争,表面上比的是算力参数,真正拉开差距的,是谁能在有限功耗、有限空间和有限成本里提供更多可用的智能,并通过成熟的工具链和工程能力,把这些智能稳定地装进一台可以量产和交付的设备。
谁能真正让AI终端走出Demo,走进物理世界,谁就会掌握端侧AI的主导权。
1.AI终端从“联网调用”走向“端侧智能”

最初,AI进入个人设备最常见的方式是在原有产品里增加一个对话框。
用户打开应用,输入问题,终端把请求发到云端,再把模型生成的答案显示回来。AI能力虽然出现在屏幕上,真正的计算和记忆仍然主要发生在云端服务器。
但是今年以来,终端厂商开始展示另一种形态。
今年6月举办的GTC台北上,英伟达发布了面向Windows PC的RTX Spark。按照英伟达的设想,未来的个人电脑不再只是等待用户点击应用、输入命令,它还可以在本地运行个人智能体:读取本地文件,在不同软件之间完成任务,生成图像和视频,编写插件,并持续处理由用户交给它的一整段工作流。
为了让这些任务留在个人设备中,RTX Spark提供最高1 Petaflop AI性能和128GB统一内存,可以在本地通过Agent运行120B参数、百万token上下文的大语言模型。华硕、戴尔、惠普、联想、微软Surface和微星等厂商,也计划围绕这一平台推出轻薄笔记本和紧凑型桌面主机。
英伟达创始人、CEO黄仁勋表示:“PC 正在被重新定义。”

RTX Spark,图片来源:英伟达
类似的变化也在其他终端形态中发生。
今年3月,联想在MWC 2026展会上带来了一款概念投影仪AI Workmate,号称是一款始终在线的桌面AI助理,能够通过端侧AI模型本地处理语音控制、手势操作等。它拥有摄像头、屏幕和投影仪,可以扫描一份纸质文件,理解其中的内容,整理成笔记或演示文稿,再直接投射到墙面。
同样是在MWC 2026上,高通则把端侧AI进一步塞进了更小的设备。其发布的Snapdragon Wear Elite面向智能手表、智能眼镜和AI吊坠,希望通过专门的NPU和低功耗AI单元,在本地完成自然语音交互、情境感知和实时关键词检测。对这些需要全天佩戴的设备来说,AI必须在极其有限的电池、空间和温度条件下持续工作。
在2026 WAIC上,「甲子光年」也看到了大量AI终端设备的展示:移动工作站开始在本地处理更大的模型和专业创作任务;桌面AI主机把模型推理和Agent开发带进个人工作空间;陪伴设备和机器人则需要持续接收语音、视觉和环境信息,并保留关于用户和任务的长期状态。
这些设备看起来相差很大,但它们正在做同一件事:把原本集中在云端的部分感知、记忆、推理和执行能力,留在终端内部。
全球范围内,具备本地算力的AI终端设备也正在快速普及。Gartner行研数据显示,2026年AI PC出货量将达到约1.43亿台,占全球PC市场的55%。Counterpoint在6月发布的报告也预测具备生成式AI能力的手机将占全球智能手机出货量的45%。

具备生成式AI能力手机出货量预测,图片来源:Counterpoint
AI终端火热背后的原因也越来越具体。
一次简单问答可以容忍数据上传云端,再等待答案返回;一个长期运行的Agent却可能不断读取本地文档、调用应用、检查执行结果并重新规划。每一个环节都依赖云端,延迟、网络稳定性、数据隐私和Token成本就会随着任务链条一同累积,这就可能会产生不好的用户体验或者隐私风险。
尤其当Agent开始进入个人电脑和家庭设备,它面对的不再是抽象的公共知识,而是用户的文件、照片、会议记录、账号权限和长期记忆。数据能否留在设备内,Agent可以执行哪些操作,已经成为终端产品设计的一部分。
端侧计算由此获得了新的意义。对企业和政府客户,数据合规往往是部署决策的前提;对家庭和陪伴类产品,摄像头画面、语音记录和个人记忆天然敏感;对需要高频调用的Agent,长期支付云端Token费用也会逐渐变成一笔难以忽视的账。
不过,这并不意味着云端模型会退出。复杂、低频、需要更强推理能力的任务仍然适合交给云端,本地设备则承接高频、低延迟、隐私敏感和需要持续运行的任务。
端侧AI真正推动的,是云端与终端之间重新分工。
2.离开展台,端侧AI要算三笔账
在WAIC现场,「甲子光年」与多家AI终端厂商交流时,大家都不约而同提到了一个词——“算账”。
这些团队大多有消费电子或数码硬件的研发、生产经验,早已习惯在芯片、内存、散热、续航和整机成本之间反复权衡。对他们来说,端侧AI也要先过同一道关:模型能不能跑只是起点,真正决定产品能否成立的,是性能、功耗、体积和价格能不能同时算得过来。
AI终端厂商首先要算的是能力账。
AI终端在理想环境里完成一次问答,与在真实设备中稳定运行,是两种完全不同的考验。终端需要同时承载语言模型、语音识别、语音合成、视觉处理、长期记忆和多个Agent。
某端侧AI终端厂商负责人告诉「甲子光年」,他们遇到过多Agent并发带来的性能下降问题。单个Agent运行时,模型推理速度和交互体验都能够达到预期;但当多个Agent同时调用模型、语音和记忆模块后,不同任务开始争夺内存带宽,延迟随之上升。
峰值算力可以说明芯片在理想条件下能够达到什么水平,却很难完整反映复杂任务发生时的真实体验。模型规模、首字延迟、并发数量、上下文长度和持续运行性能,正在与TOPS一起进入终端厂商的评估表。
第二笔是工程账。
AI PC要在性能、续航和重量之间寻找平衡;桌面主机需要控制散热和噪音;移动工作站面对更大的模型和更长时间的持续负载;机器人和陪伴设备还要处理全天候待机、语音唤醒以及多模态感知。相同的芯片和模型放进不同设备,会得到完全不同的结果。
模型部署本身同样漫长。芯片要支持不同框架和算子,工具链要完成模型转换、量化和编译,系统还要兼容Windows、Linux、Android以及不同国产操作系统。进入量产后,稳定性、升级和长期维护又会成为新的工作。许多端侧团队并不缺少Demo能力,真正稀缺的是把一次演示变成可复制交付的能力。
第三笔是商业账。
端侧大模型通常意味着更大的内存、更高规格的芯片和更复杂的散热设计。尤其在今年内存价格上涨的背景下,一些产品的硬件成本可能明显增加。技术方案即使能够运行,只要新增成本无法转化为用户可以感知的价值,产品依然难以成立。
端侧AI进入产品期后,竞争单位已经从“一个模型”变成“一台完整设备”。模型能不能跑只是起点,设备能否长期工作、能否按时上市、用户是否愿意买单,共同决定一次技术尝试有没有商业生命力。
当端侧AI产业的瓶颈向硬件迁移时,一个关键问题也随之浮出水面:什么样的芯片,才能在有限功耗、空间、成本,把模型能力真正承载主并装进AI终端产品?
3.什么样的芯片可以承载AI终端的进化
一颗端侧AI芯片完成流片和发布,说明技术路径初步成立;进入不同终端、适配不同模型,并陪伴客户完成量产,才是商业落地的开始。
大模型端边AI芯片厂商后摩智能的联合创始人、产品副总裁信晓旭也在关注WAIC上的AI终端产品。这几年,后摩智能也在WAIC设置了展位,他感受到的变化是,去年找到后摩智能的客户中,有一半以上就只是“想试试”。但是今年,更多客户直接带着模型列表过来,问的问题很简单也很直接:这些模型能不能跑?性能如何?多少钱?
“准备真正把大模型装进端侧产品的客户占比在快速上升,原来不足五成,现在应该大约有八成了。”信晓旭告诉「甲子光年」。
虽然这个变化很难代表整个市场,却提供了一个来自产业上游的切面:端侧AI的客户正在减少开放式提问,开始讨论交付和成本。
在WAIC展区,聊趣智能推出的一款AI个人算力中心产品ClawHouse X1吸引了很多观众,它的外观是一个全息投影盒子,透明仓里面投影的数字人可以选择任意外形。

ClawHouse X1,图片来源:后摩智能
聊趣智能CEO黄隽实告诉「甲子光年」,今年3月,聊趣智能带着ClawHouse参加AWE(中国家电及消费电子博览会)时,这款产品还只能联网调用云端模型。当时,一些芯片厂商开始接触聊趣智能,并提出:“你们为什么不试试端侧AI芯片?”
在选择芯片的时候,黄隽实和团队发现,通用GPU算力强,软件生态成熟,但放进一台面向家庭的桌面设备后,功耗、散热和风扇噪音都会成为负担;传统NPU更省电,能够承载的模型规模和任务复杂度又难以满足ClawHouse的需求。
这也是许多端侧AI产品共同面对的选择题:算力过剩,设备可能变得笨重、昂贵;功耗足够低,模型能力又可能无法支撑真实场景。
ClawHouse团队最后选择了后摩漫界M50芯片,这款芯片是后摩智能在2025WAIC期间发布的一款专为大模型端边推理设计的新一代高能效AI芯片,依托存算一体架构,在10W功耗下就可实现160TOPS单芯片算力,可流畅运行30B至120B参数量级大模型。

WAIC 2026现场展示的后摩漫界M50,图片来源:后摩智能
黄隽实将ClawHouse选择后摩智能漫界M50芯片的原因归纳为四点:首先是算力与功耗的平衡;其次是芯片在真实模型和场景中的实际表现,而非单纯看峰值参数;第三是软件工具链的成熟度,模型适配、配置支持和开发工具能否跟上;第四是长期供货与技术路线的匹配。
存算一体是后摩智能一直在坚持的技术路线,其核心是减少计算过程中反复发生的数据搬运,它把存储和计算拉得更近,可以从架构层面降低搬运成本。落到产品中,它对应是更低的功耗、更小的散热压力以及在有限空间内承载更大模型的可能。
“AI时代,传统架构在计算上遇到了数据搬运的瓶颈,而存算一体,是为AI计算而生的高能效比的通用AI处理器。”信晓旭告诉「甲子光年」。
他将传统冯诺依曼架构与存算一体架构的差异比作“全科医生”和“专科医生”:传统架构覆盖的任务范围更广,存算一体则针对AI计算中最突出的数据搬运问题进行优化。
在信晓旭看来,后摩智能目标就是让AI终端厂商可以在一颗功耗可控的芯片上,部署“足够聪明”的模型。
而在黄隽实看来,端侧AI芯片还给终端带来了“自进化”可能。“这对本地算力的要求越来越高,如果没有端侧AI芯片去承载,挺难的。”黄隽实告诉「甲子光年」。
4.让AI终端走出Demo,走进物理世界
在被问到“用一个词概括后摩智能过去一年的变化”时,信晓旭选择了“商业落地”。
从WAIC 2025到WAIC 2026,后摩漫界M50推出的AI终端正在不断增加:长城N90 Pro尝试把本地大模型能力放进轻薄AI PC,面向会议和文档等高频办公任务;联想AI主机P7在较小体积内提供本地模型和离线推理能力;紫光等厂商的移动工作站开始加入独立端侧算力;聊趣智能ClawHouse X1则以个人算力中心和全息数字人的形态,探索持续语音交互、陪伴和Agent应用。

长城N90 Pro和联想AI主机P7,图片来源:后摩智能
信晓旭表示,端侧AI真正进入产品之后,客户对“本地智能”的要求开始变得具体。
一位AI终端厂商曾很直接地跟后摩智能提出:“如果端侧芯片只能跑能力有限的模型,最终做出来的更像一个玩具,很难解决真实问题。”对厂商来说,本地部署的前提是模型要足够聪明,端侧算力要足够,才能够承担语音、视觉、理解和执行等任务,产品才有成立的可能。
功耗则会直接决定一种产品形态能不能存在。信晓旭介绍,后摩智能接触的一些笔记本客户,对芯片功耗有明确上限:方案如果达到20W,续航、温度和散热就很难闭环。桌面陪伴设备面临的问题更直观,用户不会愿意在身边放一台持续发热、风扇不断轰鸣的机器。算力相近时,芯片能不能被压进设备允许的功耗区间,往往比峰值参数更重要。
隐私是另一条更现实的边界。后摩智能的一位客户正在开发家庭AI中心,希望把家里的摄像头和其他设备接入同一套系统,作为家庭管家使用。摄像头画面、语音记录和家庭状态如果持续上传云端,很难获得用户信任。还有客户在做面向青少年的陪伴产品,他们担心孩子在交流中无意透露家庭隐私,因此把本地部署视为产品的前提。
成本也会让已经成立的方案重新失效。内存价格上涨后,一些客户的硬件成本可能接近原来的两倍,原本能够闭环的商业模式随之被打破。到了量产阶段,芯片、内存和散热已经无法分开计算,任何一项成本明显上升,都会重新定义整台终端的售价和市场空间。
这些都是后摩智能收到的行业客户真实的反馈。
虽然这些产品的用户、尺寸和应用差异很大,但共同点是,它们都需要端侧AI芯片在有限空间和功耗内运行足够有用的模型。
一颗芯片的参数没有改变,它所处的产业阶段却变了。
去年,后摩漫界M50证明了大模型可以在本地运行;今年,它要跟随客户进入产品定义、模型适配、整机开发和上市交付。
这也是后摩智能过去一年投入较多精力的部分。针对常用开源模型,后摩智能建立了标准模型库,提前完成模型转换和优化。信晓旭称,在后摩目前接触的客户中,超过八成可以直接采用模型库中的标准模型;使用自研模型的客户,则通过工具链完成转换,并由后摩团队提供技术支持。
工具链的成熟也来自真实客户的反复使用。信晓旭告诉「甲子光年」,后摩智能早期曾按照研发团队对客户需求的理解设计工具,但真正交付后才发现,客户的使用方式与内部设想存在差距。一个客户、两个客户、更多客户不断提出问题,后摩智能再把高频问题变成标准功能、文档和知识库。
这是芯片商业化的真实状态:芯片发布之后,厂商需要补齐模型、软件、操作系统、硬件兼容和客户支持,每个细节都有可能拖慢一款终端上市。
在硬件侧,后摩智能围绕后摩漫界M50提供力擎LQ50 M.2卡、标准加速卡等形态,以适配AI PC、桌面主机、工作站和边缘设备;在软件侧,后摩大道覆盖模型优化、量化、编译和部署;在产业链侧,后摩智能还需要与CPU、操作系统、IDH、ODM和整机厂商完成兼容。

力擎LQ50 M.2卡,图片来源:后摩智能
“魔鬼都藏在细节中。”信晓旭说。
「甲子光年」认为,后摩智能之所以能让端侧AI从展台走向规模化商用,是因为具备两个方面的优势:差异化的芯片架构,决定在有限功耗和空间里能够提供多少智能;成熟的产品化工程能力,决定这些智能能否真正进入一台可以量产、交付和长期使用的设备。
不过,做好端侧AI产品只是第一步,产品做出来之后,用户是否愿意购买、是否会持续使用,最终还是需要回到场景本身。
什么是一个持续承载AI终端进化的计算底座?简单来说,它需要做到模型更强时接得住,任务更复杂时跑得稳,终端形态变化时仍然能够快速适配。
一颗端侧AI芯片真正的亮点,从来不体现在参数表上,而在它帮助多少AI终端走出Demo,走进物理世界。
(封面图来源:AI生成)

END.






