推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?

工控网 2026-08-19 16:30


当云端AI在Token计费的狂欢中一路高歌,嗅觉灵敏的玩家早已察觉到风向的转变,那便是AI的运行场景正在从云端向终端扩展,由此,本地部署大模型的诉求正变得空前炽热。这背后是一笔极其现实的经济账,既要追求数据不出域的安全感与零时延的可靠体验,更要砍掉每月看着云端Token账单肉疼的运营成本。例如,受到热捧的智能体电脑等设备,虽然市场关注度持续升高,但目前较高的成本与实际回报之间仍存在一定落差。




核心症结在于本地大模型对硬件资源的消耗极度苛刻,导致整机硬件成本居高不下。受限于高带宽存储与算力芯片的高造价,一台能顺畅跑通本地高强度推理的设备售价动辄两三万元。普通价位的低配设备固然便宜,但在运行大模型时频繁卡顿、内存爆满,高配设备性能足够,可昂贵的售价又直接拉长了投资回报周期,让大多数个人与团队望而却步。




这种性能与成本难以兼顾的尴尬困局,本质上是因为高负荷推理对存算资源的极度消耗,在整机构建成本层面被成倍放大。如果不从底层降低硬件构建门槛,端侧AI就只能局限在少数高预算场景,无法真正普及。


01

碎片化需求与存储墙交织

传统标准化硬件分发模式难以为继


理解端侧AI硬件成本居高不下的原因,首先需要看到端侧应用场景极高的碎片化特征。智能体电脑等端侧AI市场正在迎来传统PC厂商、芯片巨头等各路玩家的集中涌入,推动着场景与终端形态向千人千面演进。与数据中心或通用PC的标准架构不同,端侧AI涵盖了AI Box、AI PC以及各类嵌入式终端。不同场景对计算负荷、机身物理尺寸、散热条件、运行功耗以及成本敏感度的要求截然不同,这导致依赖标准化存储器件进行通用供给与大规模销售的传统模式难以为继


推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图1

在技术层面,端侧设备面临着比云端更为严苛的“存储墙”与“功耗墙”双重考验。大模型推理对内存带宽与容量极其敏感,但在物理空间和散热受限的端侧设备上,单纯通过堆叠高规格物理内存来换取性能,不仅会引发整机成本的急剧上升,还会带来严重的功耗与发热降频问题。


这种需求与技术双重碎片化的困局,推动存储产业从单纯的硬件器件供应商,向具备软硬件深度协同能力的存储Foundry全栈定制模式转变。


推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图2

正如江波龙首席科学家陈健博士在FMS 2026上所指出的,过去数十年,存储技术的进步极大地降低了单位容量成本。但在端侧AI时代,单纯依靠标准存储器件的通用供给,已无法同时满足不同终端形态在算力、功耗、体积和成本上的差异化需求。从芯片设计、固件开发、硬件设计,到封装测试和制造,存储企业需要具备全栈式的研发与工业化能力,才能深入到算力平台与算法底层,提供定制化的软硬协同解法。由此,才能从整机层面消除冗余配置,从根本上降本增效。

推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图3


02

深入三大端侧场景

江波龙疏通性能与成本的卡点


在具体的工程落地中江波龙全栈定制的研发思路正在通过一系列针对性架构,逐一解开不同端侧场景下的性能与成本矛盾。


智能体主机与开发者平台场景中,本地大模型部署与离线AI运算等高负荷刚需,对存储系统的综合吞吐与长时稳定性提出了极高要求。高性能固态硬盘在长时间高负载运行下容易面临功耗增加和散热压力,进而影响持续性能表现,其内存也难以承载大规模模型推理过程中不断增长的KV Cache数据。


推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图4


江波龙此前在FMS现场展示的智能体主机全程实机公开演示,可以看到端侧设备的验证标准正在转向高负荷长时运行的真实生产力考验。针对122B、397B等大参数模型本地部署过程中出现的内存吞吐不足与交互卡顿问题,江波龙联合AMD深度调优推出的插拔式高带宽内存AIDIMM™,结合iSA™存储智能体与AI SSD方案,提供了一套系统化解法。具体而言,AIDIMM™采用4颗LPDDR5x颗粒同面布局,原生256bit位宽提供307.2GB/s的峰值带宽,在保留易插拔维保特性的同时兼容主流主板架构。


在软件调度层面,iSA™存储智能体通过智能数据调度机制,将部分模型缓存数据迁移至高速存储空间,从而降低系统对物理内存容量的依赖。实测表明,通过存储调度优化,系统能够显著降低运行大模型时的内存占用需求,在较低DRAM配置下支持更大规模模型部署,无需客户大幅改动主板设计,降低了设备构建与运维门槛。


对于AI Box而言,这类设备作为集成了AI处理能力与边缘计算功能的紧凑型硬件,核心作用是将算力下沉至设备端,在数据源头直接运行算法,实现数据的本地化处理,降低数据传输延迟,实现本地快速响应,提升数据安全性。然而,AI Box的机身物理空间极其紧凑,传统存储器件在受限体积下很难兼顾高吞吐与低发热,高负荷推理极易引发散热与功耗瓶颈。通过AIDIMM™高带宽内存与iSA™存储智能体的软硬联动,AI Box得以在不改变极紧凑形态的前提下,平滑承载边缘大模型的推理需求,打通了边缘算力落地的最后一公里。


在AI PC中,核心挑战在于高负荷下的功耗控制与物理存储空间占用。PCIe Gen5 SSD高速运行时的剧烈发热与高功耗极易引发系统降频,同时大模型文件也会迅速挤占有限的硬盘空间。搭载江波龙自研5nm SPU™存储处理单元的PCIe Gen5 SSD,通过主控芯片层面的优化,在实现14.8GB/s读取性能、13GB/s 写入性能的同时改善了高功耗接口的发热表现。同时,SPU™内置存内无损压缩技术,在不占用CPU和内存资源的前提下实现数据2:1无损压缩,在不增加物理容量的情况下提升有效存储空间利用率,为AI PC的规模化量产提供支撑。

推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图5


在AI Mobile及嵌入式终端场景中,核心挑战在于低配硬件下的多任务流畅度与BOM成本控制。移动终端受限于物理空间无法搭载大容量DRAM,运行移动端大模型时易发生卡顿且后台应用保活率低。通过HLCache™ UFS高级缓存技术,系统基于自研主控芯片将低频访问的数据动态迁移至UFS闪存,分担物理内存负担。在江波龙测试场景中,4GB DRAM终端后台App保活数量提升64%多任务切换流畅度接近常规6GB至8GB配置水平,使中低端移动设备能够平滑运行中轻量级的移动大模型,有效降低了整机BOM成本。

推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图6


同时,江波龙还带来了面向嵌入式AI推理终端、便携智能设备打造的专用高带宽内存产品AILPBGA™,采用采用22×22mm的BGA1764紧凑封装,原生搭载256bit超高位宽,单颗峰值带宽可达307GB/s,具备高效能、低功耗、高稳定、易适配的核心优势,解决嵌入式终端AI算力不足、体积受限、功耗过高的核心痛点。

推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图7


03

从技术定制到全球交付

江波龙构建端侧AI综合应用落地


端侧AI的商业化落地绝非可以独力完成的工程,底层算力、存储架构、算法框架与整机制造之间的协同创新构成了技术转化的底座。以江波龙与AMD、六联智能针对智能体主机以及开发者平台的联合调优为例,这种将底层算力平台、硬件设计与存储调度算法深度绑定的做法,消除了软硬件之间的适配壁垒,让算力能够以更高效率输出。


与此同时,技术的商业化最终必须落实到稳定、高品质的全球化交付能力上。对于硬件终端厂商而言,供应链稳定性与采购成本直接决定了市场竞争力的持续性。面对端侧AI存储对高吞吐与散热的苛刻要求,传统PCBA贴片组装模式在效率、成本、质量上已较难满足需求。江波龙依托苏州封测制造基地的SiP系统级集成封装技术,将主控芯片、闪存芯片、电源管理芯片及被动元器件高度集成于单一封装体内,打造创新SSD形态——mSSD高速存储介质。这种集成封装技术不仅实现了焊点降至零个的结构突破,更提升了散热与长效高性能释放。


推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图8


目前,这套创新方案已在客户端实际应用中得到充分验证。随着产线工艺优化与产能爬坡的完成,江波龙已建成mSSD月产能百万级稳定交付能力,并与联想、华硕等行业知名客户展开深度合作。配合自研技术、Lexar雷克沙的消费级品牌渠道以及全资子品牌Zilia在海外建立的封测与制造基地,江波龙正在搭建起海内外双循环的交付网络。这种百万级规模化量产与本地化封测制造的深度结合,能够在保障终端大厂长效稳定供货的同时,进一步缩短采购周期、降低物流与采购成本,最终完成端侧AI从技术定制到商业落地的闭环。


04

结语

推动端侧AI走向普惠


计算产业的发展历史表明,一项技术的普惠从不取决于概念的热度,而在于其能否以符合商业逻辑的成本进入真实的生产力场景。当前端侧AI硬件所经历的成本与体验磨合,是产业走向成熟的必经阶段。


从标准化硬件售卖转向全栈定制的存储Foundry模式,江波龙通过架构创新、软硬协同调度与先进封测制造的结合,引领行业逐步找到解开硬件成本死结的清晰路径。随着存算协同生态的持续完善与交付成本的不断下探,更具成本效益与实用价值的端侧AI设备将加快普及步伐,真正成为赋能千行百业重构生产力的基础设施。

推动端侧AI走向普惠,算力之外如何解开硬件成本的死结?图9

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI
more
带摄像头的 AirPods 不叫 Ultra 了,命名指向 AirPods Pro 4
全球最大线上书店,正悄悄为 AI「焚书」
亮点展品 |【水晶光电】一站式光学解决方案广泛应用于消费电子及车载光电、AR光学及AI光学等领域
谷歌1000万美元购买航空公司数据,用于AI学习
这届“WRC必看”:全栈AI、20+超难家务,8.99万带回家
嵌入式AI边缘计算、机器视觉与RAG实战的全链路工程实践
米家正式进军欧洲,宇树科技上市首日股价收涨460%,我国首个针对AI客服的国标将发布,三星或上调芯片代工价格,这就是今天的其他大新闻!
Spellcaster想用AI把“做游戏”这件事,还给每一个普通人
快手程一笑:AI驱动短剧供给爆发,日均曝光破2.3亿
瑞萨电子携具身智能全链路方案,亮相EAI Show 2026
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号