作者丨包永刚
DeepSeek的火热，不仅点燃了资本与市场的激情，也让AI推理的需求在短时间内骤然升温。需求膨胀的同时，产业内部出现了两种截然不同的判断。
“我认为未来AI推理主要在云和端侧，边缘推理的需求会越来越小。”AI芯片公司的销售晨坤认为，“因为边缘AI的性能和成本都不占优势，会是一个过渡状态。”
另一位资深芯片销售嘉铭有不一样的观点，“端侧提升AI性能，功耗和价格难以平衡，并不是一个好选择。我认为边缘AI推理的需求会持续增加。”
这种对未来格局的分歧，也折射出AI推理市场的不确定性。端、边、云的占比至今难有定论，但可以明确，在泛安防这个巨大的端侧AI推理市场，即便大模型掀起一场技术革命，格局依旧稳固。占据市场份额的公司依然处于易守难攻的位置。
然而，AI算力需求100TOPS以上的边缘推理市场，正悄然酝酿着一场变局。无论是待上市的摩尔线程、沐曦、燧原科技、天数智芯、登临科技，还是已经上市的云天励飞，或者是发布了新品的江原科技、后摩智能，都试图抢占AI推理市场的先机。
他们必须直面同一个强大的对手——英伟达4090。
“国产芯片没有一款能全面超越英伟达4090，但通过极致的性能优化，可以在特定领域实现超越英伟达4090的极致性价比。”嘉铭直言。这些特定领域包括信创、交通、能源、通信、消费等领域。
2025年的AI推理市场，是一场双重博弈，既是国产芯片对英伟达4090的一次集体围攻，也是一次攸关未来格局的关键卡位战。
谁能从中切下更大的一块蛋糕？获取更多国产AI推理芯片的信息添加作者微信 BENSONEIT 互通有无。
AI推理，边缘和端侧市场谁的空间更大？
无论是ChatGPT还是DeepSeek，当下最受关注的AI应用几乎都依赖云端AI推理。在可预见的未来，云端依然会在AI发展中扮演核心角色。但云、边、端三者究竟如何协同，业界存在明显分歧。
在深入探讨之前，有必要先明确：什么是云、边、端？在CNN（卷积神经网络）时代，如果按算力划分，小于8TOPS为端侧，小于64TOPS为边缘，大于64TOPS为云端。
然而，大模型正在重新定义端、边、云的边界。在本文中，将使用70B模型进行AI推理，单卡AI算力超过100TOPS@TF32，使用单台或少量服务器的应用视为边缘AI市场；小于10B模型的推理场景，则归入端侧市场。
“CNN时代之所以诞生边缘计算，是因为泛安防场景下，一路摄像头就需要4兆带宽。带宽不够时，就必须在边缘增加计算盒子。”晨坤说，“当前的AI推理主要以文本为主，即便未来向多模态发展，也不再需要处理实时视频流。端侧小模型（10B以内）完全可以满足识别和检测的需求。如果需要更高性能，直接调用云端AI就够了。因此，未来边缘推理的需求会逐渐下降。”
晨坤认为，随着端侧小模型能力不断提升，边缘AI在成本和性能上难以形成优势。生成式AI时代的推理需求，将主要由云端和端侧主导。
嘉铭持不同观点，在端侧大幅增加AI算力的必要性并不高，因为功耗与性价比难以兼顾。他认为，边缘AI推理的需求仍将保持快速增长。
江原科技董事长李瑛则认为，生成式AI时代的AI推理依旧会是云-边-端协同的格局。
从市场角度出发，云天励飞副总裁罗忆提出：“目前云端推理市场的绝对规模不大，但其占比正在逐步提升；相比之下，泛安防的边缘和端侧推理虽然体量巨大，但整体份额正在下降。等云端应用逐渐饱和后，端侧推理的需求或将迎来新一轮增长。”
眼下，哪种观点更为准确尚无法定论，但这并不妨碍对边缘与端侧市场格局进行判断。
传统端侧推理市场易守难攻，新兴AI应用还未爆发
在生成式AI席卷市场之前，AI推理最重要的战场，是泛安防。经历多年激烈角逐后，这一市场格局已相对稳定：华为、云天励飞、登临科技、算能科技、爱芯元智等公司各自握有优势。
“泛安防的边缘和端侧这个万亿级市场，已经非常卷，增长也很缓慢。”晨坤说。
罗忆也表示：“泛安防属于典型的存量市场。目前最大的开销是运维。在各地预算紧张的大背景下，预算首先保证运维开销，剩余资金才可能投向少量新设备。”
今年，泛安防市场仍有一些大的设备更新的项目。
“设备都有使用年限。原本计划5年更换的设备，一些地方用了8年，今年终于到了不得不更新的时候。”罗忆说，“不过各地做法不一：有的只是标清换高清，有的直接换成智能相机。从整体来看，智能摄像头的渗透率依然很低。”
那么，设备更新叠加生成式AI的浪潮，是否会撼动这个庞大的端侧AI市场？
罗忆判断，“即便今年有大额订单，由于市场格局已经固化，除非新玩家带来颠覆式创新，否则很难改变现有格局。”
泛安防端侧推理市场需求分散，芯片类型繁多，有的擅长视频编解码，有的AI能力更强。经过多年市场筛选，目前仍留在市场上的国产AI芯片公司，都已经各自分得属于自己的蛋糕。
晨坤也强调：“即便生成式AI带来一些变化，新玩家切入成本极高。”
实际上，在泛安防市场的客户目前更关注的是如何把有限的资源利用到极致。罗忆对此深有感触，“能够用有性价比的方式帮助客户完成智能化升级，做更多精细化的工作，才能留住泛安防客户。”
除了泛安防这个AI推理的大市场，生成式AI正在催生大量新应用——AI玩具、AI眼镜、AI戒指，以及基于小模型的各种智能硬件，这些潜在产品将带来新的端侧AI芯片需求。
AI芯片公司的资深市场泰玮说，“国内已有老牌芯片公司押注了这一赛道，专为7B模型设计芯片。”
与端侧相比，70B以下模型的边缘推理芯片市场更受国产厂商关注，其成长性和潜力显然更具吸引力。想要进一步探讨端侧AI添加作者微信 BENSONEIT 。
国产AI芯片围攻英伟达4090，极致性价比的战场
年初，DeepSeek的火热再次点燃了各行各业将AI引入工作流的热情。大模型一体机需求暴涨，边缘AI推理市场也随之升温。
“48G的英伟达4090，是当前边缘推理的王者。”嘉铭直言，“想让客户为国产芯片买单，就要做到超越4090的极致性价比。”
泰玮对“极致性价比”有切身感受：“我们瞄准商业市场，但商业市场的客户对成本有极致要求。他们甚至愿意用淘汰的英伟达3090、4090矿卡——这些二手GPU便宜得令人难以置信，但稳定性堪忧。我们只能靠性价比与稳定性，在这个市场与英伟达正面竞争。”
嘉铭也指出，4090确实具备性价比优势，但毕竟是消费级产品，不适合7×24小时连续运行。对于有合规要求、需要全天候运作的客户，他们可能选择英伟达L20，但使用量有限，性价比也不如4090。
国产AI芯片的优势，除了稳定性，还在于大显存和大带宽。李瑛举例：“运行满血版DeepSeek时，8卡的4090服务器需要两台，而我们产品单台就能跑满血版DeepSeek，TCO（总体拥有成本）优势明显。”
泰玮也说，“我们一张售价5000元左右的加速卡，拥有128G的大显存，运行30B量化模型速度可达20 token/s，性价比极高。”
Qwen3和DeepSeek量化模型的首字延迟和每秒Token数只是敲门砖。嘉铭强调：“如果这两个指标不够，说明TCO没有优势。但也几乎没有客户不因为这两个指标直接下单，还需要在实际场景中测试性能。”
在具体场景下做极致的软件优化，是国产AI芯片实现超越4090的关键。
嘉铭表示：“芯片落地时一般三个关键流程，编译、调精度、调性能。若是NPU等专用芯片架构，这三步每一步可能都需1–2个月，累计可能需要数月时间，GPGPU架构的芯片可大幅缩短落地时间，也降低了客户的TCO。”
李瑛认为，“若两种架构的芯片从零起步布局同一场景，GPGPU 因可依托已有的成熟生态体系，初期优势会比专用架构更突出。但随着专用架构芯片在算子库优化、软件生态构建等软件领域积累足够经验并达成成熟应用标准，且能充分满足主流业务的实际需求，GPGPU 的原有优势将大幅减弱，不再具备明显差异化特点。”
“在DeepSeek火爆之后，AI算子的种类已经锐减，这时候只要把有限的算子优化好，不仅能缩小GPGPU相比专用芯片在软件生态方面的优势，如果做好了特定场景的算子优化，还能实现相比GPGPU数倍的性价比优势。”李瑛进一步表示。
罗忆也说，“专用架构芯片虽然有专精领域，但适用场景会越来越广。”
华为Atlas 300I Duo已验证了这一点，专用架构芯片只要适配好场景，就能体现强大性价比。
因此，对于国产AI推理芯片而言，要与4090竞争，必须依靠大显存优势，同时针对客户场景和使用模型进行优化，实现极致性价比。
“国内基于英伟达5090魔改的产品，性能调试已完成，很快将推向市场。性能比4090更强，价格接近，国产芯片还能有TCO或性价比优势吗？”晨坤提出疑问。
嘉铭则保持乐观：“我相信英伟达5090将成为新一代边缘AI推理王者，但并非无懈可击。国内各家公司也在设计下一代产品，准备与5090正面竞争。”
跑马未圈地，国产边缘推理芯片的卡位战
在下一代产品尚未上市之前，国产AI推理芯片公司的当务之急，是充分发挥现有产品优势，找到合适落地的场景。
国产替代需求最迫切的信创市场，成为了国产AI芯片最容易相遇的战场。
“信创市场的规模没有想象中那么大，也没有那么容易进入。”罗忆认为，“目前信创市场的刚需主要是CPU，满足日常办公需求，AI算力的需求还相对有限。再加上各地财政预算收缩，购买AI算力和设备的意愿并不高，因此现阶段信创市场并不是AI推理芯片的理想赛道。”
李瑛对此乐观一些，“信创市场确实存在挑战，但也有机会。一方面，信创市场已经启动AI芯片测试报名，这意味着对AI算力的需求正在增长；另一方面，通过更灵活的产品形式，例如在PC上扩展加速卡，也能降低成本。”
雷峰网了解到，江原、沐曦、天数智芯都在信创市场寻找落地机会，同时积极拓展商业市场。
“医疗和能源市场也是我们重点关注的方向。”李瑛说，“医疗领域涉及大量敏感数据，这个领域的客户对替换国产芯片也有比较高的意愿。”
在罗忆看来，AI推理市场存在两个优质机会：一是互联网大厂，这些企业走在AI技术前沿，对算力需求庞大；二是各行业头部企业，这些公司也在数字化转型前沿，对AI算力有更多刚需。
“云天励飞现有的AI芯片能实现8TOPS-256TOPS算力，既能巩固泛安防存量市场，也能面向增量市场。我们同时在规划下一代产品，充分发挥后发者优势。”罗忆补充道，“作为上市公司，我们不仅有战略决心，还拥有资金和人才优势。更重要的是，过去11年公司在智能硬件、智算中心、智慧城市等多个领域积累了大量实践经验。这些宝贵的第一手资料，为芯片设计提供了明确指导。”
在泛安防市场站稳脚跟的登临科技，也将重点关注商业市场，在预算10万元左右的客户群中寻找对AI推理有实际需求的企业，比如中小企业。
走存算一体技术路线的后摩智能则瞄准不同赛道。后摩智能创始人兼CEO吴强说，“我们比较看重三个领域，一是平板和电脑这种消费终端类，这是大模型生产力工具，对AI性能有刚需。二是智能语音系统，大模型语音会议也是重点布局的一个方面。三是运营商的边缘计算，看中了5G+AI的趋势。”
吴强补充：“目前这三个方向已有早期客户。我们精力有限，先把这几块做扎实，未来只要涉及大模型和对功耗敏感的应用场景，都会逐步拓展。”
整体来看，国内AI芯片公司都在积极布局快速增长的大模型边缘AI推理市场。罗忆形象地总结：“大家现在是在跑马，但还没有真正圈地。要成功圈地，必须与大客户深度绑定。目前还没有厂商做到这一点。”
在这场AI推理的竞争中，生态合作伙伴尤其关键，其中ISV（独立软件开发商）扮演不可替代的角色。相比芯片公司，ISV更了解客户需求，也能在擅长的领域服务更多客户。
若把芯片公司和ISV的合作比作“0到1”的工作，那么芯片公司优化算子、提供高效编译器，让ISV开发解决方案，就是把AI从“1到100”实现规模化应用的过程。
这样说来，通过一家AI芯片公司的软件生态合作伙伴，不仅能了解其重点落地的领域，也能看出各家的竞争优势。
明年，切换全国产工艺的AI芯片将陆续发布，谁能在特定场景中发挥大显存和极致性价比优势，谁就有机会赢得大客户的深度绑定，也可能在端-边-云格局中抢占更有利的位置。
可以预见，国产AI芯片的“围攻战”才刚刚开始。未来，随着技术成熟、生态完善以及大模型应用的持续落地，谁能分到更大的蛋糕？关于国产AI推理芯片的更多讨论，欢迎添加作者微信 BENSONEIT 。
注：文中晨坤、嘉铭、泰玮均为化名。
