当智算变局到来,我们该如何 “用对” 算力?| GAIR Live

AI科技评论 2025-09-28 17:08
当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图1


卡脖子的不是模型,是“用不对”的算力。


作者丨岑峰

编辑丨陈彩娴

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图2

2025 年的 AI 圈,终于从 “大模型崇拜” 走进了 “应用现实主义”。

当百度文心、阿里通义、腾讯混元等基础模型的参数竞赛告一段落,当 “百模大战” 变成 “百业应用”,企业们突然发现:曾经被当作 “基建” 的算力,成了应用落地的 “胜负手”—— 不是没有算力,而是找不到 “刚好能用” 的算力;不是算力不够,而是 “用不对地方” 的算力在浪费;不是买不起算力,而是 “不会用算力” 的成本在吞噬利润。

而 Oracle 与 OpenAI 签下 3000 亿美元的算力大单同样是行业变化的风向标:这不是简单的 “卖算力”,而是 “生态绑定”:OpenAI 需要 Oracle 的超大规模算力集群支撑 GPT-5 的训练与推理,Oracle 则通过绑定头部模型公司锁定未来十年的算力需求。这反映了全球算力市场的两个核心趋势:

其一是 “算力需求从集中走向爆发” 。大模型训练需要巨量算力(GPT-5 的训练算力是 GPT-3 的 10 倍),而多模态、Agent(智能体)等应用的推理算力更是指数级增长。比如一个直播 AI 中控,要同时处理视频流、语音识别、观众互动,其推理算力消耗是普通文本模型的 5 倍;

其次, “算力供给从规模化走向定制化” 。市场需要的,不是 “通用算力”,而是 “匹配模型需求的算力”:比如 NVIDIA 的 H20 芯片,因高显存(80GB)、低功耗(350W)成了 “推理圣体”,而国产芯片如华为昇腾 950,因支持 FP8 精度,在短视频推理场景下性价比超过 H100。

回到国内,我们有世界第二大的计算规模(788 百亿亿次每秒),有 200 多个超算 / 智算中心,但供需错配 、技术错配 、模式错配、认知错配的痛点,正在给智算市场带来新的机会和挑战。

正是在这样的背景下,雷峰网 GAIR Live 于 9 月 18 日推出 “算力变革下的生存之道” 主题论坛。三位 “起而行之” 的实践者,善思开悟四川分公司 CEO、AGI 产品负责人余溢、超云方案与生态部总经理张春雨、矩向科技 CEO黄朝波进行了分享。

这场讨论没有 “高大上” 的技术名词,只有 “接地气” 的问题:

这些问题,不是 “理论问题”,而是 “生存问题”—— 当大模型的 “技术红利” 消失,剩下的就是 “算力效率” 的比拼:谁能把算力用对地方,谁能把算力成本降下来,谁能把算力与应用绑定,谁就能在应用爆发期活下来。

在这次分享中,三位嘉宾从各自的实践出发,没有讲 “应该怎样”,而是讲 “正在怎样”—— 他们的判断,是算力市场从 “混乱” 走向 “有序” 的关键线索;他们的经验,是 AI 应用从 “实验室” 走向 “产业” 的实用指南。如果你是模型公司的 CTO,想找 “性价比最高的算力”;如果你是算力厂商的 CEO,想破 “同质化竞争” 的局;如果你是应用公司的创业者,想 “用算力降本增效”,三位嘉宾会给你最直接的答案。

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图4

以下是此次圆桌讨论的精彩分享,AI 科技评论进行了不改原意的编辑整理:

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图5

01

AI 算力市场的变革

岑峰:大家晚上好!我是雷峰网的岑峰。上周,Oracle 与 OpenAI 签下了3000亿美元的算力大单,这不仅标志着 AI 算力需求的大爆发,也预示着全球计算市场的深刻变革。从技术路径到产业布局,再到供需关系和竞争规则,一切都在重构。

与此同时,我国的计算规模已达788百亿亿次每秒(788 EFLOPS),拥有200多个计算中心,但同时也面临诸多挑战。因此,我们今天将围绕算力供给、模型研发和应用落地等多个方面,探讨如何在计算变革中找到生存之道。

今晚,我们有幸邀请到三位嘉宾:善思开悟四川分公司 CEO、AGI 产品负责人余溢、超云方案与生态部总经理张春雨、矩向科技 CEO 黄潮波。我们期待今晚能进行一场深入的讨论。

首先,让我们请三位嘉宾分别介绍一下自己和他们的公司。

余溢:大家好,我是余溢。这是我的第一次创业,之前在阿里和字节主要从事国际支付合规与反洗钱业务,2023年我才开始进入智算领域。我们公司“善思开悟”致力于提供一站式 AI 解决方案,主要有三条业务线,首先是算力业务,在雅安建有西南地区规模最大的超算中心,并提供超算和智算的租赁等服务;第二个是数据业务, 拥有独立团队负责数据基站的数据标注服务;第三则是AI应用业务,由我负责的四川公司和 AGI 团队,专注于“AI +行业解决方案”的应用落地。我们的生态位覆盖了从基础设施到下游应用的各个环节。

张春雨:大家好,我是张春雨。我目前在超云负责解决方案和生态合作工作,整个工作经历都在算力相关厂商,曾任职于浪潮信息、H3C 等。

超云公司全称是超云数字技术集团有限公司,公司成立于2010年,是中国电子 CEC 和云基地联合注资成立的国家高新技术企业、工信部专精特新“小巨人”企业,超云专注于数据中心产品及服务;产品覆盖加速计算、通用计算、信创及私有云等领域,可帮助客户快速构建 AIDC 算力基座;依托北京、南京、广深三大研发中心及全国营销技术服务体系,服务于互联网、金融、电信、制造、教育、能源及公共服务等多个行业。

黄朝波:大家好,我是黄朝波。我个人以前是做算力芯片的,做的是 CPU 芯片研发,也曾在公有云公司优刻得负责底层软件协同创新。因此,我们的核心技术优势在于既懂软件又懂硬件,擅长底层的软硬件协同创新。

我们将这一技术体系凝练为“融合计算”,包含三个维度:计算架构的异构融合、软硬件堆栈的融合,以及云边端的平行扩展融合。我们的理念是“授人以渔”,不直接做算力云,而是将这些技术赋能给合作伙伴,帮助他们以低门槛、专业化的方式建立自己的智算云。我们的目标是协助国内涌现几十家甚至更多的专业智算云公司。

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图6

02

洞察市场变局

岑峰:我们都看到了 Oracle 和 Open AI 的大单,这背后不仅有算力需求的爆发,还有云厂商和大模型公司之间更深层次的一个战略绑定和生态合作。我想请三位从各自的专业角度出发去解读这样的一种超级大单的一个现象,他会可能产生怎样的一些机会和挑战?余总,您认为这种变化趋势的根源是什么?

余溢: 核心矛盾在于结构性失衡,机遇挑战并存

余溢: 我认为这个问题本质上是供需关系的不匹配。2023年,国内算力市场曾处于供不应求的状态,促使企业和国家大量超前建设算力;然而到了2024至2025年,供应在局部地区大于了需求,但头部模型厂商和大型企业仍然面临算力紧缺的问题。

这背后有一个关键认知:算力不是电力,它不是一个通用的指标。不同的设备(GPU的算力( TFlops ), 显存大小, 显卡带宽, 机器内卡间连接方式,机器间连接方式等)规格各异,导致算力无法像普通商品一样自由流通。这就好比钢铁,有普通生铁,也有高精尖的特种钢,用途和价值完全不同。

我认为,虽然局部供需错配依然存在,但整体乱象正在趋于缓解。我的判断基于三点:需求方、供给方和政策导向。

首先,从需求端看,训练和推理需求都非常旺盛。大模型参数量越来越大,对算力的需求不断“堆高”。同时,多模态和 Agent(智能体)应用的爆发,导致推理任务的计算量激增,算力消耗未来会越来越大。尽管像 DeepSeek 这样的稀疏模型提高了算力利用率,但总体需求仍然呈上升趋势。

其次,从供给端看,国产化芯片正在发挥作用。过去,国产芯片在基础模型训练上难以与 NVIDIA 竞争,但在以推理为主的应用趋势下,其性能不断优化,获得了很好的利用。这让部分原本闲置的国产算力得到了有效消耗。同时,服务器和芯片的消耗量证明整体供给是有人买单的。

最后,政策导向也起到了关键作用。政府及时进行窗口指导,治理了许多乱象,鼓励企业先有需求再进行建设,而不是盲目地先建设再找客户。这有效减少了套取补贴等行为。

总的来说,过去那些闲置的中小型算力池,特别是国产算力,在推理任务的爆发中得到了很好的利用。与要求严苛的训练任务不同,推理对算力的要求相对更灵活。这一变化让许多闲散的算力资源得到了盘活,缓解了市场的错配问题。

岑峰:谢谢余总,余总之前曾用“大炼钢铁”来形容计算中心的建设,现在国家的政策也在促进合作,这与 Oracle 和 Open AI 的生态合作方向是一致的。在国产芯片算力得到更好应用的新供需局势下,您认为会带来哪些新的挑战和机遇呢?

余溢:我认为这是一个机遇与挑战并存的局面,主要体现在两个方面:生态建设和技术创新。

首先是生态建设。对国产芯片企业来说,这是一个绝佳的时机。目前,市场对推理算力的旺盛需求正推动它们快速完善生态、提升技术和服务。许多国产芯片公司正积极上市,市场前景一片看好。但生态建设的护城河很高,就像 NVIDIA 一样,即便是其新卡发布后,生态兼容性也需要时间去完善。

对国内企业而言,这是一个挑战,但更是机遇。有了市场的需求,就会有更多企业去实践、去“踩坑”,从而形成解决问题的经验,逐步建立起自己的生态。值得一提的是,一些头部国产芯片企业也开始放弃纯自研,转而兼容 NVIDIA 的生态,这说明“开放”是发展正道,通过兼容带动整个上下游共同发展。

此外,技术创新也带来了新机遇。

我觉得未来仅仅比较 GPU 的算力值,也就是多少 PFLOPs ,意义真的不大了。像A100和4090,如果只论纯 GPU 算力它们差不多,但A100有 Nvlink 和 80GB 显存,这使其能用于训练大型模型,这是4090无法比拟的。算力并不是简单地把不同的卡堆叠起来就能解决问题,也不能强行将不同型号的卡统一处理任务。最终我们还是要看整体算力的利用率。

现在,随着推理业务的爆发,我们看到了一个有趣的现象。当前主流模型,比如基于MoE(Mixture of Experts)稀疏架构的模型,像 DeepSeek 或千问,虽然其基座模型的总参数量可能达到万亿级别,但在单次推理时,并非所有参数都会被激活。推理一个300B的模型,可能实际只使用了30B的参数,相当于只激活了十分之一的专家。这意味着对算力的实际消耗变少了,但对显存的需求却大大增加了,因为所有专家选择的逻辑都需要存储在显存中。

这种变化带来了一个重要机会:GPU 的显存利用率变得至关重要,而纯算力可能出现冗余。这就是为什么现在做推理时,24GB 或 48GB 显存的4090,甚至一些魔改芯片,会非常好用——只要能把显存放大,就能发挥很好的效果。

因此,对于国产芯片而言,这是一个巨大的机会。我们需要发展能够提高显存容量,并能更好地满足推理需求的芯片。同时,对于现有计算中心而言,那些相对老旧的A系列或三零系列设备,如果直接淘汰将是巨大的浪费。但如果将它们重新利用,投入到推理项目中,可以大大提升现有资源的利用率,这是一个很好的老旧设备重利用机会。

最后,从运营模式上看,传统的粗放式运营,即一个项目就将整套裸金属资源包给一两个大客户的方式,在当前市场下可能不再有效。未来的趋势是,计算中心,特别是作为第三方平台时,需要有能力将一个大的算力集群更精细化地切分和调度,去服务大量中小型、长尾客户,特别是那些做垂直领域或小型模型的企业。这种精细化的运营模式将能更好地匹配多样化的算力需求,也是一个重要的市场机会。

岑峰: 余总作为 AGI 应用的专家,刚才更多是从模型公司的需求以及算力提供方的角度,探讨了双方的互相促进。您认为在共建生态的整体趋势下,未来的模型公司和算力提供方之间,如何才能实现共赢?

余溢: 这个问题很有意思,因为这意味着目前双方可能并未完全达到共赢状态。我认为核心原因在于,当前市场供需匹配存在结构性失衡:只有少数几家头部模型公司对大量算力有需求,但算力供应商却有上千家。这些供应商提供的服务相对同质化,都是标准化的设备、组网和合同,最终导致的结果就是大家陷入了纯粹的价格竞争,价格被压得很低。

要实现共赢,首先自然需要市场自身的调节。这并非一个特许经营市场,价格最终会回归价值,市场会进行分流和淘汰。对模型厂商而言,尤其是一些非头部企业,他们的资金多来源于融资,因此会非常谨慎地寻求最低成本的算力。他们自己也还在摸索盈利模式,所以对价格敏感度极高。

在这种环境下,算力提供方需要大幅提升自身竞争力。仅仅提供同质化服务是行不通的。一些能将价格压得很低的竞争者,往往是通过“羊毛出在猪身上”的逻辑来盈利,例如通过二级市场获利、获取政府补贴、争取绿电指标,或从其他合作项目中获得收益,这些都在经济合理范围内。所以,提升自身竞争力的核心在于优化效率,避免纯粹的同质化服务。

此外,我们已经看到一些外部因素正在引导市场进行健康分流。例如,政府的“窗口指导意见”,明确要求在没有下游消纳方的情况下,不得超前建设。这本质上是为了打造更健康的产业链,避免盲目投资。那些没有明确下游需求而超前建设的供应商将逐步退出。同时,那些自身运营效率低、缺乏资金优势的供应商,也将被市场淘汰或转向服务长尾客户。

另一个重要的共赢路径是,算力持有方应积极开辟“第二曲线”。举例来说,有些大厂既是算力需求方也是提供方,在投资其他模型公司时,会把算力作为投资款的重要组成部分,这是一种非常良性的投资方式。有能力的算力服务商也可以借鉴,将算力作为投资,投向与自身下游相关的初创企业。这需要一定的投资能力和对AI应用的理解力,但无疑是提升竞争力和开辟新增长点的有效方式。

最后,宏观调控也将持续发挥作用。早期我们看到了对算力建设的大力支持,但当出现乱象后,政策迅速收紧。未来,可以期待更多宏观调控政策出台,对市场进行进一步规范。对于模型买方,目前期望他们主动改变现状可能不现实,但一个明显的趋势是,国产化替代会越来越强劲。无论是拥有自研芯片的大厂倾向于内采,还是政府政策的积极鼓励,都在推动整个行业向国产化方向迈进。

张春雨: 服务商的综合服务能力越来越重要

岑峰:张总,像 Oracle 和 OpenAI 这样大单的算力合作,您认为会给国内智算力市场带来怎样的冲击或者说影响?

张春雨:我认为影响比较有限,国内市场会按自己的节奏走。虽然国外市场是全球风向标,英伟达曾引导“算力规模决定模型质量”的理念,但 DeepSeek 出现后,这一观点已出现多元化路线。

尽管国外投资规模庞大,国内也在大力投入,如阿里三年投资3800亿人民币,腾讯、字节等也有相当规模的投入。重要的是,国内的建设节奏已受政策引导。年初的“窗口指导”正是针对此前算力摸底中发现的盲目、小规模建设导致的严重浪费。

现在国家正引导算力建设向八大枢纽、十大集群集中,并对规模、地点和参与方进行规范。因此,国外的大单更多是揭示未来算力趋势,对国内具体路径的影响有限。

前面余总也提到,目前国内算力建设已经更加谨慎。过去为争指标而盲目建设的现象减少,取而代之的是“先有客户再建设”的模式,甚至采取轻量化运营,积极利用闲散算力。从具体市场看,今年训练侧的建设明显放缓,项目减少且大项目决策周期拉长。但在推理侧,采购需求依然旺盛,尤其互联网客户对 RTX 50系显卡等消费级算力需求量大,许多头部算力提供商也通过间接方式服务互联网行业。

岑峰:刚才您提到了算力需求的改变,现在市场用户在寻找计算中心资源时,最关心的核心要素是什么?未来计算中心在技术架构和商业模式上可能出现怎样的演变?

张春雨: 目前来看,整个市场仍处于一个供大于求的阶段,这一点从高端 GPU 甚至整机价格的下降就能看出来。因此,客户在选择算力资源时,首先关注的肯定是价格,特别是对于那些两三年以上的长期合作订单,价格因素至关重要。

在价格之外,客户现在非常看重服务商的综合服务能力。因为可选的算力资源实在太多了,他们会仔细考量你的技术与服务水平,以及提供的算力类型。例如,H系列是当前主流,B 系列是未来趋势,而 A 系列(A100/A800)由于不支持 FP8 ,在运行 DeepSeek 这类新型模型时,性价比已大幅降低。

同时算力规模也决定了客户的选择意愿,能够匹配客户所需的大规模算力通常更具吸引力。此外,服务商过往的案例和口碑,尤其是在大模型服务方面的经验,也是客户评估的重要依据。最后,上线周期虽然不像2023年那样,当时“时间就是竞争力”的概念非常突出,但现在大客户仍要求服务商能根据他们的特定配置需求(如网卡、内存、组网、存储等)进行快速调整和部署。

这种供大于求的局面,也让一些中小型的算力服务商面临严峻挑战。他们多数是在前几年风口期入场,如今设备高价购入,却只能低价出租,加上服务能力跟不上,很多都陷入困境,不得不转让设备。

从技术架构的角度看,我认为未来有几个趋势。首先,训练和推理之间芯片的界限正变得模糊。虽然理论上芯片有侧重,但实际应用中更多是考虑性价比。例如,英伟达的 H20 芯片,虽然是 H100 的“阉割版”,但因其独特的显存配置,被业界誉为“推理圣体”,在处理 DeepSeek 这类模型时表现卓越,性价比甚至高于 H100 或 H200 进行推理。

其次,未来计算中心将是多元异构的。尽管在未来两三年内,英伟达仍将占据主导地位,但国产芯片,如华为新发布的昇腾950,以及寒武纪、昆仑芯等,正迎来“百花齐放”的局面。新建的计算中心必须具备统一纳管和调度包括英伟达和国产芯片在内的多种算力资源的能力。

第三,一站式服务将成为重要方向。许多垂类行业的小型企业,缺乏自行预训练大型模型的能力,他们更需要一个直接的结果。因此,计算中心需要提供“算力+平台+开发服务”的整体解决方案,形成类似“AI工厂”的模式,帮助客户基于开源模型进行微调,实现特定场景的应用。

最后,智能化运维将变得至关重要。目前H系列产品在高负载下故障率较高,维修通道不畅且成本昂贵,这催生了一个庞大的维修市场。未来的技术设计必须充分考虑运维需求,包括对温湿度、故障率的监控告警,以及处理时效性等。

在商业模式方面,也有明显的转变。简单提供裸金属租赁的模式已经很难盈利,因为设备降价快、租金持续走低、闲置率居高不下。未来将转向更精细化、灵活的计费方式,如按卡、按 PFLOPs 、按时长、按利用率,甚至按 TOKEN 进行租赁。同时,从原来的独享模式转向共享模式,以提升资源利用率和整体收益。

至于算力网的概念,我个人与黄总的看法一致,并不认为简单地将所有算力拉通就能解决效率问题。因为不同服务商的算力类型、规模、网络带宽、甚至应用成熟度都差异巨大。算力网络可以解决互联互通,但无法弥补这种本质上的能力差异。

余溢: 我也想说一下我对“算力网”的看法。我一直觉得这个概念在现阶段更像是人为创造的。因为它目前无法做到让不同型号的机器协同完成一个任务。你可以把同一型号的机器连在一起,让它们共同完成一件事,但你不能把不同型号的机器连在一起,因为它们只能处理不同的任务,无法形成一个统一的整体。

张春雨: 算力网这个理念是好的,未来,随着分布式训练或推理技术的发展,当网络延迟不再是主要问题,并且调度层能够屏蔽底层不同算力的差异时,我认为实现这个目标是有可能的。但就目前来看,仅靠接入一个网络并不能彻底解决算力消纳的问题,这在现阶段还不太现实。

黄朝波: 卷创新、卷模式、卷资源整合

岑峰:听了张总的解释,我感觉现在的计算市场有点像十年前的云计算,大家都在思考如何更好地组织和调度算力,而不是简单地堆砌资源。黄总,您之前曾提到,计算中心会经历一个“打时间差”的阶段,最终会走向类似“综合计算”的模式。刚才余总也提到,一些大厂会要求算力提供方提供标准化的服务。我想请教您,驱动这种“内卷”的核心因素是什么?这种趋势对于产业链,特别是中小企业,又意味着什么?

黄朝波:首先,我更愿意用“综合计算”来代替“通算”,因为它不仅涵盖了通用的 CPU 计算,更将智算、超算、甚至是未来的量子计算和类脑计算都统筹进来。算力作为基础设施,需要赋能千行百业,这就决定了它必须是一个综合计算的过程。

至于您提到的“内卷”,其核心原因在于算力生产方的话语权较弱。智算中心只是最基础的算力资源提供者,而云计算平台会在这个基础上进行多层增值,包括封装成算力服务、模型和数据,以及最终的业务解决方案。这些增值环节与业务结合紧密,利润也更高。但同时,它们要求智算中心提供相对标准化的产品,这就导致智算中心在竞争中处于不利地位,大家只能通过价格来“内卷”。

对于产业链上的中小企业来说,我认为这既是挑战也是机遇。许多企业目前的“内卷”停留在低层次,比如拼价格、拼谁的毛利更低。我认为我们应该转向更高层次的“内卷”,去卷创新、卷模式、卷资源整合。

同时,很多中小企业都试图进行“垂直整合”,从底层算力到上层应用全链条都自己搞定。实际上,这种模式只有大厂才有能力做到。对于中小企业而言,更明智的做法是聚焦。在软硬件堆栈的某个薄弱环节上,将其做到极致,然后把规模做大,这可能是提升竞争力的关键。

岑峰: 刚才三位都提到了,未来长期来看算力会变得更加充裕,而如何提供差异化服务来获得客户会成为关键。我想请教黄总,在未来的计算产业链中,谁会占据更好的生态位?是掌握算力资源的计算中心,还是掌握算法和模型的厂商,又或者是掌握应用和客户的第三方服务商?

黄朝波: 我认为首先可以排除智算中心。它位于产业链最上游,难以控制局面,只能深陷价格战,而且属于重资产投入,可能更适合政府、央企和国企来做。

至于模型、算法厂商和掌握应用、客户的第三方服务商,我认为最终有价值的形态会介于两者之间。模型和算法本身只是工具,它必须落地到具体的行业和业务场景中才能产生价值。所以,模型公司最终一定会聚焦在自己更擅长、更有客户资源的特定行业和场景。

而对于掌握应用和客户的第三方企业来说,面向普通消费者的(To C)市场竞争激烈,很难形成差异化。而面向企业的(To B)市场则会面临大量定制化需求,如果只是停留在上层应用,很容易变得业务分散,营收也难以做大。

所以,无论是从模型算法厂商,还是从应用服务商,最终都会向中间靠拢,形成一种面向特定行业和特定场景的解决方案提供商。这种形态融合了模型算法的能力和应用落地的经验,从而在产业链中占据更有价值的生态位。

岑峰:黄总刚才提到了“综合计算”这个概念,因为未来的各行各业都会有相应的计算需求。您认为对于想进入计算赛道的玩家来说,是建立服务各行各业的综合计算能力更重要,还是专注于某个领域做精做专更重要?

黄朝波:我认为,现在再花大力气去做那些基础的智算建设,意义已经不大了。因为大厂在这方面已经做得非常成熟,我们很难超越。

对于中小企业来说,真正的机会在于聚焦在业务赋能和场景赋能上,也就是我们常说的“最后一公里”或“最后五公里”。换句话说,就是去做行业专属云或领域专属云。

至于这些企业如何获取 MaaS、PaaS、IaaS 等基础服务能力,我认为有两种方式:一是自己投入研发;二是与像我们这样的厂商合作。我们会提供底层能力,让他们能够专注于业务场景的赋能。这样做不仅能降低成本,还能帮助他们快速聚焦在核心价值上。在 AI 快速发展的背景下,底层的技术各家都是重复的,没必要自己去面面俱到,把精力集中在最能创造价值的环节,才是中小企业的生存之道。

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图7

03

破局:企业路径与实践

岑峰:我们刚才讨论了市场的挑战,现在我想把话题拉回到各位嘉宾所在的企业。接下来,请三位分享一下,在各自的领域,你们是如何定义和构建自己的破局路径的?最好能结合公司正在做的具体实践来谈一谈。

余溢: 我们善思的 AGI 业务,核心概念是“AI+行业”。虽然我们团队规模很小,但项目覆盖 B端、G端 和 C端,做得事情还挺多的。

我们认为,未来的 AI 应用应该聚焦在很垂直、很细分的领域。我们的方法论是让专业的人做专业的事:我们只负责技术,然后深度绑定行业内的合作伙伴。他们有充足的行业知识、痛点和数据,而我们则提供技术能力,共同开发垂类应用,真正把这个行业的需求吃透。

举个例子,我们做了一款叫做“直播 AI 中控”的应用。它能用 AI 替代直播间里除了主播以外的所有人工,帮助品牌方在不影响 GMV 的情况下,大幅节省人力成本。一个直播间的中控人员一个月成本可能就要上万,一年就是几十万。我们的产品就是为他们节省了这笔开支,甚至提供了很多小工具来提高整体运营效率。

再比如为政企类客户做会议纪要产品时,我们通过技术与体验的结合让工具更好用:服务上,支持租赁式内网部署,满足安全性、合规性要求;技术上,融合语音识别、语义分析、历史文件调用、上下文理解、本地知识库对接等多模型能力;交互上,打造类 Agent 的便捷操作界面,贴合客户日常使用习惯 —— 让模型从 “难用的技术” 变成 “顺手的工具”。

在这里,我们并不追求使用多高级的大模型,而是始终把为客户交付真实价值放在首位。大模型只是我们众多技术手段中的一个工具。在那个直播项目中,我们用到了传统的算法、机器学习模型、Transformer 大模型,还有网络、视频流等技术。而且作为应用方,我们也在尽量减少算力成本,通过云边结合,甚至本地计算来提高效率、减少延迟,我觉得这也会是未来 AI 应用的一个趋势。

最后,我想说,现在对于我们这种做AI应用的小公司来说,是一个绝佳的机会。大厂擅长做基础模型和大赛道,但他们既不愿意也做不好那些像“毛细血管”一样细分的垂直领域。因为大厂人力成本高、考核周期短,很难为一个小众市场投入巨大的精力。这就给了我们这些创业企业很好的生存空间。我认为,现在最大的挑战是懂业务的人不懂技术,懂技术的人不懂业务。我们做的,就是找到这个平衡点,通过和客户深度绑定,确保技术能真正落地,解决实际问题。

岑峰:余总强调了解决客户的实际问题,特别是如何帮助技术和人手都不足的创业公司破局。我想请教张总,超云是如何看待当前的机会,以及未来有什么样的发展方向?

张春雨:我们专注于算力设备。前两年,超云就制定了“All in AI 和 AI in All ”的战略,意味着我们所有的重要业务都围绕着AI展开。

在产品方面,我们目前主要聚焦推理。客户在选择推理整机时最关心的就是性价比和高可靠性。举个例子,市面上有些消费级显卡,比如 RTX 4090,在跑一些大语言模型时还好,但如果处理多模态任务,因为超频和散热问题,很容易出现“掉卡”现象,稳定性很差。我们就是要帮客户解决这些痛点,提供价格合理、可靠性高,并且能批量交付的产品。

在方案方面,很多客户都问我们,同样是卖一款产品,为什么选择我们。我的回答很简单,因为我们在这个行业里服务了大量客户,深知在什么场景下该用什么样的卡,搭配什么样的内存和硬盘。是选择直通模式还是 PCIe 版本,我们都做了大量的验证。我们不直接做应用,但我们的优势就在于,能为客户提供匹配特定场景的最佳方案。我们有专业的方案团队,负责帮助客户进行推理方案的设计,包括组网、存储搭配以及整体调优。

我们很清楚自己的定位。超云不会去做垂直应用,而是专注于产品和方案。我印象特别深刻的是,我们很多成功的项目都离不开生态伙伴的合作。我们提供一体机这样的硬件和平台,而生态伙伴则负责解决客户实际的应用落地问题。正如余总所说,如果只是单纯卖机器,客户可能根本不知道怎么用,结果当然是不太顺利的。卖设备不是终点,最终还是要看它能不能真正用起来。

现在我们有了更清晰的思路。我会明确告诉客户,我们的一体机能提供到什么程度:硬件、平台,外加一个低代码开发工具。这样客户自己就可以做一些简单的应用,比如知识问答。但如果他们有更复杂的应用场景,比如在教育、医疗或金融等领域,我们就会匹配相应的生态伙伴。这种边界清晰的合作模式,能让我们专注于自己的核心优势,同时确保客户的实际需求得到满足,避免我们陷入那些“苦活、累活”中。

余溢: 张总说得太对了。这就是我们行业从业者的共同感受。要让一体机真正发挥作用,关键在于生态伙伴,他们能结合客户实际需求,提供终端应用服务。如果只是纯粹卖机器,这东西到客户手里,可能就用不起来。

张春雨: 没错。这就是为什么我们现在这么幸运,有合作伙伴愿意去做这些“脏活、苦活、累活”,而我们则能专注于提供底层的、更标准化的产品和服务。岑峰:黄总,面对当前的新局面,您打算采取哪些方式来“做大做强”?

黄朝波:其实我个人对“一体机”这种模式一直不太看好,我觉得它只是一个阶段性的产物。我更喜欢从终局来思考:未来三五年,市场最终会走向哪里?从公有云的发展历史来看,它最终会统一一切,而一体机比私有云还要更“私有化”,从长期看,它必然会回归到公有云加混合云的模式。

一体机模式面临一个巨大的挑战:软件工作量非常大,而且现在的 AI 工程师很昂贵,但客户又不舍得为软件付费,这导致用户体验很差,形成恶性循环。因此,我们的观点依然是,要回归到大规模运营,通过公共云模式来分摊软件成本。

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图8

04

下一个关键变量

岑峰:我们注意到,大模型已经进入下半场,是以应用为导向的。刚才几位嘉宾也聊了很多。未来,如果像自动驾驶、行业大模型等各种应用爆发,会对计算市场产生哪些颠覆性的影响?三位嘉宾又如何判断,下一个能影响计算市场生存法则的关键变量是什么?

黄朝波:好的,我先简单谈谈我的看法。从技术架构来看,未来最大的变化是云边端一体化。现在,英伟达的芯片架构在数据中心和终端设备上是一样的,只是规格大小不同。由于终端算力有限,一些计算任务必须放到边缘甚至云端去完成。对于自动驾驶这样对算力要求极高的应用来说,云边端一体化是必然趋势。

要实现这个目标,对技术要求非常高,包括底层的网络、多集群管理、跨集群调度以及上层业务的微服务重构等,这是一个非常复杂但前景广阔的领域。一旦成功,就意味着每辆车都需要海量的算力,我们现在建设的算力将远远不够。因此,未来要想真正推动智算发展,必须重点关注并投入到这些对算力需求特别大的场景中去。

至于谁将掌握话语权,我的观点依然是:以终为始。最终的结局是算力必然过剩,这是不可避免的。算力厂商很难再像现在这样拥有绝对的话语权,因为英伟达目前的地位是特定时期的产物。从长期来看,谁掌握了业务,谁就掌握了一切。当然,业务是碎片化的,所以最终掌握话语权的,是那些能将技术赋能到具体业务场景的平台。核心还是回到平台本身。

岑峰:张总,您怎么看黄总关于“平台”和“业务赋能”的观点?您会怎么看影响计算市场的一个关键变量?

张春雨:黄总在这方面见解很独到,我完全认同。我个人认为,要说影响计算市场的下一个关键变量,还是“需求为王”

不管是2023年的供不应求,还是现在的供大于求,甚至是未来谁将占据主导,都取决于需求。我觉得,未来真正的变化,会来源于现象级应用的爆发。我们现在用的豆包等应用,对算力的消耗还比较平稳,但一旦多模态的推理需求爆发出来,对算力的需求将呈指数级增长。

就在昨天,我参加一个客户沙龙,有个客户是做多模态视频推理的。他告诉我,处理海量视频数据,对显存和算力的要求是以百万台 H20 为单位起步的。这个规模听起来非常惊人,也预示着未来真正的市场大变局,一定会由这种现象级的多模态应用来驱动。

岑峰:张总刚才提到了现象级应用,那余总作为应用领域的专家,您认为哪些方向可能会产生这样的现象级应用呢?

余溢:这个问题嘛,我只能凭感觉说了,因为我们公司做的都是些小众的长尾赛道,专门避开那些大风口。

不过我非常认同张总说的多模态,这应该是个共识。像语音、视频这类应用,本身对算力的消耗就非常巨大,一旦爆发,对算力市场的冲击会是现象级的。

另外,我特别看好细分赛道里的 AI Agent。这些 Agent 需要处理多个任务来最终得到一个结果,它的运行逻辑就像是一个闭环。只要中间一步出错,整个流程就得重新跑,所以对算力的消耗也相当可观。我觉得未来很可能会出现一些在特定细分领域,能处理复杂多任务的现象级 Agent 应用。

还有一个方向是 AI 智能硬件。我们公司自己就在做 AI 玩具,这类产品需要处理实时的音视频流,对即时响应的要求特别高。比如情感陪伴类的硬件,像国内的“芙崽”和海外的 Ropet,一旦规模起来,对算力的需求会很惊人。现在很多这类产品用户体验不好,就是因为算力跟不上。我做了之后就发现,它们确实非常缺算力,但因为成本高,大家在这方面投入得还不够。随着算力成本的下降和技术的成熟,智能硬件也会成为现象级应用的一个重要载体。

所以总的来说,我认为多模态、Agent 和智能硬件这些细分领域会是未来的大机会。它们虽然不像大模型那样光鲜亮丽,但却能解决实际痛点,并且一旦规模化,对算力的需求会呈现爆炸式增长,从而颠覆整个计算市场。

岑峰:那您认为当前 AI 应用市场的最大机遇和挑战是什么?对于创业者来说,如何构建自己的核心竞争力,来避免陷入同质化的竞争?

余溢:我认为,机遇和挑战其实是硬币的两面,要构建核心竞争力,我个人有几个建议:

第一,要解决真需求,必须是客户真正需要、愿意付费的业务场景。我们不能凭空想象,而要从实际痛点出发。

第二,你的团队要具备相应的能力。这不只是技术能力,还包括对业务的深刻理解和资源整合能力。创业公司不能像大厂那样什么都做,必须专注于自己擅长的事,把精力用在刀刃上。

第三,要避开大厂主攻的领域,因为他们的资源优势太明显。我们应该选择那些大厂看不上、不愿意做的细分赛道,也就是我们常说的“长尾市场”。

最后,我想强调一点,很多人以为技术是唯一的护城河,但我认为它可能不是最重要的竞争力。因为大厂会不断开源基础模型,技术能力很快就会被拉平。真正的壁垒在于数据。AI 时代和之前的互联网时代不同,复制一个产品没那么容易了。一旦你率先进入市场,快速积累了用户和数据,就形成了一个强大的数据壁垒,让后来者很难追赶。

说到底,现在的机遇和挑战其实是一体两面。机遇在于基础模型已经成熟、成本低廉,外部环境也已准备就绪。很多人说晚了,我反而觉得不晚,真正的应用爆发潮可能要到今年底或明年初。而挑战也随之而来。创业者必须选好自己能做、能把得住的赛道,踏踏实实地去深挖,而不是光停留在商业计划书上。

岑峰:刚才余总从需求端谈了如何为客户创造价值,我想请教张总,从供给端来看,未来的计算中心运营模式会发生哪些变化?计算中心又该如何为客户提升价值呢?

张春雨:我认为从供给端来看,未来计算中心的运营模式一定会向“易取易用”和更贴近应用的方向发展。

首先,我们会从单一的裸金属租赁,转向更加多元化的服务模式。这个多元化体现在两方面:第一是使用方式上的灵活。我们不再只卖算力,而是提供各种套餐。比如,客户可以根据需求选择就近部署,或者选择性价比更高的方案,甚至根据芯片类型(国产还是英伟达)来做选择。对一些学校来说,他们可能只需要短期使用两三个月,那就可以选择灵活的套餐,而不需要独占整个设备。

第二是提供增值服务。我认为可以分为两种模式:

第一种模式我称之为“AI工厂”模式,这是一种更高级的交付模式。我们不只提供“厨房”,而是能直接“端菜”,根据客户的场景和预算,提供预训练或微调等服务,帮助他们直接拿到想要的结果。

另一种模式是“AI商店”模式:这是一个更深层次的模式,我们不再是卖算力或Token,而是帮助客户提升他们的 KPI 。比如,客户可能希望通过我们的解决方案来“降低人力投入”或“提升效率”。我们提供的价值不再是简单的算力,而是实实在在的降本增效。

当然,这些增值服务不是任何一家公司能单独完成的。超云的优势在于提供设备和平台,但要构建一个完整的体系,我们必须和像余总、黄总这样的公司合作,才能真正为客户提供完整的解决方案。

岑峰:黄总,矩向科技正在将算力供给、平台和应用消费这几个环节串联起来。您认为这种模式如何帮助中小服务商在激烈的竞争中找到新的生存空间,并实现可持续发展?

黄朝波:这是一个非常好的问题,也是我们一直在深入思考的方向。我想先用芯片行业的一个现象来做类比:

上世纪80年代,英特尔非常强大,它既做芯片设计,又做芯片制造。当时大家都觉得英特尔是不可战胜的。但到了1988年,台积电成立,专注于重资产的制造;1990年,Arm 成立,专注于技术赋能。紧接着,涌现出大量无晶圆厂的(fabless)芯片设计公司,其中的佼佼者就是英伟达、高通、博通,还有我的老东家Marvell。

我们对比一下现在的市值:英特尔市值1000多亿,而英伟达市值一度超过4万亿,差不多是英特尔的三十到四十倍。这个例子说明,当产业进行分工之后,每个企业都可以轻装上阵,聚焦在自己最擅长的创新能力上,而其他的资源都可以轻松获取。这就是产业分工的巨大价值。

回到算力这个事情上,智算的出现给了大家机会,但时间窗口并不长。我认为,我们可以按照芯片行业的模式对智算产业进行分工,智算中心专注于重资产的算力提供,智算云:专注于业务赋能、客户和市场营销,技术赋能方比如我们矩向专注于提供技术支持,众多经销商和最终客户专注于业务落地。

大家合力构建一个开放、分工协作的生态,很多企业现在都在努力,但往往是孤军奋战,努力的成果也像孤岛一样难以为继。我们建议,未来需要有一个开放式的全新产业链,让数千家公司共同参与进来。每个企业做好自己的事情,通过创新脱颖而出,最终实现共同的成长和收益。

当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图9

05

QA

岑峰: 接下来,我们来回答一些观众的问题。有观众提问说,不同型号的服务器现在无法“归同”,想问一下这个研发难度大吗?这会是一个新的机会吗?这个问题似乎张总来回答比较合适。

张春雨:这位观众的用词可能不是特别准确,他说的“归同”应该是指统一纳管、统一管理和统一调度

我认为可以从三个层面来看,首先是统一管理和运维, 这是最基础的层面。服务器和 PC 不同,它需要规模化部署和运维。目前,市面上已经有很多第三方软件可以做到这一点,比如对几百甚至上千台不同服务器进行统一的地址分配和系统安装。这部分的技术难度不大,也已经有很多成熟的解决方案。

统一资源调度这部分难度会高一些,服务器种类很多,有通用服务器、GPU 服务器、国产服务器等等。现在,单一的平台已经能够做到基本的资源调度,比如将不同类型的设备归到一个组里,进行统一管理,这也是没问题的。

最后是异构算力整合,这是目前难度最大、也最具有挑战性的领域。简单来说,就是把不同架构、不同品牌的算力整合起来,实现统一调度。比如说,当一个训练任务来了,平台可以根据算力闲置情况,优先分配给英伟达的 GPU,如果英伟达的算力跑满了,再自动切换到国产算力。目前,北京有很多公司正在攻克这个难题。虽然很难,但并非完全无解。通常,只要设备不是特别小众,都可以通过引入第三方服务来解决,但需要为此支付额外的费用。所以,这的确是一个机会,但它需要一定的技术投入和成本。

余溢: 对,张总刚才说到那个异构算力的问题,我就一直觉得这个概念挺有意思的。如果我的理解没错,目前的技术还无法真正做到“归同”。也就是说,你没办法让一个任务同时在 NVIDIA 和另一个品牌的显卡上协同工作。如果强行这么做,结果会是以最慢的那个为准,你快的那部分先算完了,也得等着慢的那部分,整个任务最终的速度是由最慢的那个来决定的。所以,这种方式在AI训练场景下,效率是完全无法保证的。

张春雨: 是的,没错,这个技术现在确实还不太成熟。我也接触过很多客户,他们也都在问这个问题。我觉得这块还是得让黄总来解释,他才是最专业的。

黄朝波: 因为我以前做芯片的,我可以稍微解释一下。行业里有个专业术语叫“多元异构”,指的就是这个问题。我的结论很简单:多元异构在推理场景下可以,但在训练场景下最好别这么做。

为什么呢?因为我们做训练时,是集群计算。同一个计算任务,最好在同一种架构上跑。计算的过程中,我们不知道会遇到多少复杂问题,所以尽量把问题简化。而在训练场景下,不同架构硬是凑在一起,只会让问题变得更复杂,最终可能导致训练失败,反而降低了效率。

所以,正确的做法是,我们做的多元异构调度,不是让同一个任务去跑在不同的架构上,我们的异构调度指的是不同任务在调度时被分配到不同的地方,仅此而已。同一个计算任务,不能多元。

岑峰: 对,几位嘉宾刚才的解答非常透彻,也让我们更清楚地认识到,客户对这个领域的认知还需要一个逐步加深的过程,这场对话让我们对智算市场的现状和未来有了更清晰的理解。

最后,我想请三位嘉宾各自用一句话做个总结,对智算市场的未来进行展望,或者给正在这个赛道上的企业和个人一些建议。

余溢: 谢谢主持人。我的总结是,我对未来市场非常有信心。

首先,我认为整个 AI 市场未来会分流和分层,变得更专业化。头部企业会继续深耕头部市场,而中小企业和创业者则会专注长尾市场。每个团队都能找到自己的生态位,各司其职,竞争格局也会因此变得更清晰。

其次,我坚信,真正的 AI 应用爆发期就在未来一年内。应用的爆发会带动整个行业生态一起进步,而技术的每一次更新,也都会推动整个行业向前发展。

张春雨: 我的看法跟余总很相似。首先,前不久国务院发布的“人工智能+”政策,我相信它会像当年的“互联网+”一样,甚至潜力更大。根据我十几年的行业经验,我预测未来5到10年,算力市场依然会保持非常高的增速。

另外,从从业者的角度看,不管是做芯片、整机、平台还是应用,只要我们能深耕和聚焦,就一定会有所收获。

黄朝波: 我总结三点吧。第一,我们认为现在这种算力调度和转售业务可能只是一个临时状态,未来必然会走向消亡。

第二,智算云才是未来。我们推断,未来的智算云市场可能会呈现“三七开”的局面,即70%的市场由巨头主导,另外30%则由专业的轻量化厂商来占据。这些厂商将更专注于创新,以地域或行业为特色,更容易实现快速迭代和演进。

第三,我想特别提到国务院的 AI 政策,里面有一个词引起了我的关注:“AI原生”。它和“AI+”是完全不同的概念。“AI+”是 AI 赋能现有业务,而“AI原生”意味着要推倒重来,重新构建业务、场景和服务体系。这给了我们很多启发,也希望未来能有更多朋友一起讨论。

岑峰: 感谢三位嘉宾的精彩分享。今天由于时间关系,我们的线上圆桌就暂时到这里了。就像大家所说,这个领域变化非常快,所以我们也会和嘉宾们保持密切沟通。再次感谢三位嘉宾和所有观众的参与。

//

推荐阅读



当智算变局到来,我们该如何 “用对” 算力?| GAIR Live图13

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
AI
more
【硬件资讯】NVIDIA疯狂投资未来!全球大范围投资,诸多硬件厂商及AI厂商获得NVIDIA资金,这是路径依赖了??
一文读懂鲸智百应:驱动组织进化的企业AI操作系统,让企业从「用AI」到「是AI」
邀请函 | 启幕!德晟达AI算力家族重磅亮相,邀您现场直击
《WAIC UP!》独家上新:Hinton养虎,姚期智、Stuart Russell、王树国、Craig Mundie训虎有道!
黄仁勋2小时反驳「AI泡沫帝国」论!英伟达将成全球首家十万亿市值公司
多位诺贝尔奖得主与开发者呼吁各国为AI设定“红线”
骁龙峰会北京·夏威夷同步举办,高通要用硬件加速AI发展
ChatGPT付费版也「变笨」了,OpenAI被曝「偷换模型」,用户炸锅|Hunt Good周报
AI知识库更新6:30个省市特色产业集群
vivo X300推出“AI电影分镜”功能,超高像素“一图多裁”
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号