技术沙龙回顾 | Agent 规模化落地,基础设施准备好了吗?AI & Agentic Infra Track给出了答案

OpenAtom openEuler 2026-11-20 18:48
技术沙龙回顾 | Agent 规模化落地,基础设施准备好了吗?AI & Agentic Infra Track给出了答案图1







11 月 14 日,openEuler Summit 2026 技术沙龙 AI & Agentic Infra Track在北京举行。来自英特尔、蚂蚁集团、招商银行、天翼云、华为、麒麟软件、麒麟信安、东方通与品高股份等单位的 18 位讲者,围绕 Agent 运行新抽象、GPU 可观测、弹性沙箱、AgenticRL 训练与推理优化等方向带来 15 场技术分享,达成了一个共识:Agent 的能力边界已不是瓶颈,把 Agent 从演示推向生产的整套基础设施,才是当下真正的工程焦点。


技术沙龙回顾 | Agent 规模化落地,基础设施准备好了吗?AI & Agentic Infra Track给出了答案图2



01
新抽象:当操作系统重新审视 Agent


从进程线程到容器虚机,每次计算范式跃迁都伴随操作系统新抽象的诞生,Agent 时代同样如此。


OpenAtom openEuler(简称“开源欧拉”或“openEuler”) SIG-Virt Maintainer吴斌给出了系统的回答,思程(ThinkPro)将模型、记忆、工具、服务抽象为可复用的统一资源,让多 Agent 高效并行。在此之上,它基于蒙特卡洛策略支撑多路径探索,每条路径获得独立隔离环境;提供工具投机执行,预测后续工具调用并提前并行执行;对接 K8S 实现云化部署与弹性伸缩,并面向 AgenticRL 场景解决训练框架适配问题。


天翼云操作系统研发专家刘铭然分享的 SysAIFrame 从一个朴素问题出发:能不能让模型调用像系统函数调用一样简单?该项目以网关承载动态请求管理,把模型、工具、Agent 统一抽象为“AI 能力”,并建立身份、权限、用量三维治理——每条调用记录同时保留使用者与应用归属,网关负责调用准入、操作系统负责执行边界,用量统计细化到运行实例,让 AI 能力接入成为操作系统的一项公共服务。


天翼云操作系统研发专家吴衡则把视角推进到资源生态:MCP、Skill、Agent 等 AI 资源分散在不同框架中,缺乏统一描述与管理机制。AIOS 资源管理平台在操作系统层面建立统一注册发现与生命周期管理,从描述、接入、封装分发三个方向推动标准化,目标是让 AI 能力像软件包一样即装即用、跨应用复用。



02
可观测:照进 GPU 黑盒的第一束光


算力重心转入 GPU 后,传统观测止步于 API 边界,GPU 内部始终是 AI 基础设施最大的观测盲区。麒麟软件资深研发工程师李准带来的 gprobe 对标 CPU 时代的 kprobe。开发者用 C 编写 eBPF 程序,gprobe 将探针动态注入 GPU Kernel 随其执行——面向 NVIDIA 采用 PTX 注入,面向 AMD、沐曦等采用 LLVM IR 插桩,CPU 与 GPU 共享 eBPF Map 采集数据,无需修改内核驱动与目标应用。相比会话式事后分析工具,gprobe 支持生产环境在线遥测,将时间线下沉到 Block 级,可定位负载不均衡、辅助 Kernel 调优。



03
沙箱与分发:高密度运行环境的两块基石


当 Rollout 训练需要成百上千并发拉起沙箱,当 Agent 沙箱以秒到分钟级生命周期快速生灭,沙箱的资源占用与启动时延、镜像与权重的分发速度,直接决定算力的有效利用率。四位嘉宾分别从虚机休眠、硬件加速、分发架构与存储直通,给出高密度运行环境的完整解法。


中移(苏州)软件技术有限公司虚拟化架构师王金磊的高密度弹性沙箱方案核心洞察是:Agent 等待模型返回或工具执行时,沙箱仍在空耗资源。方案通过云端休眠将虚机状态以差额形式存入对象存储,续跑时以 Lazy loading 恢复——设备状态先就位、缺失内存页按需拉取,恢复时间控制在 200 毫秒以内;多个沙箱共用公共只读 base 快照、各存差额,万级规模下存储节约约 95%,写时复制进一步降低内存占用。


Intel Cloud Software Development Engineer 刘源用 CPU 内置的 IAA 加速器为沙箱冷启动提速。沙箱启动的痛点在 IO,压缩比越高开销越小。IAA 以 8 引擎并发解压,吞吐远超通用 CPU,把 CPU 从解压中释放出来用于超分;其驱动已进入 openEuler,支持 zswap 等多个基础模块。


蚂蚁集团软件研发工程师、Dragonfly Maintainer杨开勇分享的 Dragonfly 与 Nydus 直面大规模分发。传统 OCI 镜像拉取约占容器启动时间的 76%,而实际被读取的数据仅 6.4%。Nydus 将数据与元数据分离、按 Chunk 组织实现按需加载,启动时间从分钟级进入秒级;Dragonfly 作为 CNCF 毕业的 P2P 分发项目,可支撑 TB 级模型权重分钟级分发到上百节点,在鲲鹏与 openEuler调优后吞吐提升达 90% 以上。


华为主任工程师侯涛带来的 NPU Direct Storage(NDS)则打通了数据通路的最后一公里:当 SSD 与 NPU 显存位于同一 PCIe Switch 下,NDS 让数据面经 PCIe Switch 内部转发直达显存,不再经 CPU DDR 中转,从而降低搬移时延、避免 DDR 带宽占用并提高带宽上限。NDS 提供 passthrough 与 P2PDMA 两种实现——前者构造 NVMe passthrough 命令经 SGL 描述显存物理地址,无需修改驱动与内核源码,已支持 openEuler 22.03 与 24.03;后者复用内核 P2PDMA 机制将 NPU 显存 BAR 纳入统一管理,配合 vmemmap 降低内存开销,场景支持更全面。相比 libaio 加 H2D 复制,NDS 在 Ascend A2 小 I/O 场景收益最高达 238%,主要面向推理 KVCache 与训练 CheckPoint 的读写,后续将支持分布式存储与 dmabuf 机制。






现场交流




04
AgenticRL:从演示到生产的训练闭环


强化学习正成为把 Agent 从“演示惊艳”推向“生产可靠”的关键路径,但轨迹采样、奖励设计与资源弹性处处是工程难题。


招商银行AI Infra工程师于奕骅分享了基于自研 Harness 的 AgenticRL 实践。团队构建全异步训练链路:Rollout 持续生成轨迹,Trainer 消费更新权重;奖励由 CI 测试结果计算,Fail-to-Pass 与 Pass-to-Pass 双测试保证修改生效且不破坏既有功能;训练把完整 Harness GUI 放入沙箱作黑盒,用 Playwright 模拟真实用户操作,最大程度复现生产场景。训练后的模型在 SWE-bench 上得分提升 14%。整套链路基于 openEuler AI 软件技术生态,运行在鲲鹏与昇腾之上;接入思程后单沙箱可并行多条轨迹,Rollout 吞吐提升 20%。


品高股份CTO林冬艺瞄准行业私域数据的蒸馏难题:公网数据反复训练已近枯竭,企业核心业务数据与专家隐性知识才是高价值样本。其方案以无侵入方式采集企业已有 Harness 的请求响应作为训练样本,结合 openEuler 高密沙箱支撑上千分支路径并发探索,首个样例在单节点完成训练闭环,让中等规模企业也能负担 RL 训练成本。



05
安全与治理:Agent 进生产的准入门槛


安全执行与成本控制不是某一个框架的问题,需要基础设施层面系统性解决。


麒麟软件资深研发工程师孙满利提出三层架构判断:Agent Runtime 负责智能行为组织,Agent 基础设施承担共性能力,操作系统提供原生安全支撑。落地为两个开源组件:witty-token-compressor 以插件方式集成进任意 Runtime,自建benchmark上评测,在任务准确率持平前提下降低 19.7% 的 token 开销;witty-sandboxer 通过策略引擎统一管理进程级、容器级与 MicroVM级 三种沙箱后端,宿主机原位轻隔离,高危脚本按需选择强隔离,上层Agent Runtime 无需感知底层的沙箱运行时差异。


麒麟信安研发工程师李胜松展示了面向 HPC 集群故障诊断的多 Agent 协同运维平台:调度层与系统层的分层智能体经 A2A 协议委派协作,RAG 知识库抑制幻觉、记忆模块沉淀运维经验。平台目标覆盖 10 大类 88 项故障,根因定位准确率 85%,定位耗时压缩到 30 分钟以内。


openEuler SIG-Intelligence Committer张丰来直指 Agent 从 demo 走向生产的可靠性瓶颈:看不清、测不全、处置晚、诊断难、改不动。ANSE 组孵化的 Agent Insight 构建观测、评测、诊断、优化的可靠性闭环——全链路追踪回答“任务慢在工具、模型还是推理服务”,30 余种评估器覆盖结果与过程,故障恢复三步止损。一个真实案例中,执行 600 多步、耗时 16 小时的失败任务,Agent Insight 五分钟定位根因。项目已支持对接 17 种主流 Agent 平台。



06
中间件的回答:让 AI 写的代码敢被用


AI 生成代码的能力已毋庸置疑,但从 coding assistant 到可持续稳定交付之间隔着鸿沟。中间件多年沉淀的企业级架构治理经验,恰好是填补这条鸿沟的领域资产。东方通高级架构师聂丹妮分享了软件智造工厂的探索:在通用 Harness Runtime 之上增加能力接入层,将中间件产品原子化解构为携带语义边界与接口契约的能力资产库,配合架构约束引擎管控能力组合的合规性——金融行业的审计链路、超时设计等架构规则,从人脑经验变成 AI 可识别、可组装、可验证的约束。核心思路是让 AI 尽量不从零写代码,而以模组化能力搭建场景,用确定性消除生成式的不确定性。






现场交流




07
推理优化:把每一分算力用满


推理成本是大模型规模化服务的关键变量。如何让 vLLM 推理栈在国产算力平台上发挥硬件全部潜能,是落地的最后一公里。


openEuler SIG-Intelligence  Committer 、麒麟软件高级研发工程师李长忻介绍了统一插件化加速体系,针对优化组件强绑定 vLLM 版本的痛点,以插件形式赋能推理引擎:CPU 与 GPU 异构协同的 PD 解耦插件让 GPU 负责 Prefill、CPU 借助 AVX512 承担 Decode,用剩余算力换整体吞吐;MoE 插件将热点专家卸载到 CPU;资源协同插件按任务特征实现优先级排队。配套的存算解耦推理组以 KV Cache 池化为核心,串联缓存感知路由与 RDMA 传输,追求高命中率与 SLO 稳定。


同团队的openEuler SIG-AI Committer、麒麟软件研发工程师张自晓带来 Luban 工具链:Luban-Sculpt 量化工具支持 FP8、W8A8、GPTQ、AWQ 等多精度策略,通过硬件感知抽象层与国产硬件解耦,已发布首个版本并完成昇腾验证;Luban-Meter 测评工具打通从评测执行到报告输出的完整流程,统一接入 vLLM、SGLang 等框架,让评测结果可复现、可比较、可追溯,已在金融行业落地。



08
结语


Agent 从演示走向生产,考验的不再是模型的单点能力,而是从资源抽象、运行可观测到安全治理的整条工程链。演讲之外,交流讨论热度不减,昇腾可观测支持、多 Harness 过拟合规避等追问延续到散场之后,欢迎开发者加入,共同推进 AI & Agentic 时代基础设施的下一轮演进。

-END-


供稿 | 吴佳聪

编辑 | 丘云

校审 | 郑振宇、刘彦飞

技术沙龙回顾 | Agent 规模化落地,基础设施准备好了吗?AI & Agentic Infra Track给出了答案图3
推荐阅读      Recommend

openEuler发布面向Agentic Infra的操作系统,全球协同共建AI生态

<

关注我们,了解更多

▼

技术沙龙回顾 | Agent 规模化落地,基础设施准备好了吗?AI & Agentic Infra Track给出了答案图5

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI IC
more
AI比人贵了…OpenAI:内部Agent开销已达研究员薪酬两倍
抢跑 OpenAI 敲出史上最大 IPO,Anthropic 却惹怒了半个硅谷
Anthropic市值1.3万亿美元,创大型IPO最弱开局,一场给AI定价的压力测试
4万亿美元砸向AI,近六成交给了服务器
当蛋白质设计有了自己的「Claude Code」,AI Native生物科技公司开始交付「真实成果」
估值 410 亿美元,贝佐斯打造「物理世界的 OpenAI」
上海AI Lab开源Sage S2.1 Flash技术报告:四项智能体基准SOTA,科学多模态感知如何融入通用智能体?
华为星芒阔直板5499元起!全新鸿蒙AI手机,麒麟9030S韬芯片,系统有点不一样~
问诊AI?一场死亡背后的追问
iPhone Air 2 双摄机模现身,iPhone 18 外观几乎不变!
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号