8月20日，SK海力士联合弗吉尼亚大学等机构研究人员，在著名期刊《自然·电子学》（Nature Electronics）发表了题为“用于高性能计算和人工智能的共封装光学器件（CPO）”的论文。
HBM引领了生成式人工智能时代，通过解决人工智能加速器软件包中的内存瓶颈，推动了性能创新。然而，随着结合了数千个GPU和HBM的大规模集群的出现，限制系统间数据传输的“带宽壁垒”正成为新的瓶颈。
在该研究中，SK 海力士人工智能基础设施团队负责人洪承勋和弗吉尼亚大学（UVA）电气与计算机工程系李奎相教授担任通讯作者，领导了一项与伊利诺伊大学厄巴纳-香槟分校（UIUC）、南洋理工大学（NTU）、麻省理工学院（MIT）和延世大学的研究人员合作的研究。
该论文提出了一个全面的技术路线图，阐述了存储器、先进封装和光计算互连（OCI）应如何协同演进以支持下一代人工智能系统。至关重要的是，它还展示了SK海力士如何超越HBM创新，在系统层面帮助定义下一代人工智能基础设施的架构。
从芯片到系统，CPO是将HBM创新扩展到整个系统的关键
超大规模人工智能模型不再在单个芯片或服务器上进行训练，而是运行在由机架和节点组成的大型网络中。在这种架构中，系统整体性能不仅取决于处理器、内存和人工智能加速器之间的连接，还取决于数据在机架之间传输的效率。
虽然硬件的计算性能每两年大约提高三倍，但互连带宽仅提高 1.4 倍，加剧了“带宽障碍”。
实际上，计算吞吐量每两年增长三倍，而互连带宽同期仅增长了1.4倍，这使得带宽瓶颈成为一个日益严峻的挑战。传统的铜基电互连负责将数据传输到芯片封装之外以及机架之间，但随着传输距离的增加，信号损耗和功耗也会迅速上升。因此，它们越来越被视为下一代人工智能数据中心的一个限制因素。
“即使计算芯片的性能越来越强，如果芯片间的数据传输速度跟不上，整体系统性能也无法提升，”李奎相教授说。“用光链路取代存在固有物理限制的铜互连，是实现未来可扩展性的最有希望的途径。”
CPO 是一种将光引擎越来越靠近处理器集成的技术，通过最大限度地减少电信号的传输距离，提高带宽和能源效率。
该论文将CPO定位为克服这一挑战的核心。SK海力士人工智能基础设施团队负责人Seunghoon Hong这样描述这项技术：“CPO将光收发器（TRx）集成到与处理器相同的封装中，使芯片能够使用光而非长距离的电气互连来交换数据。这从根本上改变了数据在人工智能系统中传输的方式，消除了计算扩展的最大障碍之一。”
传统铜互连在短距离传输中仍然是一种经济高效的解决方案。然而，随着传输速度的提高和通信距离的增加，它们需要越来越复杂的补偿电路，从而导致更高的功耗和更大的数据传输延迟。CPO 通过在封装内集成光引擎，最大限度地缩短了高速电信号的传输距离，并使用光链路完成剩余的传输路径。这使得高速通信能够跨越芯片、机架和模块进行扩展，同时保持高带宽密度、卓越的能效和强大的信号完整性，并具有更强的抗电磁干扰能力。
基于此架构，研究人员为下一代人工智能基础设施设定了明确的技术目标，包括每个节点超过 100 Tb/s 的带宽、低于 1 pJ/bit 的能耗以及小于 10 纳秒的芯片间延迟。该论文还提出了一个全面的技术路线图，概述了从基于 2D 和 2.5D 中介层的配置到 3D 异构堆叠的演进过程，以及商业部署必须解决的关键技术挑战。
光连接延伸至内存，展望人工智能架构的未来
▲ 以光学为中心的架构概念图，该架构通过光中介层以光信号直接连接计算资源（XPU池）和内存资源（内存池）。
从长远来看，CPO 的发展有望将光互连扩展到存储器接口。这种以光为中心的架构突破了传统封装的物理限制，利用光子中介层直接连接存储器和处理器，从而最大限度地提高系统数据传输效率。
借助这种架构，多个 AI 加速器可以共享一个大型内存池，从而实现更灵活的系统级数据移动，同时随着模型的不断增长，AI 基础设施能够更高效地扩展。
李教授表示：“光互连技术有望成为未来人工智能基础设施的基础连接技术。这项技术已经走出实验室，进入商业化的早期阶段。尽管仍面临诸多挑战，例如集成低功耗光子器件、开发相干协议以及提高系统可靠性等，但关键在于将存储器件和控制器、光子组件和封装技术协同设计为一个单一的集成系统。而这正是与SK海力士合作意义非凡之处。”
洪补充道：“此次合作意义非凡，因为它汇集了学术界的专业知识和行业经验，共同描绘了人工智能基础设施的未来愿景。我们将继续扩大开放式合作，为我们的客户和更广泛的人工智能生态系统带来切实价值。”
在后续论文作者访谈中，团队还回答了这些问题：
问：该论文强调应将光连接扩展到“存储器接口”。这样做可以带来哪些好处？
李奎相教授：将光连接扩展到存储器，使我们能够绕过计算芯片周围的物理限制，从而克服存储器容量和线路数量的限制。由于多个加速器可以共享海量内存池，这使得应对人工智能模型规模扩展时拥有更大的灵活性。
团队负责人洪承勋：这意义重大，因为它能提高数据传输效率，从而实现更灵活的AI系统扩展。同时，也为客户更高效地运营其AI基础设施奠定了基础。
▲（从左至右）SK海力士团队负责人洪承勋和弗吉尼亚大学教授李奎相正在讨论下一代光互连（CPO）技术的研究。
问：CPO技术在未来AI基础设施市场的竞争优势是什么？你们未来的研究计划是什么？
李奎相教授：基于四大优势——高带宽密度、优异的能量-距离特性、并行可扩展性以及抗电磁干扰的信号完整性——CPO 将成为未来人工智能基础设施的核心标准。展望未来，我们将继续与业界伙伴合作，通过超薄光学材料集成技术和利用微型发光二极管（µLED）的超并行光互连技术的研究，展示实现极致能效的解决方案。
团队负责人洪承勋：随着客户人工智能系统规模的不断扩大，光互连的重要性也日益凸显。存储器公司如今的角色不再局限于提供单一产品，而是通过这项技术成为提升客户系统整体竞争力的合作伙伴。未来，我们将持续拓展与客户及生态系统合作伙伴的开放式合作。
加入方式可查看公众号底部菜单栏
活动推荐：
时间 | 演讲议题 | 演讲嘉宾 |
10:00-10:20 | 铜浆增材制造玻璃TGV电路板技术 | 华中科技大学温州先进制造技术研究院/温州卓联电子材料有限公司 研究员/CEO 李运钧 |
10:20-10:40 | 核心终端产品芯片方阵以及AI核心芯片高端封装解决方案 | 江苏芯德半导体科技股份有限公司张中副总经理 |
10:40-11:00 | SCHMID Solution for Glass Substrate manufacturing | SCHMID迅得科技（广东）有限公司 Laurent Nicolet |
11:00-11:20 | TGV激光诱导孔、刻蚀孔与金属化之非破坏性检测 | 蔚华电子科技(上海)有限公司 执行长 杨燿州 |
11:20-11:40 | 蓝星有机硅IGBT/SiC功率模块封装解决方案 | 蓝星有机硅资深电子胶技术服务工程师曾静 |
11:40-12:00 | 面向光互连应用的离子交换玻璃基光波导技术 | 浙江大学副教授郝寅雷 |
12:00-13:40 | 中午休息 | |
13:40-14:00 | 先进板级扇出封装创新与应用 | 深圳中科四合科技有限公司赵铁良 市场总监 |
14:00-14:20 | 先进封装用玻璃基TGV金属化及复合铜填孔解决方案 | 深圳市赛姆烯金科技有限公司总经理陈伟元 |
14:20-14:40 | 先进封装TGV和RDL一站式量检测方案 | 中电科风华信息装备股份有限公司市场部产品专家 刘明辉 |
14:40-15:00 | 先进封装基板玻璃原片的机遇与挑战 | 山东力诺医药包装股份有限公司研发总监 张海鹏 |
15:00-15:20 | 中场休息 | |
15:20-15:40 | 先进封装C2W混合键合工艺的清洗技术的发展和在玻璃基板上的应用 | 杭州沐芯联科技有限公司 创始人严宏 教授 |
15:40-16:00 | 议题待定 | 天津巽霖科技有限公司 |
16:00-16:20 | TGV 通孔内壁磁控溅射金属种子层的高能脉冲电源选择 | 新铂科技（东莞）有限公司/哈尔滨工业大学 田修波 CTO、教授 |
报名方式
会议报名方式1: | 会议报名方式2： |
扫码添加微信，咨询会议详情  | 扫码在线登记报名  |
会议报名方式3:
或者复制网址到浏览器后，微信注册报名
https://www.aibang360.com/m/100314?ref=172672
李小姐: 18823755657 (同微信)
邮箱:lirongrong@aibang.com
注意:每位参会者均需要提供信息
