高通近日宣布推出面向数据中心的下一代AI推理优化解决方案，基于Qualcomm AI200与AI250芯片的加速卡及机架系统，旨在以业界先进的总体拥有成本(TCO)为高速数据中心提供生成式AI推理所需的机架级性能与卓越内存容量。
Qualcomm AI200专为机架级AI推理打造，为大语言模型(LLM)与多模态模型(LMM)推理及其他AI工作负载提供低总体拥有成本与优化性能。每张加速卡支持768GB LPDDR内存，实现更高内存容量与更低成本，为AI推理提供卓越的扩展性与灵活性。
更为引人注目的是Qualcomm AI250解决方案，该产品将首发基于近存计算(Near-Memory Computing)的创新内存架构，实现超过10倍的有效内存带宽提升并显著降低功耗，为AI推理工作负载带来能效与性能的跨越性提升。该架构支持解耦式AI推理，实现硬件资源的高效利用，同时满足客户性能与成本需求。
两款机架解决方案均支持直接液冷散热以提升散热效率，支持PCIe纵向扩展与以太网横向扩展，并具备机密计算功能，保障AI工作负载的安全性，整机架功耗为160千瓦。
根据高通规划，Qualcomm AI200与AI250预计将分别于2026年和2027年实现商用，有望为数据中心AI推理市场带来革命性变革。
