
高通和 Cirrascale 已通过 Cirrascale 的 AI 创新云向部分客户提供高通 Dragonfly AI200 的评估,使他们能够访问两家公司最新的 AI 推理基础设施合作成果。
用户可以在 Cirrascale 的云环境中,使用自己的模型和工作负载测试系统。该设置旨在支持平台验证、工作负载特征分析、基准测试和概念验证工作,并为生产推理部署铺平道路。
此次发布的产品重点关注人工智能推理,随着企业从训练模型转向在实际服务中大规模运行模型,这一领域正受到越来越多的关注。高通和Cirrascale将Dragonfly AI200定位为机架级解决方案,适用于大型语言模型、多模态系统以及其他对功耗和运营成本要求较高的AI工作负载。
该硬件每张卡支持 768GB LPDDR 内存。高通表示,该平台架构专为万亿参数规模的推理而设计,并将这种内存容量与机架级设计特性相结合,包括直接液冷、PCIe 纵向扩展、以太网横向扩展和机密计算。
Cirrascale 为评估提供云环境。其服务包括托管的 AI 基础设施和固定费率的商业模式,不收取入站或出站费用,为客户提供了一个专门用于评估专为推理而设计的系统(而非通用基础设施)的环境。
Cirrascale Cloud Services 首席执行官 Dave Driggers 概述了该公司对人工智能基础设施需求发展方向的看法。
“人工智能的经济效益正日益体现在推理的经济效益上。我们的客户需要高效、可扩展的基础设施,以支持日益复杂的模型,同时避免电力和运营成本成为限制因素。通过与高通技术公司合作,我们可以为客户提供评估机会,体验专为下一代人工智能推理而打造的全新架构,”Driggers说道。
推理焦点
此次合作反映了人工智能市场更广泛的转变。虽然该行业的大部分支出都集中在模型开发和训练上,但供应商们现在竞相解决在数据中心规模上部署这些模型所带来的成本和能源需求问题。
高通公司以移动和边缘计算而闻名,近年来正积极拓展其在数据中心人工智能推理领域的业务。Dragonfly AI200 就是这一战略的成果之一。该公司表示,Dragonfly AI200 的设计理念是围绕服务于人工智能模型而非训练模型所需的内存、性能和成本优势而打造的。
高通技术公司数据中心执行副总裁兼总经理托尼·皮亚利斯阐述了专用推理架构的必要性。
“人工智能推理正成为数据中心规模最大、最重要的计算工作负载之一,业界需要更高效的方法。高通AI200将我们在高性能、低功耗人工智能计算领域的领先地位带到了机架级基础设施,其架构专为满足推理的性能、内存和成本需求而设计。我们与Cirrascale的合作,为客户提供了一种直接评估这项技术在其自身工作负载上的表现,并体验由此带来的数据中心经济效益的方法,”Pialis说道。
云路由
对于 Cirrascale 而言,此次合作在其人工智能创新云平台中新增了一个系统。目前,云服务提供商和基础设施专家正努力吸引那些寻求主流计算平台替代方案的客户。通过在托管环境中提供评估访问权限,Cirrascale 旨在降低企业和云用户的部署门槛,使他们能够在实际工作负载上比较推理系统后再决定是否部署。
部分客户可以通过同一路径从评估部署过渡到生产推理部署。这在人工智能市场中至关重要,因为许多人工智能买家希望在扩展工作负载之前,更快地测试性能、能耗和运营成本。
高通公司还表示,该系统由其人工智能管理套件和领先的人工智能框架生态系统提供支持。该软件层旨在帮助客户评估该平台如何处理生产级推理任务以及其底层硬件设计。
此次合作也表明了两家公司在人工智能基础设施领域的长期发展意图。高通表示,与 Cirrascale 的合作可以为其多代数据中心人工智能推理路线图的进一步发展奠定基础。
Dragonfly AI200 现已可通过 Cirrascale 提供给部分客户进行评估。
(来源:内容来自半导体芯闻综合)
点这里👆加关注,锁定更多原创内容
*免责声明:文章内容系作者个人观点,半导体芯闻转载仅为了传达一种不同的观点,不代表半导体芯闻对该观点赞同或支持,如果有任何异议,欢迎联系我们。
推荐阅读

喜欢我们的内容就点“在看”分享给小伙伴哦~![]()
