不拼芯片拼“内功”？法国初创Kog欲用软件榨干GPU极限，挑战30倍推理加速

【科技24时区】当Cerebras凭借专为AI打造的晶圆级芯片在5月IPO首秀中收获市场热捧时，另一股暗流正在硅谷与巴黎之间涌动。法国初创公司Kog押注了一个截然不同的方向：与其追逐昂贵的专用硬件，不如从企业数据中心里那些早已落灰的常规GPU中，“压榨”出被忽视的性能潜能。

今年5月，Kog的技术预览版登上Hacker News头条，其核心主张颇具挑衅意味——证明在AMD MI300X和Nvidia H200等标准数据中心GPU上，实现“极快的单请求解码”并非天方夜谭。尽管部分开发者因该技术无法惠及笔记本电脑端的消费级显卡而略感失望，但更多业界人士看到了其中的商业缝隙。在推理速度与成本已成为AI落地最大瓶颈的当下，Kog承诺仅通过软件优化即可解锁现有硬件的新能力，这一卖点迅速转化为真金白银的关注。

“我们收到了200个实质性的业务线索。”Kog首席执行官Gaël Delalleau向TechCrunch透露。基于早期反馈，这位独自创业的创始人判断，软件工程将是首个爆发场景。资深Claude Code用户对此深有共鸣：等待代码生成结果耗时数小时已是常态，连Anthropic官方都深知“速度即金钱”，因此对Claude的“快速模式”收取溢价。Kog瞄准的正是那些因延迟而受挫的专业用户群体，尤其是依赖AI工作流完成关键任务的工程师。此外，Delalleau还提到，对于那些希望通过提示词快速生成游戏或应用的设计合作伙伴而言，Kog推理引擎（KIE）带来的提速直接等同于收入增长。

然而，理想与现实之间横亘着一道巨大的技术鸿沟。Kog目前演示的惊人数据——每秒3000个令牌（TPS）——是建立在参数量仅约20亿的开源小模型Laneformer 2B之上的。要实现其宣称的“大型语言模型（LLM）推理速度提升30倍”，Kog必须完成一次艰难的跨越。值得注意的是，在观察市场需求后，Kog发现潜在客户并不愿意花费精力去微调小型模型。“这就是为什么自发布以来，我们将全部重心转向加速大型模型的开发，以回应我们所看到的真实需求。”Delalleau坦言。

面对质疑者认为GPU不适合处理大模型解码的观点，Delalleau显得信心十足。“GPU拥有光明的未来，”他反驳道，“认为它们不适合解码是一种误解。新一代GPU拥有越来越高的内存带宽，只是亟待被释放。”这种通过软件优化挖掘硬件潜力的思路并非孤例，同样来自法国的ZML也发布了绕过Nvidia CUDA、支持多芯片快速推理的硬件无关软件。但Delalleau强调，Kog的路径更接近斯坦福大学Hazy Research实验室的风格，即在GPU加速层面进行更深层次的底层探索。

这种“深潜”式研发风格，源于Delalleau独特的个人背景。他并非传统意义上的AI研究员，早年曾在法国综合理工学院攻读固态物理，随后投身于进攻性网络安全领域（即白帽黑客）。他是DEFCON CTF锦标赛的四次决赛选手，这段经历塑造了他现在的团队文化：“一方面要理解物理定律和GPU的运行法则，从而最大化利用它们；另一方面，黑客思维教会我们在汇编语言和二进制代码的极低层级进行逆向工程，理解其运作机制，并尝试将其用于原本设计目的之外的目标。”

当然，这种极度手工化、耗时耗力的方法也是一把双刃剑。“对于每一款新GPU，我们需要投入数周甚至数月的时间，深入细节并进行专门的GPU工程研究。”在一个仅有11人的团队规模下，这限制了Kog短期内能支持的芯片种类。但从长远来看，Kog希望将这套方法论注入基于智能体的流水线中，从而扩展其对更多芯片和模型的支持能力。在欧洲寻求构建自主AI算力能力的宏观背景下，这一策略或许能为这家已获得Scaleway支持、并由法国公共投资银行（Bpifrance）及French Tech 2030计划背书的初创公司带来主权层面的政策顺风。

眼下，Kog最紧迫的任务是向世界证明其方案在大型语言模型上的有效性，这也是其获取下一轮融资的关键。“一旦我们在9月份左右实现首个主要模型的10倍加速部署，我们就能够开始展示客户吸引力，并以此为基础启动A轮融资。”Delalleau描绘了接下来的路线图。在这场关于速度的竞赛中，Kog试图证明，有时候，最好的硬件升级，其实是一次完美的软件重构。