llama.cpp 发布 1.0.0 版本

机智流 2026-11-15 21:15

北京时间 11 月 13 日 22 点 17 分,Georgi Gerganov 在 X 上发了一句话:llama.cpp v1.0.0 现在可以用了。

GitHub 上的 v1.0.0 发布页其实更早,当天 18 点 20 分就挂出来了;Hugging Face 上的官方博客也在同一天发出。

llama.cpp 发布 1.0.0 版本图1

官方发布配图

先说它是什么。llama.cpp 是一个开源项目,专门在本地跑大模型推理,用 C/C++ 写成。普通电脑(包括 Mac)就能跑很多开源模型,不用上云,也不一定要有大显卡。

作者是 Georgi Gerganov,项目归在 GitHub 上的 ggml-org 组织下。它的底层,是同一团队写的张量计算库 ggml。按官方博客的说法,它现在支持 150 多种模型架构变体。

官方地址先放这里:

• GitHub 仓库:

https://github.com/ggml-org/llama.cpp

• v1.0.0 发布页:

https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0

• 官方博客:

https://huggingface.co/blog/ggml-org/llama-cpp-v1

• 作者发布帖:

https://x.com/ggerganov/status/2121246103312212124

为什么叫 1.0

项目做了大约三年半,一直没有正式的大版本号。官方博客说,依赖它的下游应用越来越多,接口既要灵活,更要稳定。

这次 llama.cpp 和 ggml 同时到了 1.0.0。今后只要公开接口出现不兼容的改动,就升第一位数字,让下游一眼看得出来。官方还说,用的人越多,这条线会守得越严。

官方定的规则,翻成大白话是这样:

• 第一位(MAJOR):公开 C 接口(./include 里的头文件)有不兼容改动,比如删函数、改参数。

• 第二位(MINOR):加新功能、更新后端、支持新模型、新增接口,旧代码照样能用。

• 第三位(PATCH):只修 bug,接口不变。


源码里怎么落地

光看博客不够,我们把 v1.0.0 的源码拉下来翻了翻。

llama.cpp 发布 1.0.0 版本图2

v1.0.0 源码截图:版本号与动态库编号

版本号就写在根目录 CMakeLists.txt 最上面三个变量里:1、0、0。

编译出来的动态库 libllama,“兼容编号”直接取第一位数字。也就是说,只有第一位变了,这个编号才会变,程序就不会误连到不兼容的新库上。

官方文档 docs/release.md 里,“公开 C 接口”指的就是 include/llama.h。改坏它要升第一位,加功能升第二位,修 bug 升第三位。

还有个细节:默认编出来的版本号后面会带 -dev,代表开发版。打包分发时,要从版本标签编译,再加上 -DLLAMA_BUILD_IS_DEV=OFF,得到的版本号才是干净的 1.0.0。

这次删掉了什么

llama.cpp 发布 1.0.0 版本图3

合并请求 #30565 里 llama.h 的改动截图

Georgi 本人提交的合并请求 #30565 叫“llama : prune”,意思就是修剪。它从 llama.h 里删掉了 llama_set_warmup 和另外 35 个早就标了“已过时”的函数。

这些函数其实早有新名字,旧的声明里一直写着该换成哪个。几个常见的:

• llama_load_model_from_file 改用 llama_model_load_from_file

• llama_free_model 改用 llama_model_free

• llama_new_context_with_model 改用 llama_init_from_model

• llama_token_bos 这类取特殊词元的函数,改用 llama_vocab_bos 等


我们看了 v1.0.0 的 llama.h:除了 DEPRECATED 宏本身的定义,已经没有任何标着过时的函数了。

同时删掉的还有一个已过时的参数 defrag_thold,以及对应的命令行选项 -dt / --defrag-thold。

另外,原来放在内部头文件 llama-ext.h 里的一组投机解码相关接口,这次挪进了正式的 llama.h,其中 llama_set_embd_state_src 改名为 llama_set_ctx_state_src。

ggml 那边也一样,1.0.0 清掉了过时的公开接口和老的 DIAG_MASK 算子。

对已经在用的人意味着什么

• 只用命令行或 llama-server 的:基本无感,直接升级。唯一要看的是脚本里有没有 -dt / --defrag-thold,有就删掉。

• 自己写 C/C++ 调 libllama 的:如果编译报找不到旧函数,按上面的对照换成新名字。官方最小示例 examples/simple/simple.cpp 已经全都换成了新的名字,可以照着改。

• 做打包分发的:以后看第一位数字,就知道要不要跟着改代码。


怎么装、怎么跑

官方 README 给的最快方式,是一行命令装好:

curl -LsSf https://llama.app/install.sh | sh

Windows 用 PowerShell:

irm https://llama.app/install.ps1 | iex

装好以后,一行命令就能从 Hugging Face 拉一个模型、直接开聊:

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

想让别的程序来调用,就开一个兼容 OpenAI 接口的服务:

llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

也可以用 Homebrew、Winget、conda-forge、MacPorts、Docker 等渠道安装,或者克隆仓库、切到 v1.0.0 标签自己编译。

注意:GitHub 的 v1.0.0 发布页本身不放安装包,只指向对应的每日构建 b12359。按官方文档里的说法,正式版靠安装脚本、各家包管理器和从源码编译这几条路发出去。

这版顺带还有什么

1.0.0 不只是改了版本号,官方发布说明里还列了很多改动,挑几条说:

• 上下文缓存可以用 8 位浮点(FP8)存,参数是 -ctk/-ctv f8_e4m3。

• 混合专家(MoE)模型新增专家缓存,放在主机内存里,还能设定让 CPU 分担多少。

• 新支持 Kimi-K3.1-Pro、Ripple-65B-Preview、xing4_0 三种文本模型,drama-3 语音合成,以及 MageVL-Cowork 和 Kimi-K3.1 的视觉能力。

• llama-server 做了一轮安全加固,修了 SSRF、CORS、DNS 重绑定等问题;客户端断开或超时,会取消正在跑的 MCP 工具调用。

• llama-server 新增两个开关,要你手动加上才会生效:--allow-unauthenticated-tools 和 --media-allow-private-urls。

• 新增兼容 OpenAI 的语音合成接口 /v1/audio/speech。

• 自带的网页界面重新设计:聊天可以分组,输入框换成了能实时预览的 markdown 编辑器。


需要说清楚的是:官方这次没有给跑分,也没说 1.0 会让模型一下子快多少。这一版真正的分量,在于“以后版本号说话算数”。

相关链接

• GitHub 仓库:

https://github.com/ggml-org/llama.cpp

• v1.0.0 发布页:

https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0

• 官方博客:

https://huggingface.co/blog/ggml-org/llama-cpp-v1

• 作者发布帖:

https://x.com/ggerganov/status/2121246103312212124

• 删旧接口的合并请求 #30565:

https://github.com/ggml-org/llama.cpp/pull/30565

• 官方版本号规则文档:

https://github.com/ggml-org/llama.cpp/blob/v1.0.0/docs/release.md

• ggml v1.0.0 发布页:

https://github.com/ggml-org/ggml/releases/tag/v1.0.0

• ggml-org 发布与版本说明讨论:

https://github.com/ggml-org/ggml/discussions/1579

• 官方安装页:

https://llama.app

文中时间均为北京时间。版本规则与改动以官方博客、GitHub 发布说明和 v1.0.0 源码为准;文中截图来自官方源码和合并请求。

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
more
智研咨询发布:电机控制器行业市场简析(附行业市场现状、商业模式、行业壁垒及竞争格局分析)
【北京 西安】TI嵌入式实验室免费培训:AI加速ADAS、AI DSP、多协议无线、精密电机控制等 | 即将开讲,预报从速!)
Pick 你心中的它 >> 2025 第六届电机控制技术市场表现奖 & 年度优秀 AI 机器人创新奖
兆易创新GD32F50MxxG高集成电机控制MCU发布,赋能人形机器人关节驱动革新
2025年1-5月电气化供应商装机量排行榜:动力电池前五位供应商份额超84%,车企自制电机控制器份额过半
倒计时7天!TI技术培训:ADAS|AIDSP|精密电机控制|多协议无线等[上海 杭州 北京 西安]
德州仪器推出超低成本实时微控制器(MCU),助力家用电器和电动工具实现高端电机控制
报名倒计时!TI免费培训:ADAS|AIDSP|精密电机控制|多协议无线等[上海 杭州 北京 西安]
上海 杭州 倒计时!TI免费培训:ADAS|AIDSP|精密电机控制|多协议无线等
攻克FOC电机控制!257集系统课+STM32开发套件,从理论到实战闭环学习
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号