金磊 发自 凹非寺
量子位 | 公众号 QbitAI
就在刚刚，马斯克一手开源动作，引发了大伙儿的高度关注——
xAI现在正式开源Grok 2.5，Grok 3将在半年后开源。
其实早在本月初的时候，马斯克就公开表示过：
是时候开源Grok了，将会在下周。
虽然开源的时间已经超过了他说的节点，但也正如网友所说：
迟到总比没有的好。
42个文件，500个G
目前，Grok已经可以在HuggingFace中下载（链接附文末）：
xAI官方建议用SGLang来运行Grok 2，具体步骤如下。
第一步，下载权重文件。
你可以把 /local/grok-2 换成任何你喜欢的文件夹名字：
hf download xai-org/grok-2 —local-dir /local/grok-2官方表示，这个下载过程中可能会遇到一些错误，如果出错了，可以多试几次直到下载成功。
下载成功后，文件夹里应该有42个文件，大小约为500GB。
第二步，启动服务器。
xAI官方建议安装最新版的SGLang推理引擎（版本号 >= v0.5.1，地址为：https://github.com/sgl-project/sglang/）。
然后用下面的命令来启动推理服务器：
python3 -m sglang.launch_server —model /local/grok-2 —tokenizer-path /local/grok-2/tokenizer.tok.json —tp 8 —quantization fp8 —attention-backend triton值得一提的是，这个模型需要8个GPU（每个都得有超过40GB的显存）才能运行。
最后一步，就是发送请求。
这是一个经过预训练的模型，所以我们需要确保使用的是正确的聊天模板：
python3 -m sglang.test.send_one —prompt “Human: What is your name?<|separator|>\n\nAssistant:”发送请求后，我们就应该能看到模型会回复它的名字了，即Grok。
那么xAI最新开源的Grok 2，到底是什么水平？
虽然其能力定然是不及当下的各种最先进的主流模型，但我们可以从去年xAI发布的Grok 2相关模型的技术博客中略知一二。
当时，它在LMSYS排行榜上，总体Elo分数已经超越了Claude和GPT-4。
并且在一系列学术基准测试中，Grok 2系列在研究生级别科学知识（GPQA）、一般知识（MMLU、MMLU-Pro）和数学竞赛问题（MATH）等领域达到了与其他前沿模型相竞争的性能水平。
不过有一说一，网友们虽然觉得马斯克开源的动作还挺好的，但也有不少诟病的言论。
例如在HuggingFace中，我们并没有看到xAI明确指出开源模型的参数权重。
因此网友们就只能根据以往的信息，猜测它是2690亿个参数的MoE模型。
其次，就是开源协议的问题，因为xAI在HuggingFace中的表述是这样的：
用网友的话来说，这基本上就是一个非商业许可的：
Mistral、Qwen、DeepSeek、微软，甚至是OpenAI都在用MIT或Apache 2.0许可来开源模型。
以及，也是最重要的一点，就是运行这个开源模型的条件：
谢谢，我现在只需要8块显存超40GB的GPU……
Two More Thing：
除了开源动作之外，马斯克还发布了Grok APP上的一些新功能。
这次的更新（v1.1.58）主要是聚焦在了AI视频生成，具体效果如下：
感兴趣的小伙伴可以在APP上体验喽。
以及马斯克还发了一段有趣的言论：
xAI很快就会超越谷歌，但中国公司才是最大对手。
参考链接：
[1]https://x.com/elonmusk/status/1959379349322313920
[2]https://x.com/HuggingPapers/status/1959345658361475564
[3]https://x.com/elonmusk/status/1959384678768447976
[4]https://x.com/elonmusk/status/1959388879888302363
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
扫码添加小助手，发送「姓名+公司+职位」申请入群～
🌟 点亮星标 🌟
