最新，馬斯克開源Grok 2.5

原標題：最新，馬斯克開源Grok 2.5

馬斯克一手開源動作，引發了大夥兒的高度關注——

xAI現在正式開源Grok 2.5，Grok 3將在半年后開源。

其實早在本月初的時候，馬斯克就公開表示過：

雖然開源的時間已經超過了他説的節點，但也正如網友所説：

42個文件，500個G

目前，Grok已經可以在HuggingFace中下載（鏈接附文末）：

xAI官方建議用SGLang來運行Grok 2，具體步驟如下。

*步，下載權重文件。

你可以把 /local/grok-2 換成任何你喜歡的文件夾名字：

hf download xai-org/grok-2 —local-dir /local/grok-2

官方表示，這個下載過程中可能會遇到一些錯誤，如果出錯了，可以多試幾次直到下載成功。

下載成功后，文件夾里應該有42個文件，大小約為500GB。

第二步，啟動服務器。

xAI官方建議安裝最新版的SGLang推理引擎（版本號 >= v0.5.1，地址為：https://github.com/sgl-project/sglang/）。

然后用下面的命令來啟動推理服務器：

python3 -m sglang.launch_server —model /local/grok-2 —tokenizer-path /local/grok-2/tokenizer.tok.json —tp 8 —quantization fp8 —attention-backend triton

值得一提的是，這個模型需要8個GPU（每個都得有超過40GB的顯存）才能運行。

最后一步，就是發送請求。

這是一個經過預訓練的模型，所以我們需要確保使用的是正確的聊天模板：

python3 -m sglang.test.send_one —prompt 「Human: What is your name?<|separator|>\n\nAssistant:」

發送請求后，我們就應該能看到模型會回覆它的名字了，即Grok。

那麼xAI最新開源的Grok 2，到底是什麼水平？

雖然其能力定然是不及當下的各種*進的主流模型，但我們可以從去年xAI發佈的Grok 2相關模型的技術博客中略知一二。

當時，它在LMSYS排行榜上，總體Elo分數已經超越了Claude和GPT-4。

並且在一系列學術基準測試中，Grok 2系列在研究生級別科學知識（GPQA）、一般知識（MMLU、MMLU-Pro）和數學競賽問題（MATH）等領域達到了與其他前沿模型相競爭的性能水平。

不過有一説一，網友們雖然覺得馬斯克開源的動作還挺好的，但也有不少詬病的言論。

例如在HuggingFace中，我們並沒有看到xAI明確指出開源模型的參數權重。

因此網友們就只能根據以往的信息，猜測它是2690億個參數的MoE模型。

其次，就是開源協議的問題，因為xAI在HuggingFace中的表述是這樣的：

用網友的話來説，這基本上就是一個非商業許可的：

以及，也是最重要的一點，就是運行這個開源模型的條件：

Two More Thing：

除了開源動作之外，馬斯克還發布了Grok APP上的一些新功能。

這次的更新（v1.1.58）主要是聚焦在了AI視頻生成，具體效果如下：

感興趣的小夥伴可以在APP上體驗嘍。

以及馬斯克還發了一段有趣的言論：

參考鏈接：

[1]https://x.com/elonmusk/status/1959379349322313920

[2]https://x.com/HuggingPapers/status/1959345658361475564

[3]https://x.com/elonmusk/status/1959384678768447976

[4]https://x.com/elonmusk/status/1959388879888302363