Elon Musk 旗下的人工智能研發公司 xAI 在當地時間星期日守約公開所開發的大型語言模型 Grok-1,該公司透過 GitHub 發放的包括模型權重,和載入及運行 Grok-1 開放權重模型的程式碼。
Grok-1 是 xAI 去年 11 月發表的聊天機械人 Grok 的基礎大型語言模型,X/Twitter 的 Premium+ 訂戶可以與 Grok 的測試版本聊天。
據 xAI 的資料顯示,Grok-1 包含 3,140 億個參數,是混合 8 種專家的 MoE 模型。雖然 xAI 說開源,但他們只說模型是使用大量未有經過微調的文字資料來訓練,沒有說明資料來源。
大家可以到 Grok-1 的 GitHub 網頁 下載模型和程式碼,或者直接在 HuggingFace Hub 運行。xAI 又提醒用戶由於模型體積大,GPU 要有足夠記憶體才能運行。
Elon Musk 月初向 OpenAI 提出訴訟,指 OpenAI 未有遵守創業時的承諾開源 GPT 模型,不過 OpenAI CEO Sam Altman 就指 Elon Musk 只捐 4,500 美元就想控制 OpenAI。