以開源 AI 圖像生成器 Stable Diffusion 而知名的 Stable AI,繼日前推出 Stable Diffusion XL 模型之後,今日又發表旗下首個開源語言模型 StableLM,Alpha 版本首先推出 30 億和 70 億參數的版本,稍後還會推出 150 億至 650 億參數的版本,並有計劃推出 1,750 億參數模型,商業和研發機構也可以使用。
Stable AI 表示 StableLM 是使用一個建基於開源數據集「The Pile」的新實驗性數據集來訓練,比「The Pile」的 Token 多 3 億,內容 Token 達 1.5 萬億。Stable AI 稱與擁有 1,750 億參數的 GPT-3 相比,StableLM 雖然只有 30-70 億參數,仍能在交談和編寫程式方面提供高性能,展示在適當訓練下,小而有效率的模型也可以發揮高性能。
現時 Alpha 版 StableLM 只支援英語,可以進行交談、撰寫公式文書、創作文章和編寫程式。大家可以在 HuggingFace 下載 StableLM 模型,參考 GitHub 或 Google Colab 上的樣本 Notebook,在本地電腦執行。也可以在 HuggingFace 這個網頁上試用。
另外,Stable AI 又發表一個利用 5 款近期開源的模型:Alpaca、GPT4All、Dolly、ShareGPT 和 HH 來微調基礎模型的版本,不過該版本採用非牟利授權,模型不能商用。
按:標題圖片的鸚鵡是以 Stable AI 日前發表的 Stable Diffusion XL 模型生成的。