更多

    AI 圖像生成之後 Stable AI 發表語言模型 StableLM

    Mickey Chan
    Mickey Chan
    愛模擬飛行、希望終有一日回到單車上的宅,眼鏡娘控。座右銘: 1.膽固醇跟美味是成正比的; 2.所有人都可以騙,但絕對不能騙自己; 3.賣掉的貨才是錢,不賣的收藏品不值一文; 4.踩單車,是為了吃更多美食! 5.正義的話語,不一定出自正義之人的口;

    以開源 AI 圖像生成器 Stable Diffusion 而知名的 Stable AI,繼日前推出 Stable Diffusion XL 模型之後,今日又發表旗下首個開源語言模型 StableLM,Alpha 版本首先推出 30 億和 70 億參數的版本,稍後還會推出 150 億至 650 億參數的版本,並有計劃推出 1,750 億參數模型,商業和研發機構也可以使用。

    Stable AI 表示 StableLM 是使用一個建基於開源數據集「The Pile」的新實驗性數據集來訓練,比「The Pile」的 Token 多 3 億,內容 Token 達 1.5 萬億。Stable AI 稱與擁有 1,750 億參數的 GPT-3 相比,StableLM 雖然只有 30-70 億參數,仍能在交談和編寫程式方面提供高性能,展示在適當訓練下,小而有效率的模型也可以發揮高性能。

    現時 Alpha 版 StableLM 只支援英語,可以進行交談、撰寫公式文書、創作文章和編寫程式。大家可以在 HuggingFace 下載 StableLM 模型,參考 GitHubGoogle Colab 上的樣本 Notebook,在本地電腦執行。也可以在 HuggingFace 這個網頁上試用。

    另外,Stable AI 又發表一個利用 5 款近期開源的模型:Alpaca、GPT4All、Dolly、ShareGPT 和 HH 來微調基礎模型的版本,不過該版本採用非牟利授權,模型不能商用。

    按:標題圖片的鸚鵡是以 Stable AI 日前發表的 Stable Diffusion XL 模型生成的。

    您會感興趣的內容

    相關文章