網上看到不少利用 Stable Diffusion 生成出來的圖片,看來相當吸引,特別當不少有心人製作了一些偶像演員的修飾套件 (LoRA),更會令人躍躍欲試。今次我們就用上最近流出的日本藝人 LoRA,簡單介紹在 Stable Diffusion 中使用方法,以及有甚麼需要注意的地方。
自建 Stable Diffusion WebUI 教學:按此
1) 下載所需要的 LoRA
基本上我們可以透過 CivitAI 網站,可以找到不少 checkpoint 模型及 loRA 修飾套件,當然包括今次的主角三OO亞的 LoRA,下載後把檔案放到 stable-diffusion-webui\models\Lora
資料夾內。沒有這個資料夾的話可以自行在 models
資料夾內自行。
2) 查看範例的生成設定
使用 Stable Diffusion,我們要學習怎樣「詠唱生成圖片的咒語」 ,即是生成圖片時使用的參數及描述圖片用的字詞。當中會包括圖片所用 checkpoint 模型、Sampling Method 等等,例如三OO亞 LoRA 很多都是以 Basil_mix_fixed
作基礎模型,如果選用其他人物常用的 ChilloutMix
模型來處理,效果未必如理想。
3) 從 Hugging Face 下載所需的 checkpoint
可能大家會發現,在 CivitAI 網站好像找不到 Basil_mix_fixed 的模型 (checkpoint ) 。這時候,我們可以透過 Hugging Face 這個專門存放 AI 相關的檔案庫,下載所需要的檔案,然後將 checkpoint 檔案放到 stable-diffusion-webui\models\Stable-diffusion
資料夾內。大家應該盡可能下載較安全的 safetensors
版本,真的找不到才下載 ckpt
版本。
4) 試用範例圖片生成自己的三OO亞
最簡單的方法,就是直接從 CivitAI 網站下載一些已附有生成參數及文字描述(咒語)的圖片,然後在 Stable Diffusion 的介面中打開 PNG info 並放入相片,旁邊會看到相關內容。這時候選擇 txt2img 或 img2img 來進行生成。
(編按:直接點擊參考圖片參數下方的 Copy Generation Data
按鈕也可以把所有參數,包括擴展功能參數拷貝下來)
5) 生成圖像
生成圖片時,使用的不同的 checkpoint 模型及 Sampling Method 都會影響圖片的風格和效果,所以我們直接以匯入範例的方式去進行,系統會根據相片預設好部份參數,亦會準備好生成圖片的描述,用家只要略作修改就可以。
6) 加入 LoRA 及設定比重
在 Generate 下面會有五個圖示,按中間紅色那個,介面就會彈出選單,按 LoRA 標籤頁選擇是次生成所需要的 LoRA,例於三OO亞的 LoRA。然後在描述欄目會看到 <lora:aiAVYuaXx-v1:1>
的內容,用家可以調節有關 LoRA 的使用比重,例如 :0.8
等於 80%,:0.2
就代表 20%。當然大家可能會看到一張套片會用上多款 LoRA,例如人物面相、背景、光影效果等,不過有外國 YouTuber 表示,如果有需要同時使用多個 LoRA,記得要將她們一個跟一個匯入,並要注意使用的比重加起來不能超過 1
,換言之如果要使用 2 個 LoRA,比重可能要設定為 :0.8
+ :0.2
或 :0.6
+ :0.4
,如此類推。
7) Seed -1 是甚麼?
匯入範例圖片去進行生成,系統會直接分析相片的數據,包括人物動作、背景、燈光等內容去進行生成,有機會會產生出幾乎一樣的相片。如果想有多點原創性,就可以從介面下方的 Seed 欄目後方,按一下骰子圖示,將參數重置為 -1,這讓系統就只會根據你的文字描述及使用 LoRA 去計算。