更多

    一哭二鬧?還是香港首席?Stable Diffusion AI 圖片生成 LoRA 應用示範

    Andrew
    Andrew
    號稱"周身刀無張利"的多媒體創作人。 很喜歡樂天熊仔的怪叔叔。

    網上看到不少利用 Stable Diffusion 生成出來的圖片,看來相當吸引,特別當不少有心人製作了一些偶像演員的修飾套件 (LoRA),更會令人躍躍欲試。今次我們就用上最近流出的日本藝人 LoRA,簡單介紹在 Stable Diffusion 中使用方法,以及有甚麼需要注意的地方。

    自建 Stable Diffusion WebUI 教學:按此

    1) 下載所需要的 LoRA 

    基本上我們可以透過 CivitAI 網站,可以找到不少 checkpoint 模型及 loRA 修飾套件,當然包括今次的主角三OO亞的 LoRA,下載後把檔案放到 stable-diffusion-webui\models\Lora 資料夾內。沒有這個資料夾的話可以自行在 models資料夾內自行。

    基本上我們可以透過 CivitAI 網站,找到不少 checkpoint 模型及 loRA 修飾套件。
    基本上我們可以透過 CivitAI 網站,找到不少 checkpoint 模型及 loRA 修飾套件。

    2) 查看範例的生成設定

    使用 Stable Diffusion,我們要學習怎樣「詠唱生成圖片的咒語」 ,即是生成圖片時使用的參數及描述圖片用的字詞。當中會包括圖片所用 checkpoint 模型、Sampling Method 等等,例如三OO亞 LoRA 很多都是以 Basil_mix_fixed 作基礎模型,如果選用其他人物常用的 ChilloutMix 模型來處理,效果未必如理想。

    3) 從 Hugging Face 下載所需的 checkpoint

    可能大家會發現,在 CivitAI 網站好像找不到 Basil_mix_fixed 的模型 (checkpoint ) 。這時候,我們可以透過 Hugging Face 這個專門存放 AI 相關的檔案庫,下載所需要的檔案,然後將 checkpoint 檔案放到 stable-diffusion-webui\models\Stable-diffusion 資料夾內。大家應該盡可能下載較安全的 safetensors 版本,真的找不到才下載 ckpt 版本。

    透過 Hugging Face 這個專門存放 AI 相關檔案的數據庫,下載所需要的檔案
    透過 Hugging Face 這個專門存放 AI 相關檔案的數據庫,下載所需要的檔案

    4) 試用範例圖片生成自己的三OO亞

    最簡單的方法,就是直接從 CivitAI 網站下載一些已附有生成參數及文字描述(咒語)的圖片,然後在 Stable Diffusion 的介面中打開 PNG info 並放入相片,旁邊會看到相關內容。這時候選擇 txt2img 或 img2img 來進行生成。

    (編按:直接點擊參考圖片參數下方的 Copy Generation Data 按鈕也可以把所有參數,包括擴展功能參數拷貝下來)

    5) 生成圖像

    生成圖片時,使用的不同的 checkpoint 模型及 Sampling Method 都會影響圖片的風格和效果,所以我們直接以匯入範例的方式去進行,系統會根據相片預設好部份參數,亦會準備好生成圖片的描述,用家只要略作修改就可以。

    6) 加入 LoRA 及設定比重

    在 Generate 下面會有五個圖示,按中間紅色那個,介面就會彈出選單,按 LoRA 標籤頁選擇是次生成所需要的 LoRA,例於三OO亞的 LoRA。然後在描述欄目會看到 <lora:aiAVYuaXx-v1:1> 的內容,用家可以調節有關 LoRA 的使用比重,例如 :0.8 等於 80%,:0.2 就代表 20%。當然大家可能會看到一張套片會用上多款 LoRA,例如人物面相、背景、光影效果等,不過有外國 YouTuber 表示,如果有需要同時使用多個 LoRA,記得要將她們一個跟一個匯入,並要注意使用的比重加起來不能超過 1,換言之如果要使用 2 個 LoRA,比重可能要設定為 :0.8 + :0.2:0.6 + :0.4,如此類推。

    7) Seed -1 是甚麼?

    匯入範例圖片去進行生成,系統會直接分析相片的數據,包括人物動作、背景、燈光等內容去進行生成,有機會會產生出幾乎一樣的相片。如果想有多點原創性,就可以從介面下方的 Seed 欄目後方,按一下骰子圖示,將參數重置為 -1,這讓系統就只會根據你的文字描述及使用 LoRA 去計算。

    生成圖片成品

    您會感興趣的內容

    相關文章