Stable Diffusion（SD）去年推出以來，對圖像創作帶來不少衝擊。但要在家中架設圖像生成系統，對電腦規格也會有一定要求。不過 Qualcomm 日前就表文章和影片，首次示範將經過全端 AI 優化的 SD 安裝在 Android 手機上，少於 15 秒就能生成一張可愛猫咪騎士的照片，揭示邊緣裝置在人工智能上的威力。
圖像生成模型 SD 擁有超過 10 億個參數，這麼大的模型過往只能在雲端或者高規格電腦上運行，而 Qualcomm AI 研究部門人員就用 Qualcomm AI Stack，將開源的 FP32（32 位單精度浮點數）版本 stable-diffusion-v1-5 模型在量化、編譯和硬件加速三方面作全端 AI 優化，令它可以在備有 Snapdragon 8 Gen 2 的 Android 手機上生成圖像。
研究人員以 Qualcomm AI Stack 的 AI 模型效率化工具箱的訓練後量化功能，將模型由 FP32 縮小至 INT8（8 位整數），以節省用電和記憶體頻寬。在編譯方面就使用 Qualcomm AI Engine direct framework，將神經網絡映射成一個程序，改善效能和減少記憶體溢出，以便在 Qualcomm Hexagon 處理器上運行。最後 Snapdragon 8 Gen 2 的微分塊推理運算可以讓 SD 在手機上有效率地運作，而針對 transformer 模型的強化就可大幅提升推理速度。
經過以上全端優化後，令手機上運行的 SD 可以在 15 秒內以 20 步推理產生一張 512×512 圖像，媲美在配備高階顥示卡電腦或雲端上的圖像生成速度，亦沒有對用戶輸入的提示字句設限。
雖然 Qualcomm 未有正式展示手機是在怎樣的環境狀況下執行、安裝方法、執行時手機溫度和耗用電量，不過仍揭示了經過優化後，大型 AI 基礎模型如 SD 在各種邊緣裝置包括筆記簿電腦、XR 眼鏡上都可以運行的可能性，令流動裝置不需倚靠雲端來執行 AI 模型，同時也大大縮短 AI 的開發速度。