今回はStable Diffusionの新バージョンであるSDXLをStable Diffusion Web UI(Automatic1111)で利用する方法について解説します。インストール手順から基本的な使い方、パフォーマンス改善のコツ、便利な拡張機能まで解説していきます。
SDXLとは？
SDXL（Stable Diffusion XL）とは過去のStable Diffusionから大幅にパラメータが増えた新モデルです。モデルも追加でRefinerが登場して画像生成が2段階になることでデティールを調整する機能も追加されています。この技術についてはStability AIが論文を公開しております。
SDXLの推奨スペックは？
SDXLをStable Diffusion Web UI(automatic1111)で動かすには最低でVRAMは12GB必要となり十分に性能を発揮するにはVRAMは16GB必要です。詳しくは以下の記事を参考にしてください。
VRAM 6GBで試してみた
GeForce RTX 3060 Laptop GPU(6GB)で試してみましたがStable Diffusion Web UI(AUTO1111)上では動きません。ベースモデルの時点で6.1GBあるので普通に動かすのであればメモリは最低でも12GBは必要です。
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 14.00 MiB (GPU 0; 5.80 GiB total capacity; 5.43 GiB already allocated; 1.44 MiB free; 5.68 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
検証環境
本記事で使う検証環境のPCスペックです。
CPU: 12th Gen Intel(R) Core(TM) i9-12900H 2.50 GHz
RAM: 32GB
GPU: NVIDIA GeForce RTX 3080 Ti Laptop GPU(16GB)
OS: Windows 11 Home
Automatic1111でSDXLを使うための準備
SDXL用環境を新規に作成：環境を切り分けるのがおすすめ
すでにあるStable Diffusion WEB UI(AUTO1111)をアップデートすることでSDXLを使うこともできますが、モデルファイルの整理※1や起動スクリプトの引数の管理※2を考えると新しく環境を作るのをおすすめします。
環境を作るといっても新規にフォルダを作ってクローンするだけなので簡単です。具体的には以下の手順で新しく環境を作れます。
mkdir sdxl
cd sdxl
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git※1: SDXLモデルだけならまだしもEmbeddings、ControlNetModel、LoRAを入れると何が何だか分からなくなってきます。
※2: SDXL特有の引数の設定方法があります。
SDXLモデルとRefinerモデルをダウンロード
CivitaiからSDXLモデルとRefinerモデルをダウンロードします。今回はVAEが不要なモデルを利用します。
stable-diffusion-webui\models配下にダウンロードした次の2つのファイルを配置してください。
- sdXL_v10.safetensors
- sdXL_v10Refiner.safetensors
SDXLにXFormersを導入する。
NVIDIAのGPUでしたら実行時間を短縮できるXFormersはSDXLでも利用可能です。なぜだか現状は消費メモリ削減の効果はなさそうです。過去のバージョンとは違いSDXLでは引数に—xformersを追加するだけではなく—no-half-vaeを追加しましょう。—no-half-vaeはSDXLでxformers導入するか否かに限らず推奨されている設定です。
--no-half-vae --xformerswebui-user.batの8行目にset COMMANDLINE_ARGS=–no-half-vae –xformersを追加します。
set COMMANDLINE_ARGS=--no-half-vae --xformersBefore、Afterは次の通りです。
Before
@echo off
if not defined PYTHON (set PYTHON=python)
if not defined VENV_DIR (set "VENV_DIR=%~dp0%venv")
set SD_WEBUI_RESTART=tmp/restart
set ERROR_REPORTING=FALSE
mkdir tmp 2>NULAfter
@echo off
if not defined PYTHON (set PYTHON=python)
if not defined VENV_DIR (set "VENV_DIR=%~dp0%venv")
set SD_WEBUI_RESTART=tmp/restart
set ERROR_REPORTING=FALSE
set COMMANDLINE_ARGS=--no-half-vae --xformers
mkdir tmp 2>NULSDXLで画像生成
起動方法はいつも通り”stable-diffusion-webui\webui-user.bat”を起動するだけです。環境を新しく作った場合は新しい方のフォルダのスクリプトを実行する点に注意してください。いつも通り起動すると思います。するとトップページが以下のように表示されます。
- SDXLモデル(sdXL_v10.safetensors [31e35c80fc])をセットします。
- プロンプトを入力します。Prompt:
(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), 20 years old Japanese woman in Shibuya.short hair, upper body、Negative Prompt:paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), low res, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, extra fingers, fewer fingers, strange fingers, bad hand, mole, ((extra legs)), ((extra hands)) - Refinerのメニューを開きます。
- Refinerモデル(sdXL_v10Refiner.safetensors [7440042bbd])をセットします。
- 解像度を設定します。1024×1024、832×1152、1152×832がおすすめです。解像度は512×512などの過去の推奨バージョンと同様に設定すると上手く画像が生成されません。
生成した画像は次の通りです。以前のバージョンではアジア美女に特化したモデルBRAやChilloutmixでないと生成できなかったアジア系美女の生成成功しています。この点だけでも驚きました。あとは肌の質感や髪のデティールが描写されています。
Refinerなしだとどうなるか？
Swith atを1にするとRefeinerなしにできます。細部の描写がわずかに甘くなりますがその代わり生成時間を短縮できます。ぱっと見ほとんど変わらないです。Refinerなしで調整をして気に入った画像をRefinerありで使うのも良いかもしれません。
左Refinerなし、右Refinerあり。
SDXLでembeddingsを導入: SDXL対応のEasyNegative?
今回はSDXLに対応したEasyNegativeを探してみたところ、fastnegativeが人気なようなので導入してみます。
以下のプロンプトで画像を生成します。
Prompt: (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), 20 years old Japanese woman in Shibuya.short hair, upper body
Negative Prompt: FastNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), low res, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, extra fingers, fewer fingers, strange fingers, bad hand, mole, ((extra legs)), ((extra hands))
fastnegativeありの生成結果。
fastnegativeなしの生成結果。
SDXLでControlNetを導入
次にControlNetをSDXLに導入してみます。
拡張機能をインストール
以前のStable Diffusionと同じ方法でインストールするだけです。
拡張機能”sd-webui-controlnet”を追加していきます。githubリポジトリは次の通りです。
インストールの手順:
- Extensionsタブへ切り替え
- Install from URLタブへ切り替え
- URL for extensions’s git repositoryの欄にhttps://github.com/Mikubill/sd-webui-controlnetを入力
- Installのボタンをクリック
- Stable Diffusion Web UIを停止して、再度起動する。
SDXLのControlNetモデルをダウンロード
以下のページからSDXLのControlNetをダウンロードできます。
今回はOpenPoseモデルであるthibaud_xl_openpose.safetensorsを利用します。以前はyamlファイルも必要でしたが新バージョンでは不要です。
ControlNetのOpenPoseを使ってみる
基本的な画像生成の設定をしてControlNetメニューを開きます。
プロンプト: (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), 20 years old Japanese woman in Shibuya.short hair, upper body
ネガティブプロンプト: FastNegative,paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), low res, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, extra fingers, fewer fingers, strange fingers, bad hand, mole, ((extra legs)), ((extra hands))
解像度: 1152×832
ControlNetメニューの設定をします。
- 参照画像をControlNetのメニュー画面にセットします。
- ControlNetを有効にするため”Enable”にチェックを入れます。
- Control Typeで”OpenPose”を選択します。これでPreprocessor(前処理)とControlNet Modelが設定されます。
- Preprocessorは以前のStable Diffusionと共通なのでお気に入りのものがあればそれを選びます。Modelはthibaud_xl_openposeなどSDXLに対応したものを選択します。
- 特徴抽出ボタン「💥」をクリックして特徴抽出します。前処理が適用されて特徴抽出の結果が表示されます。
この状態で画像を生成すると、ControlNetが適用された状態で画像が生成されます。
設定値の違いによるベンチマーク
GPUはNVIDIA GeForce RTX 3080 Ti Laptop GPU(16GB)となっております。
| XFormers | Refiner | バッチ数 | 解像度 | 消費メモリ | 実行時間 |
|---|---|---|---|---|---|
| なし | あり | 1 | 832×1152 | 15.2GB | 35.5s |
| なし | あり | 1 | 1024×1024 | 14.1GB | 36.1s |
| なし | あり | 4 | 1024×1024 | 16GB | 76.8s |
| なし | なし | 1 | 832×1152 | 15.2GB | 14.1s |
| なし | なし | 1 | 1024×1024 | 14.1GB | 16.1s |
| なし | なし | 4 | 1024×1024 | 16GB | 60.2s |
| あり | あり | 1 | 832×1152 | 16GB | 16.0s |
| あり | あり | 1 | 1024×1024 | 16GB | 13.6s |
| あり | あり | 4 | 1024×1024 | 16GB | 57.6s |
| あり | なし | 1 | 832×1152 | 16GB | 13.0s |
| あり | なし | 1 | 1024×1024 | 16GB | 12.9s |
| あり | なし | 4 | 1024×1024 | 16GB | 56.9s |
生成時間短縮、SDXL高速化のコツ
本記事で紹介した生成時間短縮のコツをまとめると次の通りです。
- Refinerをなしにする:Refinerをなしにすると細部の描画が甘くなりますが、構図はかわらないのです。Refinerなしで試行錯誤をして気に入ったものをRefinerで調整するような使い方がおすすめです。Refinerの設定でSwith atを1にするとRefinerなしで生成することができます。
- XFormersを有効化する:XFormersはNVIDIAのGPU搭載のPCでは入れておいて損はないでしょう。若干、VRAMメモリの消費が増えるのは気になりますが、おそらくバグだと思われるので改善される気がします。
解像度は何が良い？
SDXLでは512×512など以前のStable Diffusionの解像度で画像を生成すると良い画像が生成できません。理由は学習データに低解像の画像が含まれてないからです。そのため適切な解像度を設定する必要があります。
[2307.01952] SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis (arxiv.org)に学習データに使った解像度についての記載があったので引用します。
横長の解像度。
| Height | Width | Aspect Ratio |
|---|---|---|
| 512 | 2048 | 0.25 |
| 512 | 1984 | 0.26 |
| 512 | 1920 | 0.27 |
| 512 | 1856 | 0.28 |
| 576 | 1792 | 0.32 |
| 576 | 1728 | 0.33 |
| 576 | 1664 | 0.35 |
| 640 | 1600 | 0.4 |
| 640 | 1536 | 0.42 |
| 704 | 1472 | 0.48 |
| 704 | 1408 | 0.5 |
| 704 | 1344 | 0.52 |
| 768 | 1344 | 0.57 |
| 768 | 1280 | 0.6 |
| 832 | 1216 | 0.68 |
| 832 | 1152 | 0.72 |
| 896 | 1152 | 0.78 |
| 896 | 1088 | 0.82 |
| 960 | 1088 | 0.88 |
| 960 | 1024 | 0.94 |
縦長の解像度
| Height | Width | Aspect Ratio |
|---|---|---|
| 1024 | 1024 | 1.0 |
| 1024 | 960 | 1.07 |
| 1088 | 960 | 1.13 |
| 1088 | 896 | 1.21 |
| 1152 | 896 | 1.29 |
| 1152 | 832 | 1.38 |
| 1216 | 832 | 1.46 |
| 1280 | 768 | 1.67 |
| 1344 | 768 | 1.75 |
| 1408 | 704 | 2.0 |
| 1472 | 704 | 2.09 |
| 1536 | 640 | 2.4 |
| 1600 | 640 | 2.5 |
| 1664 | 576 | 2.89 |
| 1728 | 576 | 3.0 |
| 1792 | 576 | 3.11 |
| 1856 | 512 | 3.62 |
| 1920 | 512 | 3.75 |
| 1984 | 512 | 3.88 |
| 2048 | 512 | 4.0 |
コメント