便利になった！img2img(i2i)とinpaintでControlNetを使う

ControlNet v1.1.140でimg2img(i2i)画面が改善されて使いやすくなっていたので使い方を解説します。またinpaintも便利になりましたが少しわかりづらい部分があったので調査してみました。

ControlNet img2img(i2i)の使い方
ControlNet img2img(i2i):今回のアップデートで便利になった点
ControlNet inpaintの使い方: InpaintでControlNetを使う
ControlNet inpaint:今回のアップデートで便利になった点
FAQ
1. ControlNet Inpaintでマスクをアップロードしたい。
2. img2imgのControlNetの参照画像を変更したい。

ControlNet img2img(i2i)の使い方

早速ですがi2iでの使い方を紹介します。今回は次のぱくたそで配布されているチアリーダーの画像をControlNet Openposeの参照画像として同じポーズで画像を生成します。

ジャンプする応援チアガール｜フリー素材のぱくたそ

ジャンプする応援チアガールの写真はジャンプ・チア・ポンポン・女子マネに関連するのフリー素材です。高解像度（3257px×4548px）の素材を無料でダウンロードできます。

img2imgでControlNetを使う

1/4
img2imgに参照画像をセット

img2imgタブに切り替えてプロンプトとネガティブプロンプトを入力して画像をセットします。ちなみにプロンプトとネガティブプロンプトは次のとおりです。

プロンプト: (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), Japanese woman in stadium, cheerleader

ネガティブプロンプト: EasyNegative, (worst quality, low quality: 2.0), normal quality, ugly face, unclear eyes, bad mouth, bad anatomy, extra legs, beach, bad anatomy
2/4
解像度を調整

参照画像の縦横比(アスペクト比)にあうように解像度を調整します。正方形、縦長、横長などおおよそあっていれば問題ないです。後はControlNetのメニューを開きます。
3/4
ControlNetの設定

ControlNetの設定をします。まずはEnableを選択して、Control Typeを”OpenPose”にします。PreprocessorとModelがセットされますが、お気に入りのものがあればそれに設定を変更します。
4/4
画像を生成する

あとは画像を生成すると特徴抽出が行われてControlNetによる画像が生成されます。

ControlNet img2img(i2i):今回のアップデートで便利になった点

今回のアップデートで便利になった点としては次の2点です。

ControlNetメニューでセットしていた画像がimg2imgでセットするだけで済む:一見、地味な変更点ですが、ControlNetを複数利用する際に一個一個セットしていた画像が一回セットするだけで済むので大きなメリットです。
特徴抽出ボタンをクリックする手間が省ける: 特徴抽出ボタン「💥」を今まではクリックしていましたがそれがなくなったのも大きなメリットの一つです。

これによりimg2imgの使い勝手が大幅に向上したため、txt2imgでControlNetを使って画像を生成するよりも手間が省けて便利になりました。今後はtxt2imgよりもimg2imgで利用するのをおすすめします。特に複数ControlNetを併用する場合はとても便利です。

ControlNet inpaintの使い方: InpaintでControlNetを使う

img2imgではControlNet inpaintのマスクを描くことができません。代わりにInpaintタブを使いましょう。インペイントする画像ですがぱくたそで配布されている次の画像を使います。黒板消しを消してみます。

黒板とJK（女子高生）｜フリー素材のぱくたそ

黒板とJK（女子高生）の写真は女子高生・黒板に関連する人物のフリー素材です。高解像度（5648px×3677px）の素材を無料でダウンロードできます。

inpaintでControlNetを使う

1/4
プロンプトを入力して画像をセットして修正箇所にマスク

img2imgタブに切り替えます。プロンプトとネガティブプロンプトを入力します。inpaintタブに切り替えて画像をセットします。後は修正したい箇所にマスクを描きます。黒板消しにマスクをします。

ちなみにプロンプトとネガティブプロンプトは次のとおりです。

プロンプト: (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), Japanese woman. black board

ネガティブプロンプト: EasyNegative, (worst quality, low quality: 2.0), normal quality, ugly face, unclear eyes, bad mouth, bad anatomy, extra legs, beach, bad anatomy
2/4
解像度を調整

参照画像の縦横比(アスペクト比)にあうように解像度を調整します。正方形、縦長、横長などおおよそあっていれば問題ないです。後はControlNetのメニューを開きます。
3/4
ControlNet Inpaintの設定

ControlNetの設定をします。まずはEnableを選択して、Control Typeを”Inpaint”にします。PreprocessorとModelがセットされますが、お気に入りのものがあればそれに設定を変更します。
4/4
画像を生成する

あとは画像を生成すると特徴抽出が行われてControlNetによる画像が生成されます。マスクした黒板消しが消えていることが確認できます。

ControlNet inpaint:今回のアップデートで便利になった点

今回のアップデートで便利になった点としては次の2点です。

inpaint画面でマスクを描きやすくなった: 今まではControlNetメニュー内のキャンバスでマスクを描く必要がありましたが、inpaint画面だと大きくなったのでマスクを描きやすくなりました。
特徴抽出ボタンをクリックする手間が省ける: 特徴抽出ボタン「💥」を今まではクリックしていましたがそれがなくなったのも大きなメリットの一つです。

ControlNet Inpaintは性能が良い反面、ControlNetメニュー内の小さなキャンバスでマスクを編集するのが手間でした。Inpaintメニュー内でそれを行えるようになったので便利になりました。またInpaintに共通化されたことでマスク画像をアップロードして指定することもできるようになったり、拡張機能を組み合わせることでキャンバスをズームしたりと今までInpaint向けにあった機能がControlNetで使えるようになったことも大きな変化です。