ControlNetは機能が多すぎて、どれを使って良いかわからないですよね。そんな人の悩みを解決するためにControlNetの実用例を解説しています。今回、取り上げるのはControlNet Soft Edgeです。本記事を読むことで次のような疑問が解消されるでしょう。
- ControlNet Soft Edgeって何？
- ControlNet Soft Edgeの具体的な実用例は？
- ControlNet Lineart, Scribble, Cannyなどの類似手法との違いを知りたい。
ControlNet Soft Edgeとは？
ControlNet Soft Edgeは、ControlNetのモデルの一つで、画像のエッジをスケッチのように抽出します。Scribbleと特性は似通っていますが、Soft Edgeは細かい線も抽出することができます。Soft Edgeには様々なパターンで線画を抽出することができるので選択肢が多いのが特徴です。細部の線も取捨選択して抽出されるためノイズにも影響されずに、細部の特性も保持できることが強みです。
「呪文(プロンプト)から画像を生成する」と「ControlNet Soft Edge」を使用する場合の違い
呪文(プロンプト)から画像を生成する場合は、テキスト入力に基づいて画像が生成されます。
一方、ControlNet Soft Edgeを使用する場合は、元画像の輪郭や重要なデティールを抽出し、色を塗るように、画像を生成するので輪郭から詳細なデティールを保ったまま画像が生成されます。
そのため構図や形状、デティールを意図した通りにコントロールできるので、何度も画像を生成しなおす手間が省けて便利です。
ControlNet Soft Edgeでできること
- 質感やテクスチャ、色の変更
- 実写画像のイラスト化、イラストの実写化
- 線画の色塗り
質感やテクスチャ、色の変更
左が参照画像、右がそれをSoft Edgeを使ってテクスチャを変更した画像です。肌を日焼けさせるプロンプトを指定しました。
実写画像のイラスト化、イラストの実写化
左が参照画像、右がそれをSoft Edgeを使ってイラスト化した画像です。
左が参照画像、右がそれをScribbleを使って実写化した画像です。
線画の色塗り
左が参照画像、右がそれをSoft Edgeを使って実写化した画像です。
ControlNet Soft Edgeの利用方法
ControlNet Soft Edgeの事前準備
ControlNet Soft EdgeはStable Diffusion Web UIの拡張機能、ControlNetの機能の1つです。 そのため、ControlNet Soft Edgeを利用するためには、ControlNetがインストールされている必要があります。 もし、インストールしていない場合は以下の記事を参考にControlNetをインストールしましょう。
ControlNet Soft Edgeのインストール方法
ControlNet Soft Edgeの利用にはControlNet Modelが必要となります。以下のリンクから次の2つのファイルをダウンロードしてstable-diffusion-webui/models/ControlNetへ配置してください。
- control_v11p_sd15_softedge.pth
- control_v11p_sd15_softedge.yaml
ControlNet Soft Edgeの使い方
ControlNetのメニューを次の手順にしたがって設定します。
- 生成する画像のプロンプトを入力します。
- 「▼」をクリックしてControlNetのメニューを開きます。
- 参照画像をControlNetのメニュー画面にセットします。
- ControlNetを有効にするため”Enable”にチェックを入れます。
- Control Typeで”SoftEdge”を選択します。これでPreprocessor(前処理)とControlNet Modelが設定されます。
- 特徴抽出ボタン「💥」をクリックして特徴抽出します。前処理が適用されて特徴抽出の結果が表示されます。
- これでControlNet Soft Edgeが適用されるので、”Generate”をクリックして画像を生成します。
ControlNet Soft Edgeの具体的な使い方
それでは「ControlNet Soft Edgeでできること」で紹介した例の具体的な手順について紹介します。
質感やテクスチャ、色の変更
ControlNet Soft Edgeを使うことで質感やテクスチャの変更ができます。例えば肌の質感を変更することができます。生成した画像で肌が汚いケースでは美肌に修正したり、肌の色を変えてみたり、汗をかかせたりすることができます。
今回は肌を日焼けさせてみます。
ControlNetのメニュー画面に次のような設定を入力します。
- 画像をControlNetのメニュー画面にドラッグ＆ドロップします。
- “Enable”にチェックを入れます。
- Control Typeの”SoftEdge”を選択
- 特徴抽出ボタン「💥」をクリックして特徴抽出。
後は生成する画像の呪文(プロンプト)を入力します。
プロンプト: (brown skin, tanned skin: 2), 1girl, a 20 years old pretty Japanese girl in classroom.school uniform,blackboard
もし画像サイズなど他にも画像生成の設定したい事項があれば変更してください。
以下は生成した画像です。日焼けしていることがわかります。
実写画像のイラスト化、イラストの実写化
実写画像をイラストへ変換する。
次に実写画像をイラストにしてみます。ControlNetの設定は先ほどと同じです。
- まずは今回はイラスト化なので、モデルをイラスト系モデルに切り替えます。
- 生成する画像の呪文(プロンプト)を入力します。
- 画像を生成します。
モデル: AnythingV5Ink_ink.safetensors [a1535d0a42]
プロンプト: 1girl, a 20 years old pretty Japanese girl in classroom.school uniform,blackboard
もし画像サイズなど他にも画像生成の設定したい事項があれば変更してください。
生成した画像は次の通りです。
イラストを実写画像に変換する。
次はイラストを実写化してみます。ControlNetのメニューですが今までと設定値が違うので注意してください。以下のとおりにControlNetで設定と特徴抽出を行います。
- 画像をControlNetのメニュー画面にドラッグ＆ドロップします。
- “Enable”にチェックを入れます。
- Control Typeの”SoftEdge”を選択
- 特徴抽出ボタン「💥」をクリックして特徴抽出。
- Control ModeでMy Prompt is more importantを選択。これは線画に忠実に画像を生成すると、目の大きさが大きくなりすぎたりするので、プロンプトに重きを置くように設定するためです。
次に画像生成の設定を行います。
- 実写画像なので、モデルを実写画像系モデルに切り替えます。
- 生成する画像の呪文(プロンプト)を入力します。
- 画像を生成します。
モデル: beautifulRealistic_brav5.safetensors [ac68270450]
プロンプト: 1girl, a 20 years old pretty Japanese girl in classroom.school uniform,blackboard
もし画像サイズなど他にも画像生成の設定したい事項があれば変更してください。
生成した画像は次の通りです。
線画の色塗り
次は線画の色塗りについて紹介します。質感やテクスチャ、色の変更のときと設定は同様です。
- 画像をControlNetのメニュー画面にドラッグ＆ドロップします。
- “Enable”にチェックを入れます。
- Control Typeの”SoftEdge”を選択
- 特徴抽出ボタン「💥」をクリックして特徴抽出。
次に画像生成の方の設定を調整します。
- モデルをイラスト系モデルに切り替えます。
- 生成する画像の呪文(プロンプト)を入力します。
- 画像を生成します。
モデル: AnythingV5Ink_ink.safetensors [a1535d0a42]
プロンプト: 1girl, suits, question
もし画像サイズなど他にも画像生成の設定したい事項があれば変更してください。
結果は次の通りです。
ControlNet Soft Edgeの設定について
Preprocessorについて
- Soft Edge HED: このプリプロセッサオプションは、ソフトエッジ効果を使用して、幅や明るさが異なる線でエッジを表現します。Cannyのような固定幅のエッジと比較して、線がより滑らかで、より多くの詳細とコンテンツを保持します。
- Soft Edge HEDSafe: このプリプロセッサオプションは、SoftEdge HEDと似ていますが、不適切なコンテンツを生成しないようにするための追加の安全対策があります。
- Soft Edge PIDINet: このプリプロセッサオプションは、深層ニューラルネットワークを使用して、画像から輪郭を抽出します。
- Soft Edge PIDISafe: このプリプロセッサオプションは、SoftEdge PIDINetと似ていますが、不適切なコンテンツを生成しないようにするための追加の安全対策があります。
コメント