ControlNet 1.1 新機能instruct pix2pix（ip2p）を試す。

ControlNet

2023.09.07

本記事ではControlNet 1.1で初登場のControlNet Instruct Pix2Pixの使い方を解説します。本記事を読むことで次のような疑問が解消することができます。

ControlNet instruct pix2pixのできること
ControlNet instruct pix2pixの使い方が知りたい
instruct pix2pixの性能を知りたい。

目次

ControlNet instruct pix2pixとは?
ControlNet instruct pix2pixでできること
ControlNet instruct pix2pixの使い方
ControlNet Inpaintの具体的な使い方
使い勝手は他の機能のほうが良さそう

ControlNet instruct pix2pixとは?

ControlNet Instruct Pix2Pixは呪文(プロンプト)を入力することで画像の書き換えを行う機能です。呪文(プロンプト)は”make Y X”,”make Y into X”といった命令文形式で入力するのが特徴的です。Stable Diffusionにはほぼ同じ機能としてimg2imgがあります。pix2pixの位置づけとしては、実験的に公開しているという状況なので、img2imgと比べて特に具体的なメリットがあるとは言えない状況です。ただし、性質が異なるので、試しに使ってみて使い分けを模索してみましょう。

ControlNet instruct pix2pixでできること

Pix2Pixでできることの例として次の活用例を本記事では紹介します。Pix2Pixは画面全体への影響が大きいので部分的な修正よりは全体的な修正に向いています。

表情の変換:

髪型の変換:

年齢の変換:

コンセプトの適用:

ControlNet instruct pix2pixの使い方

ControlNetをインストール

ControlNet instruct pix2pixはStable Diffusion Web UIの拡張機能、ControlNetの機能の1つです。そのため、ControlNet instruct pix2pixを利用するためには、ControlNetがインストールされている必要があります。もし、インストールしていない場合は以下の記事を参考にControlNetをインストールしましょう。

ControlNet instruct pix2pix モデルをダウンロード

ControlNet instruct pix2pixの利用にはControlNetのinstruct pix2pix Modelが必要となります。以下のリンクから次の2つのファイルをダウンロードしてstable-diffusion-webui/models/ControlNetへ配置してください。

control_v11e_sd15_ip2p.pth
control_v11e_sd15_ip2p.yaml

lllyasviel/ControlNet-v1-1 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Web UIでの利用手順

pix2pixで適用したい呪文(プロンプト)を入力します。呪文(プロンプト)は”make her smile”のように命令文形式で入力してください。
ControlNetのメニューを開きます。
画像をControlNetのメニューにセットします。
ControlNetのメニューの“Enable”にチェックを入れます
Control Typeは”IP2P”を選択。
画像を生成するとpix2pixが適用された画像が生成されます。

ControlNet Inpaintの具体的な使い方

表情の変換

表情変換を試してみます。

呪文(プロンプト)にmake her smileを入力します。

これで生成された画像は次の通りです。左が参照画像で右がpix2pix後の画像です。呪文(プロンプト)に指定した通り笑顔になっています。ただし、画像全体への影響が大きく、服装や背景もがらっと変わってしまいした。

髪型の変更

次に髪型の変更を試してみます。

呪文(プロンプト)にmake her blonde hairを入力します。

これで生成された画像は次の通りです。左が参照画像で右がpix2pix後の画像です。呪文(プロンプト)に指定した通り金髪にはなっています。ただし、画像全体への影響が大きく、全体的に金色になってしまいます。

年齢の変更

次に年齢の変更を試してみます。

呪文(プロンプト)にmake her 10 years oldを入力します。

年齢が若くはなっているので呪文(プロンプト)は効いています。ただし余計な修正が多いように感じます。

インペイントは色の書き換えには向いてないようです。もし服装の色を切り替えたい場合はControlNet TileやReference Onlyなども試してみてください。

コンセプトの適用

ControlNet 1.1のレポジトリで紹介されていた例としてmake he iron manが上手くいってました。アイアンマンの雰囲気がよく出ていたので、こういったコンセプトを指定すると良くなると思いためしてみました。

GitHub - lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1

Nightly release of ControlNet 1.1. Contribute to lllyasviel/ControlNet-v1-1-nightly development by creating an account o...

そこで今回は女性の画像なので呪文(プロンプト)は

make her Cinderella

にしてみます。

すると背景などもシンデレラっぽくなり画面全体としての調和がとれていることがわかります。

pix2pixは画像全体への影響度が大きいので、コンセプトを指定するのが良いかもしれないです。

使い勝手は他の機能のほうが良さそう

これまでの結果からpix2pixは画像全体へ影響があります。部分的に画像を変換したい場合は次に紹介するTile, reference only, inpaintのほうが使い勝手が良いでしょう。

コメント