ControlNet 1.1新機能Shuffleの使い方

ControlNet 1.1で初登場のControlNet Shuffle(シャッフル)の使い方を解説します。本記事を読むと次のような疑問を解消するができます。

  • ControlNet Shuffleを使うと何ができるのか?
  • ControlNet Shuffleの使い方が知りたい

ControlNet Shuffleできること:参照画像の色合いを元に画像を生成

ControlNet Shuffleできることは参照画像の色合いを元に画像を生成することです。テクスチャについても若干影響してそうです。他のControlNetの手法と比べると単純な機能ですが、色合いを呪文(プロンプト)で指定する手間が省けて、それ以外の影響度が少ないので使いやすい機能です。

「モナ・リザ」+ 呪文(プロンプト): 1girl, a 20 years old pretty Japanese girl in classroom.school uniform,blackboard

「真珠の耳飾の少女」+ 呪文(プロンプト): 1girl, a 20 years old pretty Japanese girl in classroom.school uniform,blackboard

いらすとやの画像 + 呪文(プロンプト): 1girl, a 20 years old pretty Japanese girl in classroom.school uniform,blackboard

ControlNet Shuffleの使い方

ControlNetをインストール

ControlNet ShuffleはStable Diffusion Web UIの拡張機能、ControlNetの機能の1つです。そのため、ControlNet Shuffleを利用するためには、ControlNetがインストールされている必要があります。もし、インストールしていない場合は以下の記事を参考にControlNetをインストールしましょう。

ControlNet Shuffleモデルをダウンロード

ControlNet Shuffleの利用にはControlNet Shuffleのモデルが必要となります。以下のリンクから次の2つのファイルをダウンロードしてstable-diffusion-webui/models/ControlNetへ配置してください。

  • control_v11e_sd15_shuffle.pth
  • control_v11e_sd15_shuffle.yaml
lllyasviel/ControlNet-v1-1 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Web UIでの利用手順

  1. 生成したい画像の呪文(プロンプト)を入力します。
  2. ControlNetのメニューを開きます。
  3. ControlNetのメニュー画面で画像をセットします。
  4. Enableにチェックを入れます。
  5. Control Typeは”Shuffle”を選択。
  6. 特徴抽出ボタン「💥」をクリックして特徴抽出。
  7. 画像を生成するとShuffleが適用された画像が生成されます。

似た画像を生成したい場合は次のControlNetの機能もおすすめ

ある画像に似た画像を生成したい場合は次のようなControlNetの機能もあります。

Tileは画像をタイル状に処理して再度画像を生成することで色味や構図などを保持したまま画像を生成することができます。Shuffleを使うと構図は変わってしまいますが、維持したい場合はControlNet Tileがおすすめです。

Reference onlyは画像の特徴を保持したまま呪文(プロンプト)にしたがって、画像を生成する機能です。呪文(プロンプト)に指定した内容以外の特徴を保持したまま変換できます。色味だけではなく、顔の特徴などを保持したりとShuffleよりも応用範囲が広いです。

コメント