【Stable Diffusion】LoRAの使い方とおすすめLoRAを紹介

Stable DiffusionのLoRAは、Stable Diffusioinモデルを拡張機能する技術です。服装や人物、背景などのデティールを正確に表現をできる技術です。

本記事ではLoRAについての基本的な疑問を解決する記事となっています。

  • LoRAってなに?
  • LoRAを使うと何ができるの?
  • LoRAを導入して使ってみたいけど何から始めれば良い?
  • おすすめのLoRAは?

ちなみにLoRAの作り方や学習方法については次の記事を参考にしてください。

LoRAとは?

LoRA、その正式な名前はLow-Rank Adaptationです。これは独自の画像でAIを再学習させるための手法です。これにより、AIによる画像生成に、独自のタッチやデティール、コンセプトを加えることが可能となります。これは単に文章で説明を加えるよりも、より具体的で詳細なデティールを画像に反映させることが可能です。具体的にはアニメキャラクターを再現したり、服装の細かいデザインを固定して画像生成することができるようになります。

LoRAできること。画像付きで紹介

LoRAの探し方や導入方法について解説する前に、まずはLoRAを使った事例をいくつか見ていきましょう。これを見ることでよりLoRAの重要性についての理解を深めていきます。

服装変更

服装については様々なLoRAが存在します。実写系モデルで有効な服装について紹介します。

これはメイド服を実現するLoRAです。呪文(プロンプト)を工夫することでも可能ですが、細部のデザインなどがコントロールしづらいです。LoRAを利用することで細部のデザインが安定するので、お気に入りの画像を再現性高く生成することができます。

Better Maid Cosplay (Realistic + Anime) | Goofy Ai - v1.0 | Stable Diffusion LoRA | Civitai
If you like my work then Consider supporting me on Patreon and Buymeacoffee Custom Lora commission is open on Buymeacoff...

次は競泳水着のLoRAです。これも質感などはLoRAを使わないと再現できません。このようにLoRAは質感や細部へのこだわりの強いものを再現性高く生成するのに役立ちます。

Hydrasuit and competition swimsuit - V2.0 | Stable Diffusion LoRA | Civitai
A collection of various models of girls in hydrasuit, competition swimsuits and one piece swimsuit, highcut, highleg, hi...

ブルマの画像です。ブルマは日本特有の服装なのでプロンプトで生成しようと思っても上手くいきません。そんなブルマですがLoRAを作ることで上手く再現することができます。

Buruma, Bloomers(Old Japanese Gym Uniform) - v1.0 | Stable Diffusion LoRA | Civitai
This is buruma cosplay LoRA.Please give this wonderful LoRA a try, as it has undergone continuous improvements. We expla...

背景変更

カメラをもった人だかりの背景をLoRAで再現してみました。パパラッチの背景は呪文(プロンプト)で指定することもできますが、なかなか安定してパパラッチが出力されることは少ないです。LoRAを使うことで安定してパパラッチの背景が生成できるので、なんども画像生成する手間が省けることもLoRAの魅力です。

In public / photographers - v3.0-locon | Stable Diffusion LyCORIS | Civitai
LoRA trained to generate a person in public surrounded by people, such as photographers. Works with other LoRAs and vari...

図書館の中をLoRAで再現してみました。図書館の背景は、様々な場所にバラけがちですが、このように図書館の中でも本棚がある場所で撮ってほしい場合はLoRAを使ってシーンを固定することも可能です。

Library bookshelf - v1.6 | Stable Diffusion LoRA | Civitai
触发词:lib_bg 权重推荐:1

ポーズやシチュエーション指定

ポーズやシチュエーションの指定にもLoRAは有効です。プールの手すりやプールの手すりを握るポーズをテキストで指定するのは大変ですが、LoRAを使うことで簡単にしていすることができます。

concept Pool ladder - v1.0 | Stable Diffusion LyCORIS | Civitai
最近玩sd越来越少了……只能说随缘做一点东西吧 Playing sd has become less and less recently... I can only say that I can do something according...

手をハートにするポーズなどもあります。

Heart Hands / Pose - v1.0 | Stable Diffusion LoRA | Civitai
Heart hand pose. Generally use at 0.8 - 1.0. Can increase weight on prompt if you are having issues getting their hands ...

LoRAのダウンロードサイト(Civitai、Hugging Face)

LoRAを配布しているサイトとしては、次の2つがあります。

Civitai

Civitaiとは、AIアートの作成に必要なリソースを共有・発見するためのプラットフォームです。Civitaiは、Stable Diffusionモデル共有ハブであり、ユーザーが自分のデータを用いてトレーニングしたカスタムモデルをアップロード・共有できる点にあります。

また、他のユーザーが作成したモデルを参照・ダウンロードすることも可能です。これにより、ユーザーは自分だけのユニークな芸術作品を生成することができます。Civitaiは、無料で利用でき、ユーザーは登録してから自分のデータを用いてモデルをトレーニングし、それをアップロードして共有することができます。

画像生成AIのモデルが公開されているサイトとしては、最大級で新しいStable DiffusionモデルやLoRAを探す際にはCivitaiで探すことをおすすめします。

Civitai: The Home of Open-Source Generative AI
Explore thousands of high-quality Stable Diffusion models, share your AI-generated art, and engage with a vibrant commun...

Hugging Face

Hugging Faceは、機械学習を用いてアプリケーションを構築するためのツールを開発しているサイトです。Hugging Faceは、自然言語処理アプリケーション向けに構築されたtransformersライブラリと、ユーザーがAIをお手軽に利用できるプラットフォームで最も注目されています。

Hugging Faceは、MLモデルに使用するためのデータセットを提供し、データの操作が容易で効率的なツールを提供しています。また、Hugging FaceはGitHub上でも活動しており、様々なプロジェクトやリポジトリを公開しています。

Hugging Faceでも画像生成AIが多く公開せれておりますが、どんな画像が生成されるかなどの、詳細な内容までは充実しておりません。そのため、LoRAモデルを探すのには不向きです。Hugging関係のツールと連携する際にはHugging Faceの方でモデルを検索すると便利なこともあるので頭の片隅に入れておきましょう。

Models - Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Stable Diffusion Web UIへのLoRAの導入方法

Stable Diffusion Web UIを使っている人にとってはLoRAの導入はとても簡単なものです。

  1. CivitaiでLoRAを探してダウンロード
  2. ダウンロードしたファイルをStable Diffusion Web UIの”/stable-diffusion-webui/models/Lora”フォルダに配置
  3. 呪文(プロンプト)内でLoRAを指定するタグと、Trigger Tagを入力して、その他呪文(プロンプト)を入れるとLoRAに沿った画像が生成される。
LoRAの導入方法
  • 1/3
    CivitaiでLoRAを探す

    CivitaiでLoRAを探します。次はLoRAを検索する場合の例です。

    手順1: キーワード欄にキーワードを入力してEnterを押すとマッチするモデルが表示されます。

    手順2,3: LoRA以外のモデルも検索結果に引っかかるので必要に応じてフィルタリングします。フィルターマークをクリックしてFilter by Model TypeのLoRAにチェックします。

    手順4: するとLoRAだけが表示されるので検索結果から気になるものをクリックしてモデルのページを開きます。

  • 2/3
    LoRAのダウンロード

    Downloadというボタンが表示されていればそれをダウンロードします。ただし、下記の画像のように隠れている場合は、ダウンロードアイコンをクリックしてからModel SafeTensorをダウンロードしましょう。古いファイルの場合ptしかない場合もありますがそれでもOKです。

  • 3/3
    ダウンロードしたファイルをLoRAフォルダに配置

    ダウンロードしたファイルは”stable-diffusion-webui\models\Lora\”配下に配置しましょう。直接配置しても良いですが下記のようにカテゴリーごとにフォルダを分けて保存すると後々管理が楽になりおすすめです。またLoRAをクイックアクセスに追加しておくことをおすすめします。

    safetensorsは以下のようにbackgroundフォルダに追加しました。

Stable Diffusion Web UIでLoRAを実行する。

LoRAタブを開く

  • 旧バージョンの場合。Stable Diffusion Web UIにアクセスしたらがGenerateボタンの下にある🎴のマークをクリックしてください。すると補助機能の設定画面が開きます。
  • 新バージョンの場合。ネガティブプロンプトの下にLoRAタブがあるのでそちらを開きます

LoRAをクリックしてプロンプトにLoRAタグを追加

次にLoraのタブに移動します。新規にLoRAを追加した場合はRefreshをしないと、新しいLoRAは表示されません。キーワードでフィルタリングすることもできます。適用したいLoRAを見つけたらカードをクリックします。すると呪文(プロンプト)が追加されます。

追加される呪文(プロンプト)ですが上記の呪文(プロンプト)の場合は以下のようになります。

 <lora:libbg_v16:1>

この書式の意味を解説すると次の通りです。

 <lora:LoRAのID:LoRAを適用する強度>

トリガーワードを入力

ただし、これだけでは呪文(プロンプト)にLoRAが適用されません。適用するためにはコンセプトを表す言葉であるトリガーワードが必要となります。トリガーワードはcivitaiのページに記載されています。

この場合はLIB_BGなのでそれを入力するとLoRAが適用された画像が生成されます。あとは通常通りプロンプトを入力します。

LIB_BG,<lora:libbg_v16:1>,あとは普通に呪文(プロンプト)を入力する。

FAQ

LoRAトリガーワード忘れた。LoRAのトリガーワードを確認&保存する方法。

トリガーワードを毎回入力したり、忘れたときにCivitaiで毎回検索したりしてませんか?

その手間はLoRAのメタデータ閲覧機能を使うと一発で解決できます。メタデータを見ることで学習に使われたタグデータを確認することができたり、一緒に使うトリガーワード(Activation words)を設定することができます。Activation wordsを設定することでLoRAのメニューからクリックでLoRAを適用することでLoRAのタグだけではなくトリガーワードをプロンプトに自動入力することができます。

トリガーワードの自動適用の設定
  • 1/5
    LoRAのメニューを開く

    旧バージョンの場合は「🎴」クリックしてLoRAタブを開きます

    新バージョンの場合はプロンプト下のLoRAタブを開きます。

  • 2/5
    LoRAメタデータ編集画面を開く

    LoRAの上にマウスカーソルを動かすと設定マークが表示されるので、設定マークをクリックして編集画面を開きます。

  • 3/5
    メタデータ編集画面の確認

    メタデータ編集画面を開くと学習に使われたタグなどが表示されています。まれにLoRAによってはこれらのデータが削除されていることがあります。

  • 4/5
    Activation textを入力

    使いたいタグをクリックするとActivation textに追記されます。ここでLoRA適用する際に同時に追加いたいキーワードを選択します。直接テキストで入力することもできます。入力したら忘れずにSaveで設定を保存しましょう。

  • 5/5
    LoRAカードをクリックするだけでActivation Wordも追加される

    以降はLoRAのカードをクリックするとLoRAタグと一緒に、Activation Wordが適用されます。これでトリガーワードを覚えたり一個一個Civitaiで調べる手間が省けます。

LoRAが消えた。メニューが見当たらない。

Stable Diffusion Web UIの新バージョンv1.6.0ではLoRAの表示が変わりました。今までは🎴からLoRAのメニューを開いてましたが、今後はネガティブプロンプトの下にLoRAのタブが表示されています。こちらからLoRAを設定することになります。

コメント