【Stable Diffusion】LoRAの使い方とおすすめLoRAを紹介

Stable DiffusionのLoRAは、Stable Diffusioinモデルを拡張機能する技術です。服装や人物、背景などのデティールを正確に表現をできる技術です。

本記事ではLoRAについての基本的な疑問を解決する記事となっています。

ちなみにLoRAの作り方や学習方法については次の記事を参考にしてください。

LoRA作り方。データセットの作成とLoRA学習(Colab&ローカル)完全解説【StableDiffusion】

私が最初にGoogle Colabやローカル環境でLoRAを作成しようと思ったとき、「LoRAの解説記事を探してみたけど情報が古い…」「LoRAの解説記事あるけど、有料記事…」といったことがあり十分な情報がなく苦労...

kindanai.com

2023.07.24

LoRAとは？

LoRA、その正式な名前はLow-Rank Adaptationです。これは独自の画像でAIを再学習させるための手法です。これにより、AIによる画像生成に、独自のタッチやデティール、コンセプトを加えることが可能となります。これは単に文章で説明を加えるよりも、より具体的で詳細なデティールを画像に反映させることが可能です。具体的にはアニメキャラクターを再現したり、服装の細かいデザインを固定して画像生成することができるようになります。

LoRAできること。画像付きで紹介

LoRAの探し方や導入方法について解説する前に、まずはLoRAを使った事例をいくつか見ていきましょう。これを見ることでよりLoRAの重要性についての理解を深めていきます。

服装変更

服装については様々なLoRAが存在します。実写系モデルで有効な服装について紹介します。

これはメイド服を実現するLoRAです。呪文(プロンプト)を工夫することでも可能ですが、細部のデザインなどがコントロールしづらいです。LoRAを利用することで細部のデザインが安定するので、お気に入りの画像を再現性高く生成することができます。

Better Maid Cosplay (Realistic + Anime) | Goofy Ai - v1.0 | Stable Diffusion LoRA | Civitai

If you like my work then Consider supporting me on Patreon and Buymeacoffee Custom Lora commission is open on Buymeacoffee Also my new merge model ...

civitai.com

次は競泳水着のLoRAです。これも質感などはLoRAを使わないと再現できません。このようにLoRAは質感や細部へのこだわりの強いものを再現性高く生成するのに役立ちます。

Hydrasuit and competition swimsuit - V2.0 | Stable Diffusion LoRA | Civitai

A collection of various models of girls in hydrasuit, competition swimsuits and one piece swimsuit, highcut, highleg, highneck, turtleneck

civitai.com

ブルマの画像です。ブルマは日本特有の服装なのでプロンプトで生成しようと思っても上手くいきません。そんなブルマですがLoRAを作ることで上手く再現することができます。

Buruma, Bloomers(Old Japanese Gym Uniform) - v1.0 | Stable Diffusion LoRA | Civitai

This is buruma cosplay LoRA.Please give this wonderful LoRA a try, as it has undergone continuous improvements. We explain how to create datasets a...

civitai.com

背景変更

カメラをもった人だかりの背景をLoRAで再現してみました。パパラッチの背景は呪文(プロンプト)で指定することもできますが、なかなか安定してパパラッチが出力されることは少ないです。LoRAを使うことで安定してパパラッチの背景が生成できるので、なんども画像生成する手間が省けることもLoRAの魅力です。

In public / photographers - v3.0-locon | Stable Diffusion LyCORIS | Civitai

LoRA trained to generate a person in public surrounded by people, such as photographers. Works with other LoRAs and various models. UPDATE - new tr...

civitai.com

図書館の中をLoRAで再現してみました。図書館の背景は、様々な場所にバラけがちですが、このように図書館の中でも本棚がある場所で撮ってほしい場合はLoRAを使ってシーンを固定することも可能です。

Library bookshelf - v1.6 | Stable Diffusion LoRA | Civitai

触发词：lib_bg 权重推荐：1

civitai.com

ポーズやシチュエーション指定

ポーズやシチュエーションの指定にもLoRAは有効です。プールの手すりやプールの手すりを握るポーズをテキストで指定するのは大変ですが、LoRAを使うことで簡単にしていすることができます。

concept Pool ladder - v1.0 | Stable Diffusion LyCORIS | Civitai

最近玩sd越来越少了……只能说随缘做一点东西吧 Playing sd has become less and less recently... I can only say that I can do something according to the fate

civitai.com

手をハートにするポーズなどもあります。

Heart Hands / Pose - v1.0 | Stable Diffusion LoRA | Civitai

Heart hand pose. Generally use at 0.8 - 1.0. Can increase weight on prompt if you are having issues getting their hands together.

civitai.com

LoRAのダウンロードサイト（Civitai、Hugging Face）

LoRAを配布しているサイトとしては、次の2つがあります。

• https://civitai.com/

• https://huggingface.co/models?other=lora

Civitai

Civitaiとは、AIアートの作成に必要なリソースを共有・発見するためのプラットフォームです。Civitaiは、Stable Diffusionモデル共有ハブであり、ユーザーが自分のデータを用いてトレーニングしたカスタムモデルをアップロード・共有できる点にあります。

また、他のユーザーが作成したモデルを参照・ダウンロードすることも可能です。これにより、ユーザーは自分だけのユニークな芸術作品を生成することができます。Civitaiは、無料で利用でき、ユーザーは登録してから自分のデータを用いてモデルをトレーニングし、それをアップロードして共有することができます。

画像生成AIのモデルが公開されているサイトとしては、最大級で新しいStable DiffusionモデルやLoRAを探す際にはCivitaiで探すことをおすすめします。

Civitai: The Home of Open-Source Generative AI

Explore thousands of high-quality Stable Diffusion models, share your AI-generated art, and engage with a vibrant community of creators

civitai.com

Hugging Face

Hugging Faceは、機械学習を用いてアプリケーションを構築するためのツールを開発しているサイトです。Hugging Faceは、自然言語処理アプリケーション向けに構築されたtransformersライブラリと、ユーザーがAIをお手軽に利用できるプラットフォームで最も注目されています。

Hugging Faceは、MLモデルに使用するためのデータセットを提供し、データの操作が容易で効率的なツールを提供しています。また、Hugging FaceはGitHub上でも活動しており、様々なプロジェクトやリポジトリを公開しています。

Hugging Faceでも画像生成AIが多く公開せれておりますが、どんな画像が生成されるかなどの、詳細な内容までは充実しておりません。そのため、LoRAモデルを探すのには不向きです。Hugging関係のツールと連携する際にはHugging Faceの方でモデルを検索すると便利なこともあるので頭の片隅に入れておきましょう。

Models - Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Stable Diffusion Web UIへのLoRAの導入方法

Stable Diffusion Web UIを使っている人にとってはLoRAの導入はとても簡単なものです。

1. CivitaiでLoRAを探してダウンロード
2. ダウンロードしたファイルをStable Diffusion Web UIの”/stable-diffusion-webui/models/Lora”フォルダに配置
3. 呪文(プロンプト)内でLoRAを指定するタグと、Trigger Tagを入力して、その他呪文(プロンプト)を入れるとLoRAに沿った画像が生成される。

Stable Diffusion Web UIでLoRAを実行する。

LoRAタブを開く

• 旧バージョンの場合。Stable Diffusion Web UIにアクセスしたらがGenerateボタンの下にある🎴のマークをクリックしてください。すると補助機能の設定画面が開きます。

• 新バージョンの場合。ネガティブプロンプトの下にLoRAタブがあるのでそちらを開きます

LoRAをクリックしてプロンプトにLoRAタグを追加

次にLoraのタブに移動します。新規にLoRAを追加した場合はRefreshをしないと、新しいLoRAは表示されません。キーワードでフィルタリングすることもできます。適用したいLoRAを見つけたらカードをクリックします。すると呪文(プロンプト)が追加されます。

追加される呪文(プロンプト)ですが上記の呪文(プロンプト)の場合は以下のようになります。

 <lora:libbg_v16:1>

この書式の意味を解説すると次の通りです。

 <lora:LoRAのID:LoRAを適用する強度>

トリガーワードを入力

ただし、これだけでは呪文(プロンプト)にLoRAが適用されません。適用するためにはコンセプトを表す言葉であるトリガーワードが必要となります。トリガーワードはcivitaiのページに記載されています。

この場合はLIB_BGなのでそれを入力するとLoRAが適用された画像が生成されます。あとは通常通りプロンプトを入力します。

LIB_BG,<lora:libbg_v16:1>,あとは普通に呪文(プロンプト)を入力する。

FAQ

LoRAトリガーワード忘れた。LoRAのトリガーワードを確認&保存する方法。

トリガーワードを毎回入力したり、忘れたときにCivitaiで毎回検索したりしてませんか？

その手間はLoRAのメタデータ閲覧機能を使うと一発で解決できます。メタデータを見ることで学習に使われたタグデータを確認することができたり、一緒に使うトリガーワード(Activation words)を設定することができます。Activation wordsを設定することでLoRAのメニューからクリックでLoRAを適用することでLoRAのタグだけではなくトリガーワードをプロンプトに自動入力することができます。