–opt-sdp-attention,–opt-sdp-no-mem-attentionの使い方、xFormersとの併用についてを調査。

本記事ではStable Diffusion Web UIの画像生成を高速にする–opt-sdp-attentionや–opt-sdp-no-mem-attentionについて解説をします。次のような方におすすめの記事になっております。

Stable Diffusion Web UIの画像生成の時間を短縮したい。
opt-sdp-attentionについて詳しい背景を知りたい。
xformersを導入したいけど、GPUがNVIDIA製じゃなくてできない。
xformersと併用できるかどうかを知りたい。

opt-sdp-attentionとは？
1. Scaled Dot-Product Attentionとは？
–opt-sdp-attentionの使い方
xFormersとの違いは？
–xformers, –opt-sdp-attentionは併用できるのか？
検証してみた結果
–opt-sdp-attentionの非決定性を調査(non-deterministic)
結局どれを選べば良いか？

opt-sdp-attentionとは？

opt-sdp-attentionは”Optimize Scaled Dot-Product Attention”の略です。Scaled Dot-Product Attentionを最適化するということです。–opt-sdp-attentionをStable Diffusion Web UIを起動するときのコマンド引数として指定するとStable Diffusion Web UIの画像生成を高速化することができます。

Scaled Dot-Product Attentionとは？

Scaled Dot-Product Attentionはディープラーニングモデルの部品のことで、入力のどこに注目すべきかどうかを判断する仕組みです。Attentionという言葉を聞いたことがあるかもしれないですが、それの一種です。Attentionが初めて世に出た論文”Attention Is All You Need“の中でAttentionの形状が2つ提案されてて、それの1つがScaled Dot-Product Attentionです。

–opt-sdp-attentionの使い方

メモ帳などのテキストエディタでStable Diffusionの起動スクリプトであるwebui-user.bat(MacやLinuxの場合はwebui-user.sh)を開きます。開き方ですがメモ帳を開いてファイルをドラッグアンドドロップします。すると起動スクリプトの中身を見ることができて編集することができます。8行目に

set COMMANDLINE_ARGS=--opt-sdp-attention

の一行を追加します。これで--opt-sdp-attentionが設定されます。後ほど、紹介しますがほぼ同じ手法である--opt-sdp-no-mem-attentionというオプションもあって、これも同様に指定することで適用されます。

set COMMANDLINE_ARGS=--opt-sdp-no-mem-attention

xFormersとの違いは？

xFormersもattentionの最適化です。ただし、最適化手法に違いがあります。

--opt-sdp-attentionの方が計算速度が速いという記載がStable Diffusion Web UIのgithubのwikiにあります。

May results in faster speeds than using xFormers on some systems but requires more VRAM. (non-deterministic)
Optimizations · AUTOMATIC1111/stable-diffusion-webui Wiki (github.com)

私の環境で検証した結果では速度の違いはほんのわずかな差でした。

–opt-sdp-attentionのメリット

NVIDIA以外でも動作する
xFormers未対応のコードに対しても有効。AnimateDiffなど

–opt-sdp-attentionのデメリット

メモリ消費(VRAM)がxFormersよりも大きい。
非決定的(non-deterministic):同じ設定値でも生成される画像にランダム性が加わる。
- 決定的にしたかったら–opt-sdp-no-mem-attentionも指定できます。性能は–opt-sdp-attentionに比べると計算速度、メモリ効率がほんのわずかに悪化します。

–xformers, –opt-sdp-attentionは併用できるのか？

–opt-sdp-attentionの気になる点としてはxFormersを併用したらもっと良くなるじゃない？ということです。そこでstable diffusion Web UIのソースコードを確認してみました。その結果、実装上はどちらか一方が採用されます。現時点(2023/9/20)では、両方を引数に指定するとxfomersが採用されます。つまり、両方を指定することに意味はありません。