ローカル環境のStable Diffusion web UIにVAEを追加

やりたいこと

ローカルで動作するStable Diffusion web UIにVAEを追加します。

Googleの検索AIによると以下の通りです。

VAE（Variational AutoEncoder）は、画像生成や異常検知など、AIの様々な分野で活用される深層学習モデルです。教師なし学習の一種で、データを圧縮・復元するオートエンコーダをベースに、潜在変数に確率分布を導入した点が特徴です。

上の説明だとよくわかりませんがStableDiffusionでは、出力画像をきれいにするプラグイン。ぐらいに思ってもらって問題ないです。

stable-diffusion-webui-forge

（他のstable-diffusion-webuiは同じ方法でVAEのインストールできます）

VAEをダウンロードします。

VAEはそのものを探すというよりは、モデルのダウンロードページにおすすめのVAEのリンクがはってあったりします。

ここでは私の使っているVAEのリンクを張っておきます。

stability ai(Stable Diffusion開発元)によるVAEです。

実写、アニメ調のモデルともに使用できます。

以下のページの”vae-ft-mse-840000-ema-pruned.ckpt”からダウンロードできます。

アニメ画像用のVAEです。

以下のページの”kl-f8-anime.ckpt”からダウンロードできます。

ダウンロードしたファイルは以下のフォルダにコピーします。

インストールフォルダ\webui\models\VAE

StableDiffusionのインストール方法によりwebuiフォルダがなく、”インストールフォルダ\models\VAE”の場合があります。

コピーが完了したらGUIの下のボタンをクリックします。

処理が完了するとボタンのした画像のプルダウンからダウンロードしたVAEが選択できるようになります。

上のプルダウンに表示されるものはVAEだけではありません。

VAEはモデルとの相性があります。VAEを設定したからと言ってかならずいい画像が作成できるわけではありません。（個人の好みもありますし）

使用しているStableDiffusionにより”VAE/TextEncoder”ではなく”VAE”と表示されます。

上記のVAE/Text Encoderから使用したいVAEを選択してあとは通常の画像生成と同様にプロンプトを設定してGenerateをクリックします。

下はvae-ft-mse-840000-ema-pruned.ckptを使用/未使用の比較です。
左側が未使用、右側が使用して生成した画像です。

右側の方がくっきりした画像なのが分かると思います。