AI

AI

ローカル環境のStable Diffusion web UIにVAEを追加

やりたいことローカルで動作するStable Diffusion web UIにVAEを追加します。VAEとはGoogleの検索AIによると以下の通りです。VAE(Variational AutoEncoder)は、画像生成や異常検知など、AIの様々な分野で活用される深層学習モデルです。教師なし学習の一種で、データを圧縮・復元するオートエンコーダをベースに、潜在変数に確率分布を導入した点が特徴です。上の説明だとよくわかりませんがStableDiffusionでは、出力画像をきれいにするプラグイン。ぐらいに思ってもらって問題ないです。環境stable-diffusion-webui-forge(他...
AI

[Stable Diffusion]Pastel-Mixモデルを使う

やりたいことおすすめの2D画像作成向けのStable DiffusionのモデルであるPastel-Mixを使ってみます。初期設定でいろいろ作ってみてもいい画像が作れなかったのでメモを残します。↓の絵はこの記事の設定で作成しました。モデルとVAEのダウンロードモデルのダウンロードモデルは以下のページからダウンロードしてください。ダウンロードの詳細は以下の記事を参照してください。huggingfaceは削除されているようです。civitaiからダウンロードしてください。VAEのダウンロード以下のページからkl-f8-anime.ckptをダウンロードします。ダウンロードしたkl-f8-anime...
AI

複数の単語からランダムでプロンプトを自動作成[StabeleDiffusionWebUI]

やりたいことStabeleDiffusionGUIで複数の単語の候補からランダムでプロンプトを作成します。sd-dynamic-promptsというExtensionを使います。Automatic1111向けのExtensionですがForgeで確認を行っています。例以下は固定: ”a girl,”以下からランダム:  ”blue hair”、”yellow hair”一度のGenerateで以下のプロンプトが自動で作成/画像生成されます。(ランダムなので必ず両方が作成されるわけではありません。) ”a girl, blue hair” ”a girl, yellow hair”sd-dyna...
AI

CPUでstable-audio-open-smallで音声作成

やりたいこと下の記事ではStable Audio Open 1.0で音声作成を試しましたが、かなり動作がギリギリでした。新たに軽量になったstable-audio-open-smallがリリースされたので試してみます。いろいろ試したのですが、stable-audio-open-smallはDirectMLで動作させることができませんでした。(stable-audio-toolsで使用しているPytorchとtorch-directmlで使用しているPytorchのバージョンがコンフリクトするため)ライセンスに関してモデルのライセンスは以下のリンクを参照してください。非商用であれば、無料です。環...
AI

CUDAなし環境(CPU)でローカルのStable Diffusion ForgeでFlux.1を動作させる

やりたいこと通常Stable Diffusion ForgeはNvidiaのGPU(GeForceなど)が必要です。下の記事ではAMDのGPU(direct-ml)を使用してStable Diffusion Forgeを使用する方法を紹介しました。しかし記事にも書いた通り上の記事の環境ではFlux.1は動作しません。この記事ではGPUを使用せずにCPUで実行することでCUDAのない環境でFlux.1を動作する方法を紹介します。CPUで実行するため、実行はかなり遅いです。(私の環境で1枚20分ぐらい)Flux.1は作成した画像も含めて商用利用不可です。環境構築ダウンロード以下のページを開きます。...
AI

ローカルでAMDのGPU(direct-ml)(もしくはGPUなし環境)を使って高速な画像生成を動作させる(お試し)

やりたいことAMDのGPUを使用して高速な画像生成を動作させてみます。通常のStableDiffusionで画像生成が遅かったり、試しに画像生成を試してみたいという方向けです。(すでにStableDiffusionでいろいろやっている方にはモデルも固定され、パラメータ調整もほぼできないため不向きです。)DirectMLとDirectMLのサンプルコードを使用します。HWのスペックは以下の通りです。CPUAMD Ryzen 7 7735HSメモリ32GBストレージ外付けHDD(システムディスクはSSD、容量が大きいため外付けで運用)GPUAMD Radeon 680M(CPU内臓)-注意-使用す...
AI

ローカルでAMDのGPU(direct-ml)を使ってLLMを動作させる(お試し)

やりたいことAMDのGPUを使用してでLLMを動作させてみます。DirectMLとDirectMLのサンプルコードを使用します。コードの修正を行います。実行は自己責任でお願いします。ただし以下の環境でギリギリ動作する(不安定、回答が変)状態です。CPUAMD Ryzen 7 7735HSメモリ32GBストレージ外付けHDD(システムディスクはSSD、容量が大きいため外付けで運用)GPUAMD Radeon 680M(CPU内臓)環境構築作業用のフォルダを作成します。以下のリポジトリをクローンします。venv環境への移動(任意)必要であればコマンドプロンプトで以下のコマンドを実行して、Venvの...
AI

AMDのGPUでStable Audio Open 1.0で音声作成

やりたいことAMDのGPUを使用してでStable Audio Open 1.0で音声作成してみます。DirectMLを使用します。環境構築作業用のフォルダを作成します。venv環境への移動(任意)必要であればコマンドプロンプトで以下のコマンドを実行して、Venvの環境を作成してアクティブにします。python -mvenv venvvenv\scripts\activate.batライブラリのインストール以下のコマンドを実行して必要なライブラリのインストールを行います。pip install scipypip install torch torchvision torchaudiopip i...
AI

Modelのダウンロードに失敗(Cannot access gated repo…)

やりたいことfrom_pretrainedなどで自動でモデルをダウンロードしようとした際に以下のようなエラーが出力されダウンロードできないことがあります。Cannot access gated repo for url  モデルパス.Access to model モデルパス is restricted. You must have access to it and be authenticated to access it. Please log in.具体例:Cannot access gated repo for url Access to model stabilityai/stabl...
AI

[Python]from_pretrainedなどダウンロードされたモデルの保存先

やりたいことモデルのテストコードなどを実行した場合、自動でモデルがhuggingfaceからダウンロードされ実行されることがあります。しかしダウンロードされた多くの場合、ダウンロードされたモデルは実行したコードの近くには保存されていません。(2回目以降はダウンロードされないのでローカルに保存されていることはわかります。)モデルなのでファイルサイズは大きく必要に応じて整理をした方がいいです。この記事ではWindows11環境でのダウンロードされたファイルの保存場所を紹介します。保存場所モデルは以下の場所に保存されます。C:\Users\ユーザ名\.cache\huggingface* ユーザ名は...