AI

AI

分割されたsafetensorsファイルを一つのファイルに結合

やりたいことHuggingFaceなどでModelをダウンロードした際に、model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensorsのように複数のファイルに分割されていることがあります。このファイル形式だと使用できないアプリがある(StableDiffusion WebUI Forgeはできないようでした。)ので一つのファイルに結合する方法を紹介します。注意結合しても使用できないモデルもありました。やり方の問題なのか、もともとのソフトとモデルの問題なのかはわ...
AI

[Stable Diffusion]プロンプトの書き方(特殊記法あり)

やりたいことStable Diffusion WebUIを使って画像を生成する際、「なんだかイメージと違う…」「もっと細かく指示したいけど、どうすれば?」と感じることがあります。 AIが画像を生成するプロセスは、入力された「プロンプト(呪文)」 の質に大きく左右されます。プロンプトエンジニアリングとは、まさにこのAIへの「言葉」による指示を最適化し、理想の結果を引き出す技術です。この記事では、、より高品質な画像を効率的に生成するためのプロンプトの書き方をご紹介します。基本原則プロンプトエンジニアリングとは、簡単に言えば、生成AI(Stable Diffusionのような)があなたの意図を正確に...
AI

StableDiffusionの環境をローカルに構築

やりたいことCUDAの動作するローカルPC(Windows)にStableDiffusionの環境を構築します。背景このブログではAMDのGPUを使用してStableDiffusionが動作させるなどの茨の道を歩んでいますが、CUDAの動作するPCに環境のは簡単です。しかしなぜか他のページでは少しめんどくさい方法をとっています(gitとかPythonをインストールしたり)。ここではできるだけ簡単な方法を紹介します。CUDAの動作しない環境向けの記事AMD GPU(DirectML)CPU環境構築ダウンロード以下のページを開きます。ページをスクロールして installing Forgeの欄を探...
AI

[有料][StableDiffusion]アニメ調画像<->実写調画像

やりたいことローカルのStableDiffusionを用いてアニメ調画像から実写調画像を作成、逆に実写調画像からアニメ調画像を作成します。(ただしすべての画像でうまくいくものではなく、画像が複雑になるとすべての特徴を再現するのは難しいです)例実写調 → アニメ調入力画像:(StableDiffusionで生成)出力画像:アニメ調 → 実写調入力画像:(StableDiffusionで生成)出力画像:環境準備StableDiffusion WebUIをインストールします。下はAMDのGPUで動作するStableDiffusionのインストール方法ですが、環境にあった方法でインストールしてください...
AI

StableDiffusion AUTOMATIC1111およびForgeでanytestを使用

やりたいことStableDiffusion AUTOMATIC1111およびForgeでanytestを使用します。また以下の記事で構築したAMDのGPU(DirectML)の環境でも動作することを確認しています。anytestとはanytestとは一つのモデルで線画やシルエットから画像を生成したり、画像の一部を書き直したりできるControlNetのモデルです。anytestのインストール方法AUTOMATIC1111とForgeでインストール方法が異なるのでご注意ください。ControlNetのインストールAUTOMATIC1111Extensionタブ内の”install from UR...
AI

GPUを使わないでPCのローカルでStable Diffusion AUTOMATIC1111を動作させる

やりたいこと下の投稿でStable Diffusion ForgeをCPUで動作させる方法を紹介しましたが、動作確認のためにどうしてもAUTOMATIC1111も動作させたくなりました。ここではAUTOMATIC1111をCPUで動作させる方法を紹介します。(基本的にはForgeでいいと思います。)環境構築PythonのインストールPython 3.10.6を以下のページからダウンロードしてインストールします。インストールの際は以下の”Add Python 3.10 to PATH”にチェック入れます。インストールの確認コマンドプロンプトを起動して以下のコマンドを実行しますpython3 –v...
AI

ViteでGemini APIの音楽生成

やりたいことGoogleのGemini APIをNodeJSで使用して、音楽生成を行います。実装はフロントエンドのみでバックエンドはGoogleを使用します。GoogleのAPIキーを発行する必要があります。注意:この記事を書いて時点でGeminiの音楽生成はプレビュー機能です。今後仕様等変更になる可能性があります。この記事ではNodeJSを用いてクライアントサイドでの実装を行っています。しかしこの方法はAPI KEYが使用者に漏れる可能性がありますのでGoogleから推奨されていません。個人的な使用や、実験にとどめてください。この記事は基本的には以下のページをベースにしています。しかし下のペ...
AI

[StableDiffusion]embeddingの使用

やりたいことローカルで動作するStable Diffusion web UIにembeddingを追加して使用します。embeddingを使用することで、生成される画像の品質を上げることができます。この説明だとVAEと同じように感じますが、embeddingはVAEよりも生成される画像に対する影響が大きいです。VAEは生成された画像にフィルタをかけて品質を上げるようなイメージですが、embeddingは似た品質の高い画像を生成するようなイメージです。VAEに関しては以下の記事を参照してください。環境stable-diffusion-webui-forge(他のstable-diffusion-...
AI

[StableDiffusion]ForgeでテンプレートのPrompt/NegativePromptを使用

やりたいことStableDiffusionWebUiForgeでテンプレートの(保存済みの)Prompt/NegativePromptを使用します。(StableDiffusionWebUiは同じではないようです。)具体例繰り返し同じPrompt/NegativePromptを使用するPrompt/NegativePrompをテンプレートを保存し、簡単に適応できるようにします。既存のテンプレートを削除や順番を変えることで使いやすくします。基本的な使い方GUIテンプレートのGUIは以下にあります。テンプレートの使用以下の三角をクリックして好きなテンプレートを選択します。選択したテンプレートがリス...
AI

Stable Diffusionで生成した画像がぼやけている/コントラストが低い

やりたいことStable Diffusionで生成した画像がぼやけている/コントラストが低いことがあります。ここでは改善させる二つの方法を紹介します。VAEの使用一つ目はVAEを使用する方法です。VAEのインストールおよび使用方法は以下の記事を参照してください。おすすめVAE上の記事でも紹介していますが、ここでも同じVAEを二つ紹介します。これらのVAEを使用して画像を生成することで画質の改善する可能性があります。汎用VAEstability ai(Stable Diffusion開発元)によるVAEです。実写、アニメ調のモデルともに使用できます。以下のページの”vae-ft-mse-8400...