LLM

AI

ローカルで画像入力ありのLLMを動かす(AMD GPU/CPU対応)

やりたいことllama.cppを使用してローカルで画像入力ありのLLM(チャットAI)を実行します。この記事ではgoogleのローカル向けのモデルであるQwen2.5-VLを使用します。AMDの GPUでもGPUのない環境( CPU)でも実行可能です。Gammaの起動は以下のページを参照してください。環境構築llama.cpp以下のページから自分の環境にあったZipファイルをダウンロードします。WindowsでAMDのGPU(もしくはGPUが乗っていない)で動かしたい場合はvulkanむけのパッケージで動作します。NvidiaのGPUを使用する場合、CUDAむけのパッケージで動作します。上記の...
AI

ローカルでLLMを動かす(AMD GPU/CPU対応)

やりたいことllama.cppを使用してローカルでLLM(チャットAI)を実行します。この記事ではgoogleのローカル向けのモデルであるgemmaを使用します。AMDのGPUでもGPUのない環境(CPU)でも実行可能です。環境構築llama.cpp以下のページから自分の環境にあったZipファイルをダウンロードします。WindowsでAMDのGPU(もしくはGPUが乗っていない)で動かしたい場合はvulkanむけのパッケージで動作します。NvidiaのGPUを使用する場合、CUDAむけのパッケージで動作します。上記のバージョンで動作しない場合はCPUむけのパッケージを使用します。対象のダウンロ...
AI

ローカルでAMDのGPU(direct-ml)を使ってLLMを動作させる(お試し)

やりたいことAMDのGPUを使用してでLLMを動作させてみます。DirectMLとDirectMLのサンプルコードを使用します。コードの修正を行います。実行は自己責任でお願いします。ただし以下の環境でギリギリ動作する(不安定、回答が変)状態です。CPUAMD Ryzen 7 7735HSメモリ32GBストレージ外付けHDD(システムディスクはSSD、容量が大きいため外付けで運用)GPUAMD Radeon 680M(CPU内臓)環境構築作業用のフォルダを作成します。以下のリポジトリをクローンします。venv環境への移動(任意)必要であればコマンドプロンプトで以下のコマンドを実行して、Venvの...