llama.cpp

AI

ローカルで画像入力ありのLLMを動かす(AMD GPU/CPU対応)

やりたいことllama.cppを使用してローカルで画像入力ありのLLM(チャットAI)を実行します。この記事ではgoogleのローカル向けのモデルであるQwen2.5-VLを使用します。AMDの GPUでもGPUのない環境( CPU)でも実行可能です。Gammaの起動は以下のページを参照してください。環境構築llama.cpp以下のページから自分の環境にあったZipファイルをダウンロードします。WindowsでAMDのGPU(もしくはGPUが乗っていない)で動かしたい場合はvulkanむけのパッケージで動作します。NvidiaのGPUを使用する場合、CUDAむけのパッケージで動作します。上記の...