AI ローカルでLLMを動かす(AMD GPU/CPU対応)
やりたいことllama.cppを使用してローカルでLLM(チャットAI)を実行します。この記事ではgoogleのローカル向けのモデルであるgemmaを使用します。AMDのGPUでもGPUのない環境(CPU)でも実行可能です。環境構築llama.cpp以下のページから自分の環境にあったZipファイルをダウンロードします。WindowsでAMDのGPU(もしくはGPUが乗っていない)で動かしたい場合はvulkanむけのパッケージで動作します。NvidiaのGPUを使用する場合、CUDAむけのパッケージで動作します。上記のバージョンで動作しない場合はCPUむけのパッケージを使用します。対象のダウンロ...