LayaをCudaなしローカル環境/サーバモードで動かしてみる

この記事は約2分で読めます。

やりたいこと

以下の記事でLayaをローカル環境で動作させてみました。

しかし実行のたびにモデルの読み込みが走り速度があまり出ません。またプロンプトの変更にはPythonの呼び出しを変更する必要です。

これではいろいろ使いにくいのでサーバモードでの起動と実行を試します。

System One Models(Laya)をCudaなしローカル環境で動かしてみる
やりたいこと最近話題のSystem One ModelsをCudaなし,Windowsのローカル環境で動かしてみます。Jevが話題ですがローカルモデルではないのでローカルモデルのLayaを試します。環境構築PythonPythonを以下のページからダウンロードしてインストールします。3.10以上が必要です。環境のPythonが3.10未満の場合はアップデートしてください。venv環境への移動(任意)必要であればコマンドプロンプトを開き、以下のコマンドを作業フォルダで実行して、Venvの環境を作成してアクティブにします。python -mvenv venvvenv\scripts\activat…

前準備

まずは以下の記事を参考にしてローカル環境を構築します。

System One Models(Laya)をCudaなしローカル環境で動かしてみる
やりたいこと最近話題のSystem One ModelsをCudaなし,Windowsのローカル環境で動かしてみます。Jevが話題ですがローカルモデルではないのでローカルモデルのLayaを試します。環境構築PythonPythonを以下のページからダウンロードしてインストールします。3.10以上が必要です。環境のPythonが3.10未満の場合はアップデートしてください。venv環境への移動(任意)必要であればコマンドプロンプトを開き、以下のコマンドを作業フォルダで実行して、Venvの環境を作成してアクティブにします。python -mvenv venvvenv\scripts\activat…

環境構築

ライブラリのインストール

ローカル環境でLayaが動作するようになったら以下のコマンドを作業フォルダで実行してServerに必要なライブラリのインストールを行います。

pip install "laya[serve]"

コードの取得

以下のページに移動します。

laya/examples/server.py at main · NandhaKishorM/laya
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per re…

スクリプトの右上のダウンロードアイコンをクリックしてserver.pyをダウンロードし紗票フォルダに置きます。

実行

サーバ起動

以下のコマンドを作業フォルダで実行してServerを起動します。

python server.py

初回起動時はモデルのダウンロードのため時間がかかります。(ローカル環境で実行した後でもダウンロードが走りました。)

起動が完了したらChromeなどのブラウザでhttp://localhost:8000/を開きます。

下のようなページが表示されれば成功です。

設定と実行

右側のFormと左側のAnswerをクリックします。

(入出力を見やすくする設定です。必須はではありません)

左側に質問や選択しの設定を行います。

画面下の”Run Request”をクリックすることで右側に結果が表示されます。

参考にさせていただいたサイト

GitHub – NandhaKishorM/laya: Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per re…

コメント

タイトルとURLをコピーしました