こちらを参照してください。

コマンドやpythonの知識なしで簡単に使えるバージョンです。(できることはほぼ同じ)

このプロジェクトは Style-Bert-ViTS2 を ONNX 化したものを Rust で実行するのを目的としたライブラリです。

JP-Extra しか対応していません。(基本的に対応する予定もありません)

こちらを参照してください。

• REST API の実装
• Rust ライブラリの実装
• .sbv2フォーマットの開発
• PyO3 を利用し、 Python から使えるようにする
• 組み込み向けにCライブラリの作成
• GPU 対応(CUDA)
• GPU 対応(DirectML)
• GPU 対応(CoreML)
• WASM 変換
• arm64のdockerサポート
• aivis形式のサポート
• MeCabを利用する

• crates/sbv2_api - 推論用 REST API
• crates/sbv2_core - 推論コア部分
• scripts/docker - docker ビルドスクリプト
• scripts/convert - onnx, sbv2フォーマットへの変換スクリプト

https://huggingface.co/neody/sbv2-api-assets/tree/main/deberta からtokenizer.json,debert.onnx https://huggingface.co/neody/sbv2-api-assets/tree/main/model からtsukuyomi.sbv2 を models フォルダに配置

cp .env.sample .env

CPUの場合は

docker run -it --rm -p 3000:3000 --name sbv2 \
-v ./models:/work/models --env-file .env \
ghcr.io/neodyland/sbv2-api:cpu

ADDR=0.0.0.0:3000

docker run --platform linux/amd64 -it --rm -p 3000:3000 --name sbv2 \
-v ./models:/work/models --env-file .env \
ghcr.io/neodyland/sbv2-api:cpu

CUDAの場合は

docker run -it --rm -p 3000:3000 --name sbv2 \
-v ./models:/work/models --env-file .env \
--gpus all \
ghcr.io/neodyland/sbv2-api:cuda

curl -XPOST -H "Content-type: application/json" -d '{"text": "こんにちは","ident": "tsukuyomi"}' 'http://localhost:3000/synthesize' --output "output.wav"
curl http://localhost:3000/models

sbv2_api、sbv2_core共に

• cuda featureでcuda
• cuda_tf32 featureでcudaのtf32機能
• tensorrt featureでbert部分のtensorrt利用
• dynamic featureで手元のonnxruntime共有ライブラリを利用(ORT_DYLIB_PATH=./libonnxruntime.dllなどで指定)
• directml featureでdirectmlの利用ができます。
• coreml featureでcoremlの利用ができます。

以下の環境変数はライブラリ側では適用されません。

ライブラリAPIについてはhttps://docs.rs/sbv2_coreを参照してください。

• ADDR localhost:3000などのようにサーバー起動アドレスをコントロールできます。
• MODELS_PATH sbv2モデルの存在するフォルダを指定できます。
• RUST_LOG おなじみlog levelです。
• HOLDER_MAX_LOADED_MODElS RAMにロードされるモデルの最大数を指定します。

• litagin02/Style-Bert-VITS2 - このコードを書くにあたり、ベースとなる部分を参考にさせていただきました。
• Googlefan - 彼にモデルを ONNX ヘ変換および効率化をする方法を教わりました。
• Aivis Project - 辞書部分