Japanese input method corpus builder

これはなに？

日本語のふりがな付きのコーパスを作るためのスクリプトです。

download.shでダウンロードを行い、prepare_dataset.pyで使いやすい形式に変換処理等を行います。

bash download.sh
uv run python prepare_dataset.py

prepare_dataset.pyは、ルールベースである程度の振り仮名の修正を行います。

本ソースコードはMITライセンスです。元データのライセンスについては元データのサイトで確認してください。

Name		Name	Last commit message	Last commit date
Latest commit History 2 Commits
LICENSE		LICENSE
README.md		README.md
download.sh		download.sh
prepare_dataset.py		prepare_dataset.py
pyproject.toml		pyproject.toml