一般の人が不動産会社で引っ越し先を探す会話を 5 場面つくり、AI の合成音声で読み上げたテストセット(合計 6.8 分、 各場面に clean と電話音質の 2 種類)で、公開されている日本語 ASR モデルを比較しました。音声・正解テキスト・全モデルの書き起こしを公開しています。
⚠️ 音声はすべて AI による合成音声(OpenAI gpt-audio、OpenRouter 経由)です。会社名・建物名は架空、地名は実在します。 合成音声は人の声より聞き取りやすいため、実際の録音より誤り率は低めに出ます。また約 7 分と小規模なので、数値の差が小さい順位は入れ替わりうるものとして見てください。
| モデル | 語彙 | CER strict | flex | kana | clean | 電話 | 専門用語 | 1 分の処理 |
|---|---|---|---|---|---|---|---|---|
| parakeet-tdt_ctc-0.6b-ja | なし | 2.2% | 0.9% | 0.5% | 2.1% | 2.3% | 91% | 0.25 秒 |
| Haas-ja-v1.0 | あり | 2.3% | 1.4% | 0.6% | 2.3% | 2.3% | 96% | 0.16 秒 |
| Haas-ja-v1.0 | なし | 2.5% | 1.6% | 0.6% | 2.4% | 2.6% | 84% | 0.13 秒 |
| Whisper large-v3-turbo | あり | 2.9% | 2.3% | 0.9% | 2.8% | 3.0% | 78% | 1.26 秒 |
| Qwen3-ASR-1.7B | なし | 3.0% | 2.2% | 1.0% | 2.8% | 3.2% | 78% | 3.15 秒 |
| Whisper large-v3-turbo | なし | 3.3% | 2.8% | 1.1% | 3.2% | 3.4% | 71% | 1.24 秒 |
| LFM3-Audio-2B ※区切り | なし | 3.4% | 2.7% | 1.1% | 3.4% | 3.4% | 70% | 2.19 秒 |
| LFM3-Omni-2B ※区切り | なし | 3.7% | 3.0% | 1.2% | 3.7% | 3.6% | 68% | 2.23 秒 |
| ReazonSpeech NeMo v2 | なし | 3.8% | 3.1% | 3.2% | 4.1% | 3.5% | 87% | 1.41 秒 |
| kotoba-whisper-v2.2 ※区切り | なし | 5.2% | 4.5% | 2.7% | 5.3% | 5.2% | 61% | 1.49 秒 |
| Qwen3-ASR-1.7B | あり | 8.8% | 7.7% | 8.9% | 1.9% | 15.6% | 93% | 3.54 秒 |
CER は文字誤り率(低いほど良い)。jacer v1.2 で表記を正規化してから計算: strict は漢字とかなの書き分けも誤りに数える、flex は書き分けを無視、kana は読みだけを比較。 「専門用語」は語彙リスト(48 語)の語が正解と同じ回数だけ書けた割合。 「1 分の処理」は 1 分の音声の書き起こしにかかった時間(RTX 3060 12GB、1 本ずつ)。 「語彙あり」は語彙リストを各モデルの方法で渡した条件(Haas:カスタム語彙、Whisper:initial_prompt、Qwen3-ASR:context)。 ※区切り=無音のところで 20 秒以内に区切ってから渡したもの(一括では下の表のように崩れたため)。
| モデル | 語彙 | CER strict | flex | kana | clean | 電話 | 専門用語 | 1 分の処理 | メモ |
|---|---|---|---|---|---|---|---|---|---|
| LFM3-Audio-2B(一括) | なし | 12.7% | 12.0% | 10.3% | 10.1% | 15.2% | 69% | 1.84 秒 | 70 秒を超える音声を一括で渡すと途中のセリフを飛ばす |
| LFM3-Omni-2B(一括) | なし | 15.3% | 14.8% | 13.6% | 12.9% | 17.7% | 61% | 1.81 秒 | 70 秒を超える音声を一括で渡すと途中のセリフを飛ばす |
| kotoba-whisper-v2.2(一括) | なし | 30.1% | 29.2% | 26.8% | 32.5% | 27.7% | 43% | 1.08 秒 | 長い音声を一括で渡すと途中が丸ごと抜ける |
| kotoba-whisper-v2.2(一括) | あり | 57.0% | 56.4% | 55.5% | 57.9% | 56.1% | 21% | 0.94 秒 | 語彙をプロンプトで渡すと前半が抜ける |
| kotoba-whisper-v2.2 ※区切り | あり | 100.0% | 100.0% | 100.0% | 100.0% | 100.0% | 0% | 1.14 秒 | 語彙をプロンプトで渡すと出力が空になる |
各発話の ▶ ボタンを押すと、その発話の音声だけを聞けます(もう一度押すと止まります)。
場面全体:clean 電話音質
| parakeet-tdt_ctc-0.6b-ja 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場が渋谷になるので東横線沿いで一人暮らしの部屋を探していますありがとうございますご希望の駅やエリアはございますか学芸大学か祐天寺 |
| Haas-ja-v1.0 語彙あり | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場が渋谷になるので東横線沿いで |
| Haas-ja-v1.0 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場が渋谷になるので東横線沿いで |
| Whisper large-v3-turbo 語彙あり | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場 |
| Qwen3-ASR-1.7B 語彙なし | いらっしゃいま |
| Whisper large-v3-turbo 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場 |
| LFM3-Audio-2B ※区切り 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場が渋谷になるので東横線沿いで一人暮らしの部屋を探していますありがとうございますご希望の駅やエリアはございますか学芸大学か |
| LFM3-Omni-2B ※区切り 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場 |
| ReazonSpeech NeMo v2 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場が渋谷になるので東横線沿いで |
| kotoba-whisper-v2.2 ※区切り 語彙なし | いらっしゃいませ本日はどのようなお部屋をお探しですか来月から職場 |
| Qwen3-ASR-1.7B 語彙あり | いらっしゃいま |
場面全体:clean 電話音質
| parakeet-tdt_ctc-0.6b-ja 語彙なし | お電話ありがとうございますアオバト住宅高橋でございますもしもしホームページに載っていたノクティルカ |
| Haas-ja-v1.0 語彙あり | お電話ありがとうございます |
| Haas-ja-v1.0 語彙なし | お電話ありがとうございます |
| Whisper large-v3-turbo 語彙あり | お電話ありがとうございますアオバト住宅高橋でございますもしもしホームページに載っていたノクティルカ鷹番の302号室について伺いたいのですがありがとうございますそちらのお部屋はまだご紹介可能でございますよかった家賃が11万8000円で管理費が5000円ですよねはい |
| Qwen3-ASR-1.7B 語彙なし | お電話ありがとうございます |
| Whisper large-v3-turbo 語彙なし | お電話ありがとうございます |
| LFM3-Audio-2B ※区切り 語彙なし | お電話ありがとうございます |
| LFM3-Omni-2B ※区切り 語彙なし | お電話ありがとうございます |
| ReazonSpeech NeMo v2 語彙なし | お電話ありがとうございますアオバト住宅高橋でございますもしもしホームページに載っていたノクティルカ |
| kotoba-whisper-v2.2 ※区切り 語彙なし | お電話ありがとうございます |
| Qwen3-ASR-1.7B 語彙あり | お電話ありがとうございますアオバト住宅 |
場面全体:clean 電話音質
| parakeet-tdt_ctc-0.6b-ja 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| Haas-ja-v1.0 語彙あり | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| Haas-ja-v1.0 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート |
| Whisper large-v3-turbo 語彙あり | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| Qwen3-ASR-1.7B 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| Whisper large-v3-turbo 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート |
| LFM3-Audio-2B ※区切り 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| LFM3-Omni-2B ※区切り 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| ReazonSpeech NeMo v2 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
| kotoba-whisper-v2.2 ※区切り 語彙なし | こちらがお部屋です築8年の鉄筋コンクリート |
| Qwen3-ASR-1.7B 語彙あり | こちらがお部屋です築8年の鉄筋コンクリート造で南向きのバルコニーが |
場面全体:clean 電話音質
| parakeet-tdt_ctc-0.6b-ja 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申込書にご記入いただきそのあと保証会社の審査がございます連帯保証人は必要ですかこちらの物件は保証会社のご利用が必須ですので連帯保証人は不要です保証料は初回に家賃の50 |
| Haas-ja-v1.0 語彙あり | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
| Haas-ja-v1.0 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
| Whisper large-v3-turbo 語彙あり | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
| Qwen3-ASR-1.7B 語彙なし | それでは入居の |
| Whisper large-v3-turbo 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
| LFM3-Audio-2B ※区切り 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
| LFM3-Omni-2B ※区切り 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
| ReazonSpeech NeMo v2 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申込書にご記入いただきそのあと保証会社の審査がございます連帯保証人は必要ですかこちらの物件は保証会社のご利用が必須ですので連帯保証人は不要です保証料は初回に家賃の50 |
| kotoba-whisper-v2.2 ※区切り 語彙なし | それでは入居のお申し込みについてご説明いたしますまず申込書にご記入いただきその |
| Qwen3-ASR-1.7B 語彙あり | それでは入居のお申し込みについてご説明いたしますまず申し込み書にご記入いただきその |
場面全体:clean 電話音質
| parakeet-tdt_ctc-0.6b-ja 語彙なし | 宅地建物取引士の森田と申しますこちらが取引 |
| Haas-ja-v1.0 語彙あり | 宅地建物取引士の森田と申しますこちらが取引士証ですこれから重要事項説明を行います契約期間は2年間で更新料は新賃料の1 |
| Haas-ja-v1.0 語彙なし | 宅地建物取引士の森田と申しますこちらが取引 |
| Whisper large-v3-turbo 語彙あり | 宅地建物取引士の森田と申しますこちらが取引 |
| Qwen3-ASR-1.7B 語彙なし | |
| Whisper large-v3-turbo 語彙なし | 宅地建物取引士の森田と申しますこちらが取引 |
| LFM3-Audio-2B ※区切り 語彙なし | 宅地建物取引士の森田と申しますこちらが取引 |
| LFM3-Omni-2B ※区切り 語彙なし | 宅地建物取引士の森田と申しますこちらが取引 |
| ReazonSpeech NeMo v2 語彙なし | 宅地建物取引士の森田と申し |
| kotoba-whisper-v2.2 ※区切り 語彙なし | 宅地建物取引士の森田と申しますこちらが取引 |
| Qwen3-ASR-1.7B 語彙あり | 宅地建物取引士の |
openai/gpt-audio で 1 発話ずつ合成(声 4 種)。モデルが返す「話した内容」のテキストが台本と一致するまで作り直し、
発話の間に 0.4〜0.7 秒の無音を入れてつないだ。電話音質は 300〜3400 Hz に帯域制限し 8 kHz の μ-law を通して 16 kHz に戻したものライセンス:音声・台本・正解テキストは CC BY 4.0。各 ASR モデルのライセンスはそれぞれのモデルカードを参照してください。