99 言語、48 音声、128ms 遅延 — 音声アシスタント、文字起こし、多言語アプリに適切な音声モデルを選択する方法。
音声ワークロードは、テキストワークロードとは異なる軸で失敗します。レイテンシー バジェットは厳しく、対応言語は不均一で、ユーザーが最も気づく障害モードは、言葉の間違いではなく、ぎこちない停止です。
レイテンシのバジェットから始める
音声アシスタントには、エンドツーエンドで 300ms 未満の最初の音声出力が必要です。 ASR、モデルのターン、ネットワークを考慮すると、およそ 120ms が TTS に残ります。バッチ転写にはそのような予算はなく、純粋に 1 ドルあたりの精度を最適化する必要があります。
- インタラクティブ音声: ストリーミング ASR + 128ms TTS、より高い単語エラー率を受け入れます
- 会議の文字起こし: バッチ ASR とダイアライゼーション、正確性第一
- 多言語 IVR: カバレッジを第一に — 言語だけでなく正確なロケールを確認します
- オーディオブックとナレーション: 最高品質の TTS、遅延は無関係、音声範囲を選択
言語範囲は均一ではありません
99 がサポートする言語は、99 が同様に優れた言語であることを意味するものではありません。上位 10 ロケールの単語エラー率は平均 3.1% です。ロングテール全体では 11.4% です。
常に自分のオーディオでベンチマークを行ってください。 20 分間の代表的な録音 (実際のマイク、実際の背景雑音、実際のアクセント) からは、公開されているどのベンチマークよりも多くのことがわかります。
双方向ストリーミング
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="aria",
input=text,
extra_body={"amplink": {"first_chunk_target_ms": 128}},
) as stream:
for chunk in stream.iter_bytes():
play(chunk)