Vorschau des Prototypinhalts. Zahlen, Angaben zum Autor, Produktaussagen und API-Beispiele müssen noch überprüft werden. Beispiele sind keine bestätigten Integrationsanweisungen.
99-Sprachen, 48-Stimmen, 128ms-Latenz – wie man das richtige Sprachmodell für Sprachassistenten, Transkription und mehrsprachige Apps auswählt.
Sprach-Workloads scheitern auf anderen Achsen als Text-Workloads. Latenzbudgets sind schwierig, die Sprachabdeckung ist ungleichmäßig und der Fehlermodus, den Benutzer am meisten bemerken, ist nicht ein falsches Wort, sondern eine unangenehme Pause.
Beginnen Sie mit dem Latenzbudget
Ein Sprachassistent benötigt zunächst einen durchgehenden Audioausgang unter 300ms. Damit bleiben ungefähr 120ms für TTS übrig, wenn man ASR, den Modellwechsel und das Netzwerk berücksichtigt. Für die Batch-Transkription gibt es kein solches Budget und sie sollte lediglich auf Genauigkeit pro Dollar optimiert werden.
- Interaktive Stimme: Streaming ASR + 128ms TTS, akzeptieren eine höhere Wortfehlerrate
- Besprechungstranskription: Charge ASR mit Diarisierung, Genauigkeit zuerst
- Mehrsprachige IVR: Abdeckung zuerst – überprüfen Sie Ihren genauen Standort, nicht nur die Sprache
- Hörbuch und Erzählung: höchste Qualität TTS, Latenz spielt keine Rolle, Auswahl der Sprachreichweite
Die Sprachabdeckung ist nicht einheitlich
99 unterstützte Sprachen bedeuten nicht, dass 99 gleich gute Sprachen sind. Die Wortfehlerrate in unseren Top-Ten-Sprachumgebungen liegt im Durchschnitt bei 3.1%; Auf der langen Seite ist es 11.4%.
Benchmarken Sie immer Ihr eigenes Audio. Zwanzig Minuten repräsentativer Aufnahmen – echte Mikrofone, echte Hintergrundgeräusche, echte Akzente – verraten Ihnen mehr als jeder veröffentlichte Benchmark.
Streaming in beide Richtungen
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="aria",
input=text,
extra_body={"amplink": {"first_chunk_target_ms": 128}},
) as stream:
for chunk in stream.iter_bytes():
play(chunk)