Vista previa del contenido del prototipo. Las figuras, los detalles del autor, las afirmaciones del producto y los ejemplos de API están pendientes de verificación; Los ejemplos no son instrucciones de integración confirmadas.
Idiomas 99, voces 48, latencia 128m: cómo elegir el modelo de voz adecuado para asistentes de voz, transcripción y aplicaciones multilingües.
Las cargas de trabajo de voz fallan en ejes diferentes a los de texto. Los presupuestos de latencia son difíciles, la cobertura de idiomas es desigual y el modo de falla que los usuarios notan más no es una palabra incorrecta sino una pausa incómoda.
Comience con el presupuesto de latencia
Un asistente de voz necesita la primera salida de audio de extremo a extremo en el modelo 300m. Eso deja aproximadamente 120m para TTS una vez que se tiene en cuenta ASR, el giro del modelo y la red. La transcripción por lotes no tiene ese presupuesto y debería optimizarse únicamente para obtener precisión por dólar.
- Voz interactiva: streaming ASR + 128ms TTS, acepta una mayor tasa de error de palabras
- Transcripción de reuniones: lote ASR con registro diario, la precisión es lo primero
- IVR multilingüe: primero la cobertura: verifique su ubicación exacta, no solo el idioma
- Audiolibro y narración: TTS de la más alta calidad, latencia irrelevante, selección del rango de voz
La cobertura lingüística no es uniforme
Los idiomas compatibles con 99 no significa que 99 tenga idiomas igualmente buenos. La tasa de error de palabras en nuestras diez configuraciones regionales principales promedia 3.1%; a lo largo de la cola larga es 11.4%.
Siempre compare su propio audio. Veinte minutos de grabaciones representativas (micrófonos reales, ruido de fondo real, acentos reales) le dirán más que cualquier punto de referencia publicado.
Transmitiendo en ambas direcciones
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="aria",
input=text,
extra_body={"amplink": {"first_chunk_target_ms": 128}},
) as stream:
for chunk in stream.iter_bytes():
play(chunk)