Mistral AI ha presentato Voxtral 3, una famiglia di modelli e strumenti per costruire agenti vocali che ascoltano, ragionano e rispondono a voce in tempo reale. La startup francese l’ha rilasciata il 20 ottobre in anteprima pubblica, con un’API ospitata in Europa.
Cosa c’è nel pacchetto
Voxtral 3 comprende tre modelli di trascrizione. Small Transcribe 3 è il modello principale, Mini Transcribe 3, da 4 miliardi di parametri, lavora sui file registrati e Mini Transcribe Realtime 3 trascrive in diretta, con una latenza che Mistral dichiara inferiore al mezzo secondo. Completano il pacchetto un modello di sintesi vocale e un kit di sviluppo basato su LiveKit, che collega ascolto, ragionamento e risposta. Come cervello dell’agente Mistral propone il suo Small 4, ma si può usare un altro modello.
Secondo l’azienda un intero turno di conversazione, dall’ascolto alla risposta, si chiude in meno di un secondo. Il rilevamento della fine della frase è integrato, così l’agente capisce quando l’utente ha finito di parlare. La newsletter AlphaSignal fa notare che il dato esclude i tempi di rete, le chiamate a strumenti esterni e la linea telefonica.
Italiano e lingue
La trascrizione copre oltre 50 lingue, comprese le 24 lingue ufficiali dell’Unione europea, e l’annuncio cita l’italiano tra le voci predefinite della sintesi vocale. Sul numero di lingue della sintesi le pagine di Mistral non coincidono: l’annuncio parla di oltre 35, la scheda tecnica di 9.
Nei test di Mistral sul benchmark FLEURS, Small Transcribe 3 sbaglia circa il 4% delle parole contro il 15-16% di Whisper large-v3 di OpenAI. Per riconoscere nomi propri e termini tecnici si può fornire in anticipo un elenco di parole chiave, e nei test su registrazioni di conference call finanziarie il riconoscimento di questi termini sale dall’81,4% al 94,6%. Mistral sostiene inoltre che la sua sintesi vocale costi meno da far girare di OpenAI TTS-1, ElevenLabs Flash e Gemini Flash. Sono tutti dati dell’azienda, non ancora verificati da terzi.
Prezzi e dati in Europa
La trascrizione costa da 0,0035 dollari al minuto per Mini Transcribe 3 a 0,008 per la versione in tempo reale. La sintesi vocale costa 13 dollari per milione di caratteri. L’API completa per agenti vocali costa 0,04 dollari al minuto con Mistral Small 4 e il doppio con altri modelli, quindi dieci minuti di conversazione con Small 4 costano circa 40 centesimi di dollaro.
Mistral offre endpoint europei e permette di scegliere dove elaborare l’audio e se conservarlo, con un accordo sul trattamento dei dati. Per chi vuole automatizzare le telefonate con clienti italiani è un vantaggio pratico rispetto ai servizi ospitati soltanto negli Stati Uniti.
Il precedente Voxtral TTS, uscito a marzo, aveva pesi aperti con una licenza per uso non commerciale. I modelli della versione 3 invece non si possono scaricare, e per installarli sui propri server bisogna passare dal team commerciale di Mistral.
Fonti: Mistral AI, Mistral, documentazione, AlphaSignal, The Decoder.
