Dettate un messaggio vocale in un bar rumoroso, con un accento marcato e qualche parola mangiata, e il testo che ne esce è corretto. Il modello non è mai stato addestrato apposta sulla vostra voce, né su quel tipo di rumore, né magari sulla vostra lingua in quella particolare cadenza. Eppure funziona. Il sistema che rese questo comportamento la norma anziché l’eccezione si chiama Whisper, e il paper che lo descrive porta un titolo che spiega quasi tutto: Robust Speech Recognition via Large-Scale Weak Supervision, riconoscimento vocale robusto tramite supervisione debole su larga scala.
Il problema dell’allineamento, CTC, la decodifica e i modelli con attenzione stanno nel libro.
Il punto interessante è che Whisper non vince perché è più preciso di tutti su un singolo test da laboratorio. Vince perché è robusto: continua a funzionare bene quando cambiano le condizioni — microfono diverso, rumore di fondo, accento, dominio del discorso — che di solito fanno crollare i sistemi ottimizzati su un benchmark specifico. E ci riesce senza alcun adattamento, cioè senza essere ritoccato per il caso particolare. È una distinzione che merita di essere capita bene.
Il trucco è la scala, non l’architettura
Chi si aspetta un’idea architetturale ingegnosa resterà deluso, e va bene così. Whisper è un Transformer encoder-decoder standard, il tipo di rete usato per la traduzione automatica: un encoder che legge l’audio e un decoder che produce testo, un token alla volta. Niente di esotico. La novità sta tutta nei dati: il modello è addestrato su 680.000 ore di audio con relativa trascrizione, raccolte dal web.
Seicentottantamila ore sono circa settantotto anni di parlato ininterrotto. È una quantità che nessun laboratorio potrebbe mai far trascrivere a mano da annotatori professionisti: costerebbe una fortuna e richiederebbe decenni. Il paradosso che il paper mette in luce è che, superata una certa soglia di quantità, una montagna di dati imperfetti batte una collina di dati perfetti. È la differenza tra imparare una lingua da un solo manuale scritto benissimo e impararla vivendo dieci anni nel paese, tra mille conversazioni sciatte, rumorose e reali. La seconda scuola è disordinata, ma alla fine parla meglio.
Che cosa significa «supervisione debole»
Qui sta il cuore del titolo. Nel riconoscimento vocale classico si usa «supervisione forte»: ogni file audio è accoppiato a una trascrizione curata, verificata, di alta qualità. È accurata ma scarsa, perché costa tanto produrla. All’estremo opposto c’è l’addestramento «non supervisionato», che usa audio senza alcuna trascrizione: abbondante ma difficile da sfruttare.
La supervisione debole sta in mezzo. Whisper prende coppie audio-testo già esistenti sul web — sottotitoli, trascrizioni caricate da altri — senza pretendere che siano perfette. Alcune lo sono, altre contengono errori, altre ancora sono in realtà prodotte da altri sistemi automatici e vanno scartate. Gli autori dedicano molta cura proprio a questo filtraggio: rimuovere le trascrizioni sospette di essere a loro volta generate da una macchina, allineare audio e testo, ripulire i casi peggiori. Il compromesso è dichiarato: si rinuncia alla qualità perfetta di ogni singolo esempio in cambio di una scala che nessun dataset curato a mano potrebbe raggiungere.
La pipeline. L’onda sonora viene convertita in uno spettrogramma log-mel — un’immagine che mostra quanta energia c’è a ogni frequenza nel tempo. L’encoder legge quell’immagine, il decoder genera la trascrizione un token alla volta. Un solo modello, dall’audio grezzo al testo.
Un solo modello, molti compiti
La seconda scelta interessante è che Whisper non fa solo trascrizione. Le 680.000 ore includono materiale in molte lingue — circa 117.000 ore coprono 96 lingue diverse dall’inglese — e 125.000 ore di audio non inglese accoppiato a trascrizione in inglese, cioè esempi di traduzione. Con questo materiale il modello impara a fare, con la stessa rete, compiti diversi: trascrivere nella lingua parlata, tradurre in inglese, identificare quale lingua si sta parlando, indicare i momenti in cui c’è voce.
Il modo in cui tutti questi compiti convivono è elegante. Non ci sono reti separate: c’è un unico decoder a cui si dice cosa fare tramite dei «token speciali» premessi alla sequenza, quasi fossero istruzioni. Un token dice «la lingua è italiano», un altro dice «trascrivi» oppure «traduci», un altro ancora chiede o sopprime i timestamp. È come un impiegato poliglotta a cui, prima di passargli l’audio, si consegna un modulo con le caselle già spuntate: lingua, compito, formato. Lui esegue di conseguenza, sempre con la stessa testa.
Zero-shot: funziona senza ritocchi
Arriviamo al risultato che dà il senso a tutto il resto. I sistemi di riconoscimento vocale si valutano di solito così: si prende un benchmark, lo si divide in una parte per addestrare e una per valutare, si addestra il modello proprio su quella parte e poi lo si misura sull’altra. Chi ottimizza per quel benchmark specifico vince quel benchmark. Ma quando lo stesso modello incontra audio di tipo diverso, spesso crolla: ha imparato le idiosincrasie di quel dataset, non il parlato in generale.
Un modello può essere bravissimo su un test e fragile nel mondo. Whisper punta sull’opposto: un po’ meno campione da laboratorio, molto più affidabile fuori.
Whisper viene valutato in modalità «zero-shot»: non viene mai addestrato sulle porzioni di quei benchmark, li affronta a freddo. Su questa base gli autori riportano risultati spesso competitivi con i sistemi addestrati su misura, senza alcun adattamento. E aggiungono l’osservazione che conta di più: confrontato con trascrittori umani, il modello si avvicina alla loro accuratezza e alla loro robustezza. Non «supera l’uomo», ma tiene il passo anche dove le condizioni si fanno difficili — ed è lì che i sistemi tradizionali di solito si sfaldano. La robustezza, non il record su un test, è la vera notizia.
Perché riguarda voi
Whisper è probabilmente il modello di AI che usate senza saperlo. I sottotitoli automatici generati sui video, la dettatura dei messaggi, le note vocali trascritte, molti strumenti di trascrizione per giornalisti e ricercatori: dietro le quinte c’è spesso questo modello o un suo derivato. Il motivo per cui si è diffuso così tanto è che gli autori hanno rilasciato pubblicamente sia i modelli sia il codice per eseguirli. Chiunque può scaricarlo e farlo girare, anche in locale, anche senza connessione, con la privacy che ne consegue perché l’audio non lascia la vostra macchina.
C’è poi una lezione che vale oltre l’audio. Per anni il progresso nel riconoscimento vocale è stato inseguito perfezionando modelli su dataset puliti e ristretti. Whisper mostra un’altra via: allargare enormemente la quantità di dati, accettando che siano imperfetti, e ottenere in cambio qualcosa che i dati puliti non davano — la capacità di reggere il mondo reale, con il suo rumore e i suoi accenti. Quando valutate un sistema di AI, la domanda giusta raramente è «quanto è bravo sul test ufficiale». Molto più spesso è: «quanto regge quando le condizioni non sono quelle del test?».
Il paper
Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022. Disponibile su arXiv: arxiv.org/abs/2212.04356.
I commenti sono riservati agli iscritti.
Accedi per commentare