Scaling Laws (2020): le leggi di potenza dei modelli

Immagina di dover decidere quanto grande costruire un modello di linguaggio avendo un budget fisso di ore di calcolo. Puoi fare un modello enorme e addestrarlo poco, o uno piccolo e addestrarlo a lungo, o mille vie di mezzo. Fino al 2020 questa era in gran parte una questione di intuito e cicatrici: si provava, si guardava, si aggiustava. Poi un gruppo di ricercatori di OpenAI addestra centinaia di modelli di dimensioni diverse su quantità di dati diverse, mette in fila i risultati e trova qualcosa di sorprendentemente ordinato. L’errore di questi modelli non si comporta in modo capriccioso: segue leggi di potenza semplici, prevedibili, che si estendono per oltre sette ordini di grandezza.

Tre manopole e una curva

La qualità di un modello di linguaggio, in questo lavoro, si misura con un solo numero: la loss, cioè quanto il modello si sorprende in media davanti alla parola successiva di un testo che non ha mai visto. Più bassa la loss, meglio il modello predice il linguaggio. E la loss, scoprono gli autori, dipende in modo pulito da tre grandezze soltanto: quanti parametri ha il modello (la sua dimensione, N), quanti dati vede in addestramento (D) e quanta potenza di calcolo gli dedichi (C, il compute).

Tre manopole. Gira una di esse tenendo ferme le altre due, e la loss cala secondo una legge di potenza — una forma matematica in cui, per migliorare della stessa frazione, devi moltiplicare la manopola per un fattore costante ogni volta. Il dettaglio più liberatorio è quello che non conta: la forma esatta della rete — quanti strati, quanto larghi, le proporzioni tra le parti — incide pochissimo sulla loss finale, purché il numero totale di parametri sia lo stesso. Per anni si erano limati questi dettagli come fossero decisivi. Le leggi di scala dicono che la geometria fine è quasi rumore; ciò che conta è la scala.

La retta che non ti aspetti

Le leggi di potenza hanno una proprietà visiva che le rende inconfondibili. Se disegni la loss contro la scala su assi normali, vedi una curva che scende ripida e poi si appiattisce, difficile da leggere. Ma se comprimi entrambi gli assi in scala logaritmica — dove ogni tacca vale dieci volte la precedente — quella curva si raddrizza in una linea retta. È lo stesso trucco per cui certe crescite esplosive diventano leggibili solo su carta logaritmica. Una retta su assi log-log è la firma di una legge di potenza, e la sua pendenza è l’esponente che governa tutto.

Le tre leggi, ognuna sul suo asse in scala logaritmica: aumentando compute, dati o parametri, la loss scende lungo una retta. Le pendenze sono piccole (0.050, 0.095, 0.076) e questo è il punto: servono aumenti moltiplicativi enormi per guadagni contenuti, ma i guadagni arrivano in modo prevedibile.

Gli esponenti misurati sono numeri piccoli. Rispetto ai parametri, la loss cala circa come N elevato a −0,076; rispetto ai dati, come D elevato a −0,095; rispetto al compute, come C elevato a −0,050. Piccoli significa impietosi: per dimezzare la distanza dalla perfezione non basta raddoppiare la scala, servono moltiplicazioni per fattori grandi. Ma «impietoso» qui convive con «prevedibile», ed è questa la vera notizia. Puoi addestrare qualche modello piccolo, tracciare la retta e leggere in anticipo dove finirà un modello dieci o cento volte più grande, senza costruirlo.

La lezione contro-intuitiva

Da questi grafici gli autori estraggono una conclusione che all’epoca suonava contro il buon senso. I modelli grandi sono più efficienti nell’uso dei dati: a parità di esempi visti, imparano di più dei modelli piccoli. La conseguenza pratica è spiazzante. Se hai un budget di calcolo fissato, la strategia migliore non è prendere un modello di taglia media e addestrarlo fino allo sfinimento sui dati. È prendere un modello molto grande, dargli in pasto una quantità relativamente modesta di dati e fermarti prima che abbia finito di assorbirli.

Fermarsi prima della convergenza contraddice l’istinto di ogni praticante: di solito si addestra finché il modello smette di migliorare. Le leggi di scala dicono che, se il vincolo è il compute totale, spingere un modello piccolo fino in fondo è uno spreco. Meglio un gigante lasciato a metà del suo pasto. È come scegliere tra leggere dieci volte lo stesso libro o sfogliarne cento una volta sola: se l’obiettivo è la cultura generale per pagina letta, il secondo approccio rende di più. La maggior parte del budget aggiuntivo, concludono, andrebbe messa nel rendere il modello più grande, e solo una parte minore nell’allungare l’addestramento.

La scoperta non è che i modelli grandi sono migliori — quello si sospettava già. È che quanto migliori è calcolabile in anticipo, e che il modo più economico di spendere calcolo è costruire grande e allenare poco.

Quello che le leggi non promettevano

Vale la pena dire con precisione cosa questo articolo affermava e cosa no. Non prometteva che la loss scendesse all’infinito: le leggi di potenza descritte valgono in un certo intervallo, e gli stessi autori si guardano dal dichiararle eterne. Non dicevano nulla di diretto sulle capacità che ci interessano davvero — ragionare, seguire istruzioni, non inventare fatti. Misuravano la loss sulla predizione della parola successiva, che è un ottimo indicatore ma non è la stessa cosa dell’utilità di un assistente. Tra «predice meglio il testo» e «è più bravo a fare quello che voglio» c’è un ponte, ma il paper non lo attraversa.

C’è anche un capitolo successivo di questa storia, ed essere onesti impone di raccontarlo. La ricetta di allocazione — molto budget nella dimensione, poco nei dati — è stata rivista nel 2022 da un lavoro di DeepMind noto come Chinchilla, che con un’analisi più accurata ha mostrato come i modelli dell’epoca fossero cronicamente sotto-addestrati: a parità di compute, conviene far crescere dimensione e dati più o meno in egual misura, dando molti più dati di quanto suggerissero le leggi originali. La forma a legge di potenza è rimasta; a cambiare è stata la miscela ottimale. È il modo normale in cui la scienza procede — una misura buona, poi una misura migliore — e non toglie nulla al fatto che qui, per la prima volta, si è dimostrato che la scala segue regole leggibili.

Perché ti riguarda

Questo articolo è la ragione per cui, negli anni seguenti, aziende con budget enormi hanno investito con relativa sicurezza in modelli sempre più grandi. Non era una scommessa al buio: era estrapolare una retta. Ogni volta che leggi di un modello annunciato mesi prima di essere finito, con previsioni sulle sue prestazioni, stai vedendo l’eredità pratica delle leggi di scala — la fiducia che una curva misurata in piccolo tenga anche in grande.

Ma la lezione vale anche molto più in basso, per chi non addestra modelli da miliardi di parametri. È un modo di pensare al rapporto tra risorse e risultati. Prima di buttare più dati, più tempo o più hardware su un problema, chiediti se stai muovendo la manopola giusta, e di quanto dovresti muoverla per un guadagno che valga la spesa. Spesso la risposta è deludente — servono fattori dieci per differenze modeste — e saperlo in anticipo ti risparmia mesi di ottimismo mal riposto. Le leggi di scala, in fondo, insegnano una virtù antica: misurare piccolo prima di spendere grande.

Il paper originale

Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei (OpenAI e Johns Hopkins), Scaling Laws for Neural Language Models, 2020. Preprint su arXiv: arxiv.org/abs/2001.08361. Gli esponenti riportati qui (circa −0,076 per i parametri, −0,095 per i dati, −0,050 per il compute), la scarsa rilevanza della forma della rete rispetto al numero di parametri e la raccomandazione di addestrare modelli molto grandi su dati modesti fermandosi prima della convergenza provengono dall’articolo stesso. La revisione della ricetta di allocazione citata nella penultima sezione è il lavoro Chinchilla, Hoffmann et al., DeepMind, 2022.