Linguaggio, computer vision, audio, multimodale
Prima di capire una sola parola, un modello linguistico deve spezzare il testo in frammenti chiamati token. L'algoritmo che decide…
Prima dei transformer, i computer leggevano contando parole. Bag of words e TF-IDF sono l'idea più semplice possibile per trasformare…
Nel 2013 un piccolo modello di Google dimostra che il significato di una parola si può imparare guardando solo le…
Nel 2014 le reti neurali imparano a tradurre comprimendo un'intera frase in un solo vettore di numeri. Funziona sorprendentemente bene,…
Nel 2015 un meccanismo nato come cerotto per la traduzione automatica insegna alle reti neurali a "puntare il dito" sulla…
Il transformer non è un blocco monolitico ma una pila di componenti semplici — attention, feed-forward, connessioni residue, normalizzazione —…
Il transformer elabora tutti i token in parallelo e, senza correttivi, non distingue "il cane morde l'uomo" da "l'uomo morde…
Due modelli nati dallo stesso Transformer hanno preso strade opposte: BERT legge in entrambe le direzioni per capire, GPT scrive…
Prima si impara la lingua su miliardi di parole, poi si impara il mestiere su pochi esempi mirati. La pipeline…
La perplexity è la metrica più citata e meno capita del mondo dei modelli linguistici. Misura una cosa semplice: quanto…
