Reti neurali, ottimizzazione, architetture
Se raddoppi la potenza di calcolo, di quanto migliora un modello di linguaggio? Nel 2020 un gruppo di OpenAI mostra…
Nel 2022 DeepMind addestrò un modello quattro volte più piccolo di Gopher e lo batté su quasi tutto, a parità…
Nel 2022 Tri Dao e colleghi mostrarono che l'attention dei Transformer era lenta non per colpa dei calcoli, ma del…
L'attention paga il conto della sua potenza con un costo che cresce col quadrato della sequenza. Mamba propone un'alternativa: una…
Le reti neurali imparano regolando i pesi sui collegamenti e lasciando fisse le funzioni di attivazione nei neuroni. Le Kolmogorov-Arnold…
I modelli a spazio degli stati e l'attenzione sembrano due mondi lontani: una ricorrenza che scorre in linea, una matrice…
Per anni i generatori di immagini hanno ripulito rumore in decine di piccoli passi tortuosi. Un paper del 2022 propone…
Prima di leggere anche una sola parola, ogni modello linguistico spezza il testo in token secondo un vocabolario fisso deciso…
Un transformer dimentica tutto ciò che esce dalla sua finestra di attenzione; una rete ricorrente comprime il passato in uno…
Un gruppo di fisici propone di rimpicciolire i modelli linguistici non tagliando neuroni, ma le correlazioni tra i loro pesi,…
