Reti neurali, ottimizzazione, architetture
Da nove anni le parole di un prompt ricevono un numero di posizione fisso, 0, 1, 2, fino alla fine.…
Un gruppo di Stanford, NVIDIA e Berkeley riformula il contesto lungo come apprendimento continuo: invece di ricordare ogni token, il…
François Fleuret aggiunge al decoder Transformer una variabile casuale latente, appresa senza supervisione con un autoencoder variazionale. Un ingranaggio in…
Un modello che comprime il passato in sintesi e vi presta attenzione, con una manopola per scegliere a inferenza quanto…
Yann LeCun e due colleghi portano nel linguaggio l'obiettivo di addestramento che ha dato i risultati migliori nella visione: non…
Un transformer dimentica tutto ciò che esce dalla sua finestra di attenzione; una rete ricorrente comprime il passato in uno…
Un gruppo di ricercatori indiani mette a confronto le reti di Kolmogorov-Arnold e i classici percettroni multistrato su quattro compiti,…
Prima di leggere anche una sola parola, ogni modello linguistico spezza il testo in token secondo un vocabolario fisso deciso…
Le reti neurali imparano regolando i pesi sui collegamenti e lasciando fisse le funzioni di attivazione nei neuroni. Le Kolmogorov-Arnold…
I modelli a spazio degli stati e l'attenzione sembrano due mondi lontani: una ricorrenza che scorre in linea, una matrice…
