Reti neurali, ottimizzazione, architetture
Nei modelli che generano un token alla volta il passato non deve mai dipendere dal futuro. Si controlla guardando la…
Portare un modello aperto da quattromila a centomila token di contesto costava, nel 2023, centoventotto GPU da datacenter. LongLoRA lo…
L'interfaccia di Gymnasium è una presa elettrica: cinque metodi, e qualunque algoritmo si attacca a qualunque problema. Costruiamo un DQN…
Un classificatore dice «97%» quando ha ragione e «97%» quando la foto non somiglia a niente che abbia mai visto.…
I looped transformer ottengono profondità riusando gli stessi pesi giro dopo giro, ma ripetere l'attention quadratica a ogni passaggio costa…
Nel 2017 tre ricercatori di DeepMind insegnarono a una rete a comprimere immagini, suoni e video dentro un vocabolario di…
Per anni i generatori di immagini hanno ripulito rumore in decine di piccoli passi tortuosi. Un paper del 2022 propone…
L'attention paga il conto della sua potenza con un costo che cresce col quadrato della sequenza. Mamba propone un'alternativa: una…
Nel 2022 Tri Dao e colleghi mostrarono che l'attention dei Transformer era lenta non per colpa dei calcoli, ma del…
Nel 2022 DeepMind addestrò un modello quattro volte più piccolo di Gopher e lo batté su quasi tutto, a parità…
