LongStraw porta l’RL oltre i 2 milioni di token, a parità di GPU
L'inferenza si avvicina al milione di token di contesto, ma il post-training RL è fermo molto più in basso. LongStraw…
L'inferenza si avvicina al milione di token di contesto, ma il post-training RL è fermo molto più in basso. LongStraw…
Un test indipendente su un problema di ottimizzazione reale: Fable 5 vince per qualità e consistenza, ma la vera lezione…
I looped transformer ottengono profondità riusando gli stessi pesi giro dopo giro, ma ripetere l'attention quadratica a ogni passaggio costa…
Nel 2017 tre ricercatori di DeepMind insegnarono a una rete a comprimere immagini, suoni e video dentro un vocabolario di…
Una settantina di ricercatori ha provato a disegnare l'atlante completo dei modelli che scrivono codice, dai foundation model agli agenti…
David Silver e Richard Sutton sostengono che l'AI addestrata sui dati umani stia toccando un tetto, e che il prossimo…
Nessun dataset etichettato, solo tentativi e ricompense: il reinforcement learning è il modo in cui si impara ad andare in…
Media, varianza, skewness e percentili non sono formule da mandare a memoria: sono quattro modi di guardare la stessa distribuzione.…
Come fa una piattaforma a consigliarti il film giusto senza sapere nulla di cinema? Costruiamo un recommender system da zero…
Il perceptron di Rosenblatt e l'Adaline sono i nonni di ogni rete neurale. Li costruiamo da zero in NumPy, riga…