Rilettura accessibile di un paper
Che un modello sappia cose diverse a seconda della lingua è noto. Sette ricercatori misurano un'altra cosa: che sa fare…
I libri di esercizi svolti sono pieni di ragionamento, ma non lo scrivono. Per sfruttarli era stato proposto un metodo…
Nei modelli che generano un token alla volta il passato non deve mai dipendere dal futuro. Si controlla guardando la…
Portare un modello aperto da quattromila a centomila token di contesto costava, nel 2023, centoventotto GPU da datacenter. LongLoRA lo…
I looped transformer ottengono profondità riusando gli stessi pesi giro dopo giro, ma ripetere l'attention quadratica a ogni passaggio costa…
Nel 2017 tre ricercatori di DeepMind insegnarono a una rete a comprimere immagini, suoni e video dentro un vocabolario di…
Generare testo è lento perché ogni parola aspetta la precedente. Speculative decoding fa proporre i token a un modello piccolo…
Per anni i generatori di immagini hanno ripulito rumore in decine di piccoli passi tortuosi. Un paper del 2022 propone…
Per decidere quale LLM risponde "meglio" non basta un compito con la risposta giusta. Il progetto nato a Berkeley ha…
Un neurone che significa cinque cose scollegate non è un guasto, è una strategia. "Toy Models of Superposition" usa reti…
