Rilettura accessibile di un paper
Riaddestrare per intero un modello da centinaia di miliardi di parametri per specializzarlo è proibitivo. Nel 2021 un gruppo di…
Nel 2020 un gruppo di ricercatori Facebook AI propose di dare a un modello generativo una biblioteca da consultare invece…
Nel 2022 Tri Dao e colleghi mostrarono che l'attention dei Transformer era lenta non per colpa dei calcoli, ma del…
A fine febbraio 2023 Meta pubblica un modello da 13 miliardi di parametri che ne batte uno da 175, addestrato…
Nel 2022 OpenAI addestra un modello di riconoscimento vocale su 680.000 ore di audio raccolto dal web e lo fa…
Nel 2022 Anthropic prova a rendere un assistente "innocuo" senza pagare persone per etichettare a mano migliaia di risposte tossiche.…
Un modello linguistico sa scrivere una poesia ma sbaglia una moltiplicazione a tre cifre. Toolformer, di Meta AI, gli insegna…
Un modello che ragiona da solo si convince delle proprie invenzioni; uno che agisce senza pensare si perde. ReAct intreccia…
L'attention paga il conto della sua potenza con un costo che cresce col quadrato della sequenza. Mamba propone un'alternativa: una…
Un neurone che significa cinque cose scollegate non è un guasto, è una strategia. "Toy Models of Superposition" usa reti…
