Attention Is All You Need, il paper che ha reso possibile ChatGPT
Nel 2017 otto ricercatori di Google proposero di eliminare le reti ricorrenti e affidarsi a un solo meccanismo, l'attention. Rileggiamo…
Rilettura accessibile di un paper
Nel 2017 otto ricercatori di Google proposero di eliminare le reti ricorrenti e affidarsi a un solo meccanismo, l'attention. Rileggiamo…
Nel 2012 una rete neurale profonda addestrata su due schede grafiche da videogioco quasi dimezza l'errore sulla gara di riconoscimento…
Nel 2013 un gruppo di ricercatori Google mostra che, se rappresenti ogni parola con una lista di numeri appresa dal…
Nel 2014 Diederik Kingma e Jimmy Ba proposero un ottimizzatore che tiene memoria della direzione e taratura il passo su…
Nel 2014 Srivastava e colleghi mostrarono che spegnere a caso metà dei neuroni a ogni passo di addestramento fa allenare,…
Nel 2015 Sergey Ioffe e Christian Szegedy proposero di normalizzare le attivazioni dentro la rete, mini-batch per mini-batch. L'addestramento diventò…
Nel 2015 quattro ricercatori di Microsoft Research notarono un paradosso: le reti più profonde imparavano peggio anche sui dati di…
Nel 2014 tre ricercatori di Google mostrano che una rete neurale può leggere una frase in inglese, comprimerla in un…
Nel 2014 Ian Goodfellow e i suoi coautori propongono di addestrare un generatore mettendolo contro un avversario che deve smascherarlo.…
Nel 2013 Kingma e Welling trasformarono l'autoencoder da fotocopiatrice a generatore, con un'idea semplice e un trucco matematico elegante. Rileggiamo…