Reti neurali, ottimizzazione, architetture
Addestrare una rete da zero costa dati, tempo e GPU che quasi nessuno ha. Il transfer learning ribalta il problema:…
Un gatto capovolto resta un gatto. Su questa banalità si fonda la data augmentation: trasformare le immagini che già abbiamo…
I manuali dicono che un modello troppo grande fa overfitting e basta. Poi qualcuno ha continuato a ingrandire i modelli…
Una rete neurale enorme impara bene, una piccola con la stessa struttura fatica. Nel 2019 due ricercatori del MIT hanno…
Le reti neurali esistono dagli anni Cinquanta, ma per mezzo secolo sono rimaste una promessa. Non mancavano le idee: mancava…
Nel 2014 Diederik Kingma e Jimmy Ba proposero un ottimizzatore che tiene memoria della direzione e taratura il passo su…
Nel 2014 Srivastava e colleghi mostrarono che spegnere a caso metà dei neuroni a ogni passo di addestramento fa allenare,…
Nel 2015 Sergey Ioffe e Christian Szegedy proposero di normalizzare le attivazioni dentro la rete, mini-batch per mini-batch. L'addestramento diventò…
Nel 2015 quattro ricercatori di Microsoft Research notarono un paradosso: le reti più profonde imparavano peggio anche sui dati di…
Nel 2013 Kingma e Welling trasformarono l'autoencoder da fotocopiatrice a generatore, con un'idea semplice e un trucco matematico elegante. Rileggiamo…
