Nel 2015 le reti profonde più di venti strati funzionavano peggio di quelle corte, e nessuno capiva perché. Una connessione…
Per riconoscere un gatto, una rete deve prima dimenticare milioni di pixel. Il pooling è l'arte di buttare via i…
Una convoluzione è una finestrella di numeri che scorre su un'immagine e risponde a una sola domanda: "qui c'è il…
Perché le reti neurali profonde per anni non imparavano nulla: il gradiente che si spegne strato dopo strato, il suo…
Prima ancora del primo esempio di training, una rete neurale ha già preso una decisione cruciale: i valori iniziali dei…
Spegnere a caso una parte dei neuroni durante l'addestramento sembra un modo di sabotare una rete neurale. È invece una…
Nel 2015 un'operazione di due righe — sottrai la media, dividi per la deviazione standard — ha reso allenabili reti…
Se puoi regolare un solo iperparametro, regola il learning rate. Perché un numero solo può far fallire o riuscire un…
Adam è l'ottimizzatore che quasi tutti usano senza pensarci. Come funziona davvero, perché adatta il learning rate peso per peso,…
La discesa del gradiente stocastica zigzaga, esita, oscilla. Basta darle un po' di inerzia — una media mobile dei gradienti…
