Reti neurali, ottimizzazione, architetture
Nel 1958 una macchina imparò a distinguere forme correggendo i propri errori, e i giornali promisero robot coscienti. Undici anni…
Un neurone solo traccia una retta, e con una retta non si risolve nemmeno un interruttore a deviatore. La storia…
Per decenni le reti neurali hanno usato curve morbide e matematicamente eleganti. Poi una funzione che si scrive in tre…
Ogni modello impara solo ciò che la sua loss function punisce. MSE, cross-entropy e il motivo per cui scegliere come…
La discesa del gradiente stocastica zigzaga, esita, oscilla. Basta darle un po' di inerzia — una media mobile dei gradienti…
Adam è l'ottimizzatore che quasi tutti usano senza pensarci. Come funziona davvero, perché adatta il learning rate peso per peso,…
Se puoi regolare un solo iperparametro, regola il learning rate. Perché un numero solo può far fallire o riuscire un…
Nel 2015 un'operazione di due righe — sottrai la media, dividi per la deviazione standard — ha reso allenabili reti…
Spegnere a caso una parte dei neuroni durante l'addestramento sembra un modo di sabotare una rete neurale. È invece una…
Prima ancora del primo esempio di training, una rete neurale ha già preso una decisione cruciale: i valori iniziali dei…
