Overfitting: quando il modello impara a memoria
Un modello che memorizza i dati di addestramento invece di coglierne la struttura sembra perfetto, finché non incontra il mondo…
Analisi long-form 3000+ parole
Un modello che memorizza i dati di addestramento invece di coglierne la struttura sembra perfetto, finché non incontra il mondo…
Un modello può sbagliare perché mira male o perché ha la mano che trema — e le due cose richiedono…
Ogni modello linguistico viene addestrato minimizzando un solo numero: la cross-entropy. Capire cosa misura — e cosa misura la sua…
Nel 1948 Claude Shannon trovò il modo di misurare l'informazione con un numero. Quel numero — l'entropia — oggi decide…
Dietro l'addestramento di quasi ogni modello — dalla regressione lineare ai grandi modelli linguistici — c'è un unico principio: tra…
Altezze, errori di misura, rumore nei diffusion model: la curva a campana spunta dappertutto, e non per caso. Da dove…
Un test medico affidabile al 99% ti dice che sei positivo. Quanto devi preoccuparti? Molto meno di quanto pensi. Il…
Dietro l'addestramento di ogni rete neurale c'è una regola di calcolo del Seicento: la derivata di una funzione composta. Capire…
Ogni modello che "impara" sta in realtà scendendo lungo una superficie, un piccolo passo alla volta, guidato da un'unica informazione…
Ogni matrice trasforma lo spazio, ma alcune direzioni restano fedeli a se stesse: vengono solo stirate o compresse. Capire autovalori…