Cross-entropy e KL divergence: l’errore dei modelli linguistici
Ogni modello linguistico viene addestrato minimizzando un solo numero: la cross-entropy. Capire cosa misura — e cosa misura la sua…
Algebra lineare, probabilità, statistica, teoria
Ogni modello linguistico viene addestrato minimizzando un solo numero: la cross-entropy. Capire cosa misura — e cosa misura la sua…
Nel 1948 Claude Shannon trovò il modo di misurare l'informazione con un numero. Quel numero — l'entropia — oggi decide…
Dietro l'addestramento di quasi ogni modello — dalla regressione lineare ai grandi modelli linguistici — c'è un unico principio: tra…
Altezze, errori di misura, rumore nei diffusion model: la curva a campana spunta dappertutto, e non per caso. Da dove…
Un test medico affidabile al 99% ti dice che sei positivo. Quanto devi preoccuparti? Molto meno di quanto pensi. Il…
Dietro l'addestramento di ogni rete neurale c'è una regola di calcolo del Seicento: la derivata di una funzione composta. Capire…
Ogni modello che "impara" sta in realtà scendendo lungo una superficie, un piccolo passo alla volta, guidato da un'unica informazione…
Ogni matrice trasforma lo spazio, ma alcune direzioni restano fedeli a se stesse: vengono solo stirate o compresse. Capire autovalori…
Due liste di numeri entrano, un numero solo esce — e quel numero dice quanto due cose si assomigliano. Il…
Dietro ogni rete neurale c'è un'unica operazione ripetuta miliardi di volte: moltiplicare matrici. Una guida onesta ai due oggetti matematici…