KAN (2024): funzioni sugli archi, non sui nodi

Immaginate di aprire il cofano di una rete neurale ordinaria. Trovate due tipi di pezzi: nei nodi, delle funzioni di attivazione fisse — una ReLU, una sigmoide, sempre la stessa forma per tutta la rete; sui collegamenti tra i nodi, dei numeri, i pesi, che l’addestramento regola uno per uno. La curva è congelata, la manopola gira. Nell’aprile 2024 un gruppo guidato da Ziming Liu, con Max Tegmark tra gli autori, pubblica un paper che propone di scambiare i ruoli: congelare le manopole e lasciare che siano le curve, sui collegamenti, a imparare. Il risultato si chiama Kolmogorov-Arnold Network, KAN.

Il teorema che sta sotto

Il nome viene da un risultato di matematica pura del 1957, dovuto ad Andrej Kolmogorov e Vladimir Arnol’d. In forma prosaica dice questo: qualsiasi funzione continua di più variabili si può scrivere come una somma di funzioni di una sola variabile. Non serve una funzione complicata che macini tutti gli ingredienti insieme; bastano tante preparazioni a ingrediente singolo, sommate al momento giusto. È come scoprire che un piatto elaborato, apparentemente inseparabile, è in realtà la somma di salse preparate ciascuna con un solo prodotto e versate nello stesso piatto.

Il teorema è affascinante ma, di per sé, scomodo: le funzioni univariate che garantisce esistono possono essere estremamente irregolari, non liscie, praticamente impossibili da usare in pratica. Per decenni è stato considerato una curiosità priva di ricadute per le reti neurali. L’intuizione del paper non è prendere il teorema alla lettera, ma usarne la forma: costruire una rete fatta di funzioni univariate apprese, disposte sugli archi, e impilarne più strati per aggirare la patologia dell’enunciato originale.

Dove finiscono i pesi

Ecco lo scambio, reso concreto. In un percettrone multistrato (MLP) ogni collegamento porta un peso — un numero — e ogni nodo applica una funzione di attivazione fissa alla somma di quello che riceve. In una KAN ogni collegamento porta invece una funzione univariata apprendibile, e il nodo non fa altro che sommare i valori che gli arrivano. Non c’è più nessuna matrice di pesi lineari, e non c’è più nessuna attivazione fissa: quello che prima era un numero moltiplicativo diventa un’intera curva che il collegamento applica al segnale in transito.

Lo scambio dei ruoli: a sinistra l’MLP, con i pesi (numeri) sui collegamenti e le attivazioni fisse nei nodi; a destra la KAN, dove ogni collegamento porta una funzione univariata appresa e il nodo non fa altro che sommare i contributi.

Come si impara una curva

Ma cosa vuol dire, in concreto, «una funzione che si impara»? Serve un modo per descrivere una curva con pochi numeri regolabili e sufficiente libertà di forma. La scelta del paper cade sulle B-spline: pensate al listello flessibile che i disegnatori tecnici usavano per tracciare curve morbide, tenuto fermo in alcuni punti di controllo. Spostando quei punti, la curva cambia forma restando liscia. In una KAN i punti di controllo di ogni spline sono i parametri che l’addestramento aggiusta: non un singolo peso per collegamento, ma un pugno di coefficienti che definiscono l’intera curva applicata a quel collegamento.

Questo ha una conseguenza immediata sul conto dei parametri. Ogni arco costa di più — non un numero ma una manciata — però la rete può cavarsela con molti meno archi. Il paper mostra che, su compiti di adattamento di funzioni e di risoluzione di equazioni differenziali alle derivate parziali, KAN molto piccole raggiungono accuratezza comparabile o migliore rispetto a MLP molto più grandi. Gli autori riportano anche leggi di scala più favorevoli: all’aumentare dei parametri, l’errore cala più in fretta che negli MLP.

Non è che le curve sostituiscano i numeri: è che il collegamento smette di essere una manopola e diventa uno strumento a sé, con la propria forma da imparare.

La promessa dell’interpretabilità

C’è un secondo argomento, forse più interessante del primo. Poiché ogni collegamento è letteralmente una funzione disegnabile su un piano cartesiano, una KAN addestrata si può guardare. Dove un MLP nasconde ciò che ha imparato in migliaia di pesi opachi, la KAN espone curve: questo collegamento è diventato un seno, quello un quadrato, quell’altro è piatto e quindi ininfluente. Il paper porta due casi in cui la rete ha aiutato dei ricercatori a ritrovare relazioni matematiche e fisiche note, leggendole direttamente dalla forma degli archi. È l’ambizione più alta del lavoro: una rete non solo accurata, ma leggibile, adatta alla scoperta scientifica più che al riconoscimento di gatti.

La reazione, senza sconti

Qui serve onestà, perché l’entusiasmo dei primi giorni si è raffreddato in fretta. Nei mesi successivi diversi gruppi hanno messo alla prova le KAN fuori dal loro terreno d’elezione, e il quadro è più sobrio del titolo. Una valutazione critica pubblicata nel luglio 2024 osserva che il vantaggio in accuratezza sembra derivare soprattutto dalle attivazioni a spline, non dall’architettura in sé — e che una buona fetta di quel vantaggio si ottiene anche innestando spline apprendibili in un MLP tradizionale. Sul piano pratico il costo computazionale è notevole: le implementazioni riportate risultano da poco più che sensibilmente fino a ordini di grandezza più lente degli MLP a parità di scala. E soprattutto: la superiorità si manifesta soprattutto su regressione simbolica e problemi scientifici strutturati, mentre sui benchmark canonici di visione, linguaggio e apprendimento tabulare le KAN tendono a restare indietro.

Non è una bocciatura, è un ridimensionamento. Le KAN non sono il rimpiazzo universale dell’MLP suggerito dalla lettura frettolosa; sono uno strumento specializzato, promettente là dove la struttura del problema è matematica e la leggibilità conta più della velocità grezza.

Perché ti riguarda

Anche se non addestrerai mai una KAN, questo paper vale come esercizio di igiene mentale. Primo, ricorda che le scelte di progetto che diamo per scontate — attivazione fissa sui nodi, peso singolo sugli archi — sono convenzioni, non leggi di natura: spostare cosa è fisso e cosa è appreso apre uno spazio di architetture ancora poco esplorato. Secondo, è un caso di studio pulito su come si legge un paper di rottura: distinguere ciò che l’articolo dimostra (accuratezza a parità di parametri su compiti specifici) da ciò che il clamore gli attribuisce (la fine dell’MLP), e aspettare che la comunità replichi prima di riscrivere le proprie convinzioni. In un campo dove ogni settimana un titolo annuncia una svolta, saper tenere separati il risultato e la sua eco è forse l’abilità tecnica più sottovalutata.

Il paper originale

Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark, KAN: Kolmogorov-Arnold Networks, 2024 — arXiv:2404.19756. Per la reazione critica citata: Kolmogorov-Arnold Networks: A Critical Assessment of Claims, Performance, and Practical Viability, 2024 — arXiv:2407.11075.