Il 30 giugno Google Research ha pubblicato sul proprio blog l’annuncio di TabFM, un foundation model per la classificazione e la regressione su dati tabellari. Lo firmano Weihao Kong e Abhimanyu Das, ricercatori di Google Research; i ringraziamenti citano altri otto collaboratori. Google Research aveva già presentato TimesFM per le serie temporali, e l’idea è dichiaratamente la stessa: un solo modello pre-addestrato che fa previsioni su dati nuovi senza essere riaddestrato.
Che cosa dichiara Google
Il punto di partenza dell’annuncio è familiare a chi ha lavorato su un churn o su una frode: su una tabella nuova, un modello ad alberi come XGBoost non si adatta con un solo .fit(), ma dopo ore di ricerca degli iperparametri e di costruzione delle feature. TabFM propone di saltare quella fase trattando la previsione come in-context learning: le righe già etichettate e quelle da prevedere entrano insieme nel modello, come un unico prompt, e la risposta esce in un solo passaggio in avanti, senza aggiornare alcun peso.
L’architettura, spiegano gli autori, è un ibrido che riprende modelli già noti come TabPFN e TabICL: prima un’attenzione che alterna colonne e righe, come in TabPFN, poi una compressione di ogni riga in un solo vettore, infine un Transformer che, come in TabICL, lavora sui vettori compressi invece che sulla griglia intera, per contenere il costo di calcolo. L’addestramento è interamente sintetico: «centinaia di milioni» di dataset generati con modelli causali strutturali, perché, scrivono, le tabelle pubbliche di qualità sono scarse e quelle industriali contengono schemi proprietari e dati sensibili, quindi restano inaccessibili per il pre-addestramento.
Sui risultati, l’annuncio dichiara che TabFM «supera in modo costante» algoritmi supervisionati di riferimento pesantemente ottimizzati. La prova è TabArena, un benchmark che assegna punteggi Elo dagli scontri diretti fra metodi, su 38 dataset di classificazione e 13 di regressione, da 700 a 150.000 esempi. Le configurazioni sono due: TabFM così com’è, e TabFM-Ensemble, che aggiunge feature incrociate e da SVD, un ensemble a 32 componenti pesato con minimi quadrati non negativi e, in classificazione, una calibrazione di Platt.
Che cosa manca per verificarlo
Il testo non riporta nessun punteggio: gli Elo stanno solo in un grafico dei primi dieci modelli, e per i dettagli l’annuncio rimanda a GitHub, promettendo metriche per fold e percentuali di vittoria contro i singoli modelli di confronto. Nella cartella dei risultati, però, ci sono soltanto gli errori di TabFM e TabFM-Ensemble, dataset per dataset e fold per fold: i confronti diretti vanno ricostruiti a parte. I nomi di quei file indicano un’esecuzione su TPU con il backend JAX, mentre i pesi a cui l’annuncio rimanda sono la versione PyTorch (quella JAX sta in un repository separato). Per ora non c’è un paper né un rapporto tecnico, come ammette il README: la scheda del modello elenca gli iperparametri dell’architettura ma non il numero di parametri, e mancano i dettagli del generatore sintetico e il protocollo di valutazione.
La scheda elenca anche limiti che l’annuncio non dice: al massimo 10 classi (un vincolo dell’architettura), tabelle ottimizzate fino a 500 colonne, memoria che cresce con le righe perché tutte passano come contesto. Sulle tabelle grandi la documentazione non è coerente: il README indica come predefinite 100 righe di contesto, oltre le quali lavora su campioni, ma nel codice attuale quel limite predefinito non è impostato. Il modello, precisano README e scheda, non è un prodotto Google supportato ufficialmente.
Perché interessa in Italia
Il codice è Apache 2.0, ma i pesi pre-addestrati hanno una licenza non commerciale: il README vieta in modo esplicito l’uso commerciale o in produzione. Per un’azienda italiana, quindi, la strada che l’annuncio indica è BigQuery, con una funzione SQL (AI.PREDICT) ancora in anteprima secondo l’annuncio di Google Cloud del 2 settembre: cioè con i dati dentro il cloud di Google, e con le condizioni d’uso di Google Cloud invece che con la licenza dei pesi. Per chi fa ricerca o didattica è invece un modello dai pesi scaricabili da mettere accanto a TabPFN e al solito gradient boosting sulla propria tabella: l’unico modo, per ora, di sapere se il grafico dell’annuncio regge fuori da TabArena.
I commenti sono riservati agli iscritti.
Accedi per commentare