GPU cloud vs on-premise: i conti veri

La fattura del cloud arriva il primo del mese e chi guida un piccolo team di data science la apre sempre con la stessa lieve apprensione. Questa volta il numero è a cinque cifre. Non c’è stato nessun incidente, nessun ciclo di training impazzito: solo il costo ordinario di tenere qualche GPU accesa abbastanza a lungo da addestrare i modelli, servire le inferenze e far girare gli esperimenti. Guardando quella cifra, la domanda si affaccia da sola: a questo ritmo, non converrebbe comprarle, quelle schede? La risposta onesta è la più scomoda: dipende. E dipende quasi tutto da un solo numero che nessuno tiene d’occhio.

Due strutture di costo, non due prezzi

L’errore di partenza è confrontare cloud e on-premise come si confrontano due offerte di telefonia: chi ha il prezzo più basso vince. Ma i due modelli non hanno la stessa forma di costo. Il cloud è una spesa operativa (OpEx): paghi a ore, e se spegni la macchina la spesa si azzera. L’on-premise è in gran parte una spesa in conto capitale (CapEx): un esborso grande e anticipato per l’hardware, che poi ammortizzi nel tempo indipendentemente da quanto lo usi.

L’analogia più fedele è l’auto. Il cloud è il car sharing: paghi solo i minuti in cui guidi, e non ti importa di bollo, assicurazione, gomme e svalutazione. L’on-premise è comprare l’auto: la paghi tutta subito, poi ogni mese versi le spese fisse anche nelle settimane in cui resta in garage. Chi guida due volte al mese fa bene ad affittare. Chi la usa per lavoro tutti i giorni, dopo un po’, avrebbe dovuto comprarla. Il punto non è quale delle due sia «più economica» in assoluto: è dove si incrociano le due curve.

Il conto vero dell’on-premise

Il prezzo di listino di una scheda è la parte facile, ed è anche la parte che inganna. Il costo di possesso reale — quello che in inglese chiamano total cost of ownership — comprende almeno cinque voci, e il silicio è solo la prima.

• Hardware. Non solo la GPU: il server che la ospita, la CPU, la RAM, lo storage veloce, l’alimentazione ridondante. Una GPU da data center non vive da sola su una scrivania.
• Energia. Una scheda di fascia alta assorbe centinaia di watt sotto carico, e per ogni watt speso a calcolare ne serve una frazione ulteriore per raffreddare. La bolletta elettrica, su un anno di utilizzo intenso, non è una voce marginale.
• Spazio e raffreddamento. O hai una sala server con climatizzazione e continuità elettrica, o affitti spazio in un data center (colocation). In entrambi i casi è un costo fisso mensile.
• Persone. Qualcuno deve installare, aggiornare i driver, sostituire i pezzi che si rompono, gestire i guasti alle tre di notte. È tempo di lavoro qualificato, ed è un costo anche quando non compare in nessuna fattura.
• Obsolescenza. È la voce più sottovalutata. L’hardware per l’AI invecchia in fretta: la scheda che oggi è al vertice, tra due o tre anni sarà scavalcata da modelli molto più efficienti per watt. Chi compra si prende anche questo rischio.

Messe insieme, queste voci trasformano il costo mensile di possesso in un numero fisso, alto, che va pagato che tu stia addestrando modelli ventiquattro ore su ventiquattro o che la macchina stia lì spenta perché è agosto e il team è in ferie.

La domanda giusta non è «quanto costa una GPU», ma «quante ore al mese resterà davvero accesa a lavorare».

Il conto vero del cloud

Sul cloud il prezzo orario è trasparente e sembra la parte semplice. Ma anche qui i conti hanno un doppio fondo, e va in due direzioni opposte. Da un lato, il prezzo a ore nasconde dei moltiplicatori: il traffico dati in uscita (egress) si paga a parte, lo storage dei dataset e dei checkpoint è una voce continua, e soprattutto si paga il tempo acceso, non il tempo di calcolo utile. Una macchina lasciata in idle mentre qualcuno pranza costa esattamente quanto una che sta addestrando.

Dall’altro lato, il cloud offre una leva che l’hardware di proprietà non ha: puoi spegnere. Se il tuo carico è a raffiche — un training pesante ogni tanto, poi giorni di quiete — paghi solo le raffiche. E hai accesso immediato alle schede più recenti senza rischio di obsolescenza: quando esce la generazione nuova, cambi istanza, non compri un server. In cambio di flessibilità paghi un sovrapprezzo per ora; è il premio che il fornitore incassa per tenersi lui il rischio dell’hardware fermo.

Il punto di pareggio

Ora i due conti si possono sovrapporre, ed è qui che tutto diventa chiaro. Mettiamo sull’asse orizzontale le ore di GPU effettivamente usate in un mese, e sull’asse verticale il costo mensile. Il cloud è una retta che parte quasi da zero e sale in proporzione all’uso: poche ore, poca spesa. L’on-premise è una retta quasi piatta e alta: il costo fisso di possesso, che cambia appena al crescere dell’utilizzo (solo la bolletta elettrica). Le due rette si incrociano in un punto — il punto di pareggio.

Il pareggio non dipende dal prezzo al secondo, ma dall’utilizzo. A sinistra del punto giallo la GPU resta accesa poche ore: il cloud, che si spegne, costa meno. A destra la scheda lavora quasi sempre: il costo fisso dell’on-premise si spalma su tante ore e vince. Spostare quel punto significa cambiare decisione.

Cosa sposta il pareggio

La bellezza di questo schema è che smette di essere una guerra di religione tra chi ama il cloud e chi ama il ferro, e diventa una domanda misurabile: da che parte del punto giallo ti trovi? Alcuni fattori spostano il pareggio verso destra (rendono il cloud conveniente più a lungo), altri verso sinistra.

Un utilizzo basso o a raffiche tiene il cloud in vantaggio: se la tua scheda ideale resterebbe accesa il venti per cento del tempo, comprarla significa pagare l’ottanta per cento di aria. Un orizzonte temporale corto — una startup che non sa se tra un anno esisterà, un progetto sperimentale — sconsiglia di immobilizzare capitale in hardware. La velocità dell’obsolescenza lavora anch’essa per il cloud: più in fretta invecchiano le schede, meno senso ha possederle. E c’è la questione, tutt’altro che secondaria, della liquidità: un conto è versare qualche migliaio di euro al mese, un altro è tirare fuori decine di migliaia di euro in un colpo solo prima ancora di aver validato che il progetto funziona.

Dall’altra parte, spingono verso l’on-premise un utilizzo alto e costante (schede sature giorno e notte, per esempio inferenza su un servizio con traffico stabile), un orizzonte lungo, e requisiti di sovranità del dato: dati sanitari, legali o industriali che, per obblighi normativi o contrattuali, non possono uscire dal perimetro aziendale. In quei casi il conto economico è solo metà della decisione.

Perché ti riguarda

La tentazione, davanti a quella fattura a cinque cifre, è prendere la decisione con la pancia: o «il cloud ci sta dissanguando, compriamo tutto», oppure «l’hardware è un incubo, restiamo sul cloud per sempre». Entrambe le reazioni saltano l’unico calcolo che conta. Prima di scegliere, misura il tuo tasso di utilizzo reale: quante ore, in un mese tipico, le tue GPU stanno davvero calcolando qualcosa di utile — non accese, non in idle, ma al lavoro. Quel numero, incrociato con il costo fisso di possesso e con il prezzo orario del cloud, ti dice da che parte del pareggio ti trovi. Molti team scoprono, facendo il conto per la prima volta, di essere sulla riga sbagliata: pagano il car sharing per un’auto che usano tutti i giorni, o comprano un’auto che poi resta in garage. La risposta è sempre «dipende» — ma dipende da un numero che ora sai come guardare.