Deploy, monitoring, costi, scaling
L'inferenza si avvicina al milione di token di contesto, ma il post-training RL è fermo molto più in basso. LongStraw…
Sullo stesso modello trovi sei versioni quantizzate con sigle diverse e nessuna spiegazione di quale ti serva. La scelta si…
L'addestramento parte, gira bene per venti minuti e muore di memoria esaurita. Tre modi di leggere un dataset più grande…
Un gruppo dell'Institute of Foundation Models, con Cornell, Harvard e Cerebras, aggiunge a ogni livello di un modello autoregressivo dei…
DeepSeek e l'Università di Pechino raccontano il modo in cui oggi accelerano DeepSeek-V4 in produzione: una bozza scritta quasi tutta…
Un paper di Pechino e DeepSeek-AI porta effetti e coeffetti, due strumenti della teoria dei linguaggi, dentro il runtime: ogni…
Un gruppo con Ion Stoica e Matei Zaharia fra i firmatari presenta FreeToken, un motore che serve modelli mixture-of-experts da…
Un gruppo di NVIDIA, con lo stesso primo autore di OpenRLHF, propone un'infrastruttura per addestrare agenti con il reinforcement learning…
Shengshu Technology, Tsinghua e Jiao Tong di Shanghai descrivono come servire a molti utenti insieme i modelli che generano video…
Nei modelli che generano video l'attenzione è la voce di spesa più grande, e i metodi per sfoltirla pagano due…
