Le scaling laws divulgate: più grande è meglio?
Nel 2020 un gruppo di ricercatori scopre che la qualità dei modelli linguistici migliora seguendo curve matematiche prevedibili. Da quelle…
Nel 2020 un gruppo di ricercatori scopre che la qualità dei modelli linguistici migliora seguendo curve matematiche prevedibili. Da quelle…
Sotto la conversazione fluida di ChatGPT c'è un meccanismo solo: prevedere la parola successiva, miliardi di volte. Capire questo singolo…
Un modello non guarda un'immagine come noi. La traduce in una lista di numeri e la deposita nello stesso spazio…
Nel 2020 un gruppo di ricercatori di Google ha tagliato le immagini in quadratini da 16×16 pixel e li ha…
La stessa fotografia può ricevere tre risposte diverse: un'etichetta, dei riquadri, una mappa di pixel. Classificazione, detection e segmentazione sono…
In settant'anni la traduzione automatica ha cambiato paradigma quattro volte: regole scritte a mano, statistica sui corpora, reti neurali, modelli…
Whisper trascrive l'audio trasformando l'onda sonora in uno spettrogramma e lo spettrogramma in token di testo. Dentro la pipeline che…
Estrarre nomi, capire il tono, smistare testi: per vent'anni sono stati problemi da modelli specializzati. Oggi un prompt ben scritto…
La stessa frase, tradotta in italiano, può costare fino al 40-50% di token in più rispetto all'inglese. Non è un…
Un LLM non "decide" il prossimo token: pesca da una distribuzione di probabilità. Temperature, top-p e beam search sono i…