Cos'è un token nell'intelligenza artificiale

A cura di Gianluca Bonomo — Docente e Formatore Tecnologico

Pubblicato il 5 ottobre 2026

Hai mai visto scritto «limite di token» o «costo per token» e hai fatto finta di capire? Nessun problema: la parola sembra tecnica, ma l'idea è semplicissima.

In questa lezione scopri che cos'è un token, come l'intelligenza artificiale lo usa per leggere la tua domanda e per scrivere la risposta un pezzetto alla volta, e perché ti conviene saperlo. Ci sono quattro esempi in cui vedi nascere una risposta token dopo token.

1. Il problema: l'AI non legge come noi

Tu vedi parole e frasi. Il computer, dentro, vede soltanto numeri.

Quando scrivi a un chatbot «Ciao, come stai?», nessuno dentro la macchina «capisce» quelle lettere come le capisci tu. Prima il testo va smontato in pezzetti, e ogni pezzetto va trasformato in un numero. Solo dopo il modello può lavorarci.

Quei pezzetti si chiamano token. Immagina i mattoncini delle costruzioni: con pochi tipi di mattoncino costruisci castelli, astronavi e perfino un ornitorinco. Con pochi tipi di token l'AI costruisce qualsiasi frase.

2. Che cos'è un token

Un token non è sempre una parola. Può essere una parola intera, un pezzo di parola, un segno di punteggiatura, o uno spazio attaccato alla parola che segue. Le parole comuni, che l'AI ha visto milioni di volte, di solito sono un solo token. Le parole rare vengono spezzate in più pezzi.

2.1 Quanti token è un testo?

Regola pratica, valida soprattutto per l'inglese: un token è circa quattro caratteri, e cento token sono circa settantacinque parole. L'italiano, con le sue parole lunghe e le sue desinenze, di solito consuma un po' più token dello stesso testo in inglese.

2.2 Dal testo ai numeri

L'AI ha un elenco chiuso di token che conosce, il vocabolario: decine di migliaia di pezzetti, ciascuno con un numero di codice. Il testo che scrivi viene tagliato in pezzetti dell'elenco, e ogni pezzetto sostituito dal suo numero. È questa serie di numeri che entra nel modello.

La stessa cosa succede al contrario: il modello produce un numero, e il numero viene tradotto di nuovo nel pezzetto di testo che vedi comparire sullo schermo.

3. Come l'AI scrive: un token alla volta

L'AI non scrive la risposta tutta insieme: la costruisce un pezzetto per volta, come quando componi un messaggio sul telefono.

Il meccanismo si ripete sempre uguale. Il modello legge tutto il testo che c'è finora, calcola quanto è probabile ciascun token possibile come prossimo, ne sceglie uno e lo aggiunge. Poi ricomincia, con un token in più da leggere.

3.1 Perché la stessa domanda dà risposte diverse

Il modello non sceglie sempre il token più probabile: a volte pesca anche tra quelli meno probabili. Quanto osa lo regola un'impostazione chiamata temperatura. Bassa: risposte prevedibili e uniformi. Alta: più fantasia e più sorprese. Per questo, chiedendo due volte la stessa cosa, ricevi due testi diversi.

4. Quattro risposte costruite token dopo token

Vediamolo dal vivo. In ogni esempio c'è una domanda e la risposta che nasce un token alla volta. Leggi le tabelle dall'alto in basso: ogni riga aggiunge un pezzetto, e l'ultima colonna mostra il testo che esiste a quel punto. I tagli sono illustrativi, ma il meccanismo è quello vero.

4.1 Esempio 1: una domanda facile

Al passo 6 il modello sceglie tra molti candidati, ciascuno con la sua probabilità. Ecco come potrebbe apparire quel momento:

4.2 Esempio 2: un consiglio

4.3 Esempio 3: la parola rara

4.4 Esempio 4: la scusa più assurda

Qui la scelta più divertente è al passo 2. Quando la richiesta è creativa, nessun candidato domina e la temperatura fa la differenza:

5. Token da ridere: il museo dei pezzetti

Se pensi che i token siano noiosi, non hai ancora visto che cosa succede quando l'AI deve tagliare certe parole.

Più una parola è lunga, rara o scritta in modo strano, più pezzetti servono per ricostruirla. Ecco il nostro piccolo museo: i tagli sono di esempio, ma il principio è reale.

• Parole chilometriche. «Supercalifragilistichespiralidoso» è un puzzle da nove pezzi: l'AI lo monta mattoncino dopo mattoncino.
• Maiuscole. «CIAO» e «ciao» sono per l'AI due cose diverse: la versione urlata può costare più token.
• Lettere allungate. Più «o» aggiungi a «Ciaooooo», più pezzetti servono: allungare le lettere allunga il conto.
• Numeri. Anche un anno come 2026 può essere spezzato in due, per esempio «20» e «26».
• Il tuo nome. «Gianluca» potrebbe diventare «G», «ian», «luca»: provalo sul contatore e scopri in quanti pezzi si taglia il tuo.

6. Perché ti conviene conoscerli

I token non sono una curiosità da ingegneri: spiegano tre cose che incontri ogni giorno quando usi un chatbot.

6.1 Costi

Molti servizi di AI, soprattutto quelli per aziende e sviluppatori, si pagano a token: si contano sia quelli che invii sia quelli che ricevi. Prompt corti e risposte mirate costano meno. I prezzi cambiano spesso: guarda sempre il listino aggiornato del servizio.

6.2 Limiti e memoria

Il modello può tenere in considerazione solo una quantità limitata di testo, la finestra di contesto, misurata in token. Dentro ci stanno la tua domanda, la conversazione fin lì e la risposta. Quando la conversazione diventa troppo lunga, le parti più vecchie escono e il modello le «dimentica».

6.3 Errori buffi

Il modello vede pezzetti, non lettere. Per questo può inciampare in compiti che per noi sono banali, come contare quante volte compare una lettera in una parola o scrivere una parola al contrario. Non è stupido: sta guardando i mattoncini, non i singoli granelli di plastica.

Un token è un mattoncino. L'AI non ha mai scritto una frase intera in un colpo solo: ne ha sempre messo uno sopra l'altro.

— Gianluca Bonomo

Esercitazione pratica

Quindici minuti, un browser e il tuo chatbot preferito. Non serve installare nulla.

1. Scrivi una frase di tuo gusto, per esempio la tua prima frase di una mail di lavoro.
2. Cerca online il contatore di token («tokenizer») messo a disposizione dal fornitore del chatbot che usi, e incolla la frase.
3. Annota quanti token e quanti caratteri ci sono, e guarda come è stata spezzata.
4. Prova con tre varianti: la stessa frase in inglese, una parola lunga e rara, e una riga di soli numeri. Confronta i conteggi.
5. Gara dei token buffi: confronta «ciao», «CIAO», «ciaooooo» e il tuo nome. Quale costa di più?
6. Gioco finale: sulla tastiera del telefono scrivi l'inizio di una frase e premi sempre il primo suggerimento. Dopo dieci parole leggi che cosa è uscito: hai appena fatto, a mano, il lavoro dell'AI.

Le domande che arrivano in aula

Glossario

Per approfondire

• Documentazione dei fornitori di AI sui token e sul conteggio dei token — pagine ufficiali dei servizi: regole pratiche (circa quattro caratteri per token) e contatori online
• Sennrich, Haddow, Birch - Neural Machine Translation of Rare Words with Subword Units (2016) — l'articolo che ha diffuso lo spezzettamento in pezzi di parola
• Vaswani e altri - Attention Is All You Need (2017) — l'architettura alla base dei moderni modelli linguistici
• Gianluca Bonomo, Niente paura, è solo IA — il libro di riferimento