Definizione
Token AI
Un token è una piccola unità di testo elaborata da un modello linguistico; può corrispondere a una parola, a parte di una parola, a un segno di punteggiatura o ad altri frammenti.
Come funziona
Prima di essere elaborato, il testo viene trasformato in una sequenza di token. Il modello lavora su questa sequenza sia in ingresso sia in uscita, e la quantità totale contribuisce al consumo della finestra di contesto e spesso anche al calcolo del costo di utilizzo.
Esempio pratico
Una conversazione lunga, un documento esteso e un prompt dettagliato occupano tutti token. Se il totale cresce troppo, può diventare necessario sintetizzare, selezionare solo i contenuti pertinenti o recuperarli dinamicamente tramite RAG.
Quando usarlo
È utile considerare i token quando si progettano prompt lunghi, conversazioni persistenti, analisi di documenti o workflow che devono controllare costi e quantità di contesto inviato al modello.
Perché è importante
I token rendono concreto il limite del contesto: più informazioni non significano automaticamente risultati migliori. La selezione delle informazioni rilevanti è spesso più efficace dell’invio indiscriminato di contenuti.
In Quantiq
In Quantiq i token sono una variabile tecnica sottostante all’uso dei modelli linguistici. Knowledge Base, RAG e configurazioni ben progettate aiutano a fornire al modello il contesto utile senza dover includere ogni informazione disponibile.
Differenze e confronto
Il token non è una parola e non è un credito. È l’unità con cui il modello rappresenta il testo; eventuali crediti o limiti commerciali sono meccanismi applicativi separati.
