Definizione
Context Window
La Context Window è la quantità massima di token che un modello può considerare contemporaneamente durante una singola elaborazione.
Come funziona
Nella finestra di contesto rientrano istruzioni, messaggi della conversazione, documenti o estratti recuperati e spazio necessario per la risposta. Quando il limite viene raggiunto, parte del contenuto deve essere esclusa, compressa o gestita con strategie di recupero selettivo.
Esempio pratico
Un chatbot che ha accesso a centinaia di documenti non invia necessariamente tutto al modello. Un sistema RAG può recuperare solo i passaggi pertinenti alla domanda e inserirli nella finestra di contesto insieme alle istruzioni e alla conversazione.
Quando usarlo
È un vincolo da considerare per conversazioni lunghe, documenti estesi, Knowledge Base grandi e agenti che accumulano molte informazioni durante un workflow.
Perché è importante
Una finestra più ampia può essere utile, ma non elimina il bisogno di selezionare il contesto. Informazioni irrilevanti possono aumentare costi e rumore e rendere meno prevedibile il risultato.
In Quantiq
Nei casi d’uso Quantiq basati su Knowledge Base e RAG, il recupero delle informazioni rilevanti permette di usare la finestra di contesto in modo più efficiente.
Differenze e confronto
La Context Window è un limite del modello; la Knowledge Base è invece l’insieme più ampio di informazioni disponibili al sistema. Il retrieval decide quali parti della Knowledge Base portare nel contesto corrente.
