Definizione
Chunking
Il chunking è il processo di suddivisione di un contenuto lungo in frammenti più piccoli e gestibili, chiamati chunk, che possono essere indicizzati e recuperati separatamente.
Come funziona
Un documento viene separato in blocchi secondo criteri come lunghezza, paragrafi o struttura. Ogni chunk può essere trasformato in embedding e memorizzato con metadati che permettono di risalire alla fonte originale.
Esempio pratico
Invece di trattare un manuale di cento pagine come un unico elemento, il sistema può dividerlo in sezioni. Alla domanda dell’utente recupera soltanto i chunk che parlano dell’argomento richiesto.
Quando usarlo
È utile nelle pipeline RAG e nelle Knowledge Base con documenti lunghi, perché consente un recupero più preciso e riduce la quantità di testo irrilevante inserita nel contesto del modello.
Perché è importante
La dimensione dei chunk influenza la qualità del retrieval: frammenti troppo grandi possono contenere rumore, mentre frammenti troppo piccoli possono perdere il contesto necessario per interpretare correttamente l’informazione.
In Quantiq
Nei flussi di training basati su documenti e pagine web, il chunking è una delle operazioni che rende la conoscenza utilizzabile in modo selettivo dal sistema AI.
Differenze e confronto
Il chunking prepara i contenuti; l’embedding li rappresenta numericamente; il Vector Database li conserva; il retrieval seleziona quelli più pertinenti.
