Crawling

Come funziona

Un crawler parte da uno o più URL, scarica le pagine accessibili e può seguire i link interni secondo regole definite. Il testo utile viene poi estratto e può essere trasformato, suddiviso e indicizzato per la ricerca o il training di un sistema AI.

Esempio pratico

Per addestrare un chatbot sulla documentazione aziendale si può indicare la sezione guide del sito. Il crawler raccoglie le pagine consentite, evitando di dover copiare manualmente ogni contenuto in un file separato.

Quando usarlo

È utile quando la fonte di conoscenza è già pubblicata su un sito o su una documentazione web e deve essere acquisita in modo più scalabile rispetto all’inserimento manuale URL per URL.

Perché è importante

Automatizza la raccolta, ma non garantisce da solo qualità: pagine duplicate, contenuti irrilevanti o aree non aggiornate possono entrare nella base di conoscenza se il perimetro non è definito bene.

In Quantiq

Il training dei chatbot Quantiq può utilizzare URL e crawling come fonte di conoscenza, insieme a testo, documenti e Q&A.

Differenze e confronto

Il crawling raccoglie le pagine; il retrieval le cerca dopo l’indicizzazione. Sono due fasi diverse della pipeline: acquisizione della fonte e recupero della conoscenza al momento della domanda.