Cloudflare: stop allo scraping per addestrare le AI

  • Facebook
  • Twitter
  • Linkedin
  • Email
  • CommentaScrivi un commento
  • ForumDiscuti sul forum
  • PrecedenteChrome: revoca delle autorizzazioni ai siti Web anche su Android
  • Successivo10 miliardi di password in un file
Cloudflare: stop allo scraping per addestrare le AI © Pixabay

Lo scraping dei siti Web non è necessariamente un'attività illegale, rappresenta però un danno quando i dati raccolti dai bot vengono utilizzati senza alcun vantaggio per gli autori. Questa pratica viene utilizzata frequentemente anche per addestrare i modelli generativi con informazioni disponibili pubblicamente e senza alcun compenso per chi gestisce le pagine coinvolte.

Si tratta sostanzialmente di un'attività di parsing. I bot scansionano automaticamente la rete alla ricerca di informazioni, quando analizzano un sito Web ne identificano i contenuti principali e li raccolgono. Questi ultimi vengono poi elaborati e archiviati all'interno di dataset spesso molto voluminosi che possono essere impiegati, ad esempio, in progetti di AI e Machine Learning.

Una novità a questo proposito arriva da Cloudflare, tra i maggiori provider mondiali di Cloud Services, che ha sviluppato una funzionalità gratuita con la quale sarà possibile bloccare lo scraping da parte dei bot sul proprio sito Web. Una volta abilitata questa feature il riconoscimento dei bot avviene automaticamente sulla base di un modello predefinito.

Il training di quest'ultimo è stato effettuato tenendo conto di alcuni comportamenti tipici dei bot che tentano di effettuare procedure di scraping. Essi infatti tentano di imitare il comportamento degli esseri umani per non essere rilevati, ad esempio simulando la navigazione da un comune browser Internet o randomizzando il numero di accessi.

Tale strumento è stato concepito per bloccare tutti quei bot che ignorano le direttive indicate nei file robots.txt e quindi non rispettano la volontà di chi gestisce un sito Web. L'azienda fornisce inoltre un tool appositamente dedicato alle segnalazioni di bot e crawler basati sulle AI che permetteranno di migliorare ulteriormente il modello anti-scraping.

Claudio Garau

Claudio Garau

Web developer, programmatore, Database Administrator, Linux Admin, docente e copywriter specializzato in contenuti sulle tecnologie orientate a Web, mobile, Cybersecurity e Digital Marketing per sviluppatori, PA e imprese.

Non perderti nessuna news!

I commenti degli utenti

I commenti sono liberi: non è necessario iscriversi per poter commentare su questa pagina. Tutti i commenti, tuttavia, sottoposti alle linee guida di moderazione e prima di essere visibili devono essere approvati da un moderatore.

Oppure leggi i commenti degli altri utenti