Quando si scrappano dati da siti web su larga scala, è molto probabile che non si debba affrontare un CAPTCHA per dimostrare di essere un essere umano. In qualità di web scraper, forse sapete già perché i professionisti della cybersicurezza sono stati costretti a inventarli. Erano il risultato dei bot che automatizzavano le infinite richieste di accesso ai siti web. Così anche gli utenti autentici hanno dovuto affrontare i CAPTCHA, che appaiono in diverse forme. Tuttavia, è possibile aggirare i CAPTCHA sia che si tratti di un web scraper sia che non lo si faccia, e questo è l'obiettivo di questo articolo. Ma prima di tutto, vediamo cosa sono i CAPTCHA.
CAPTCHA è l'acronimo di Completely Automated Public Turing Test to tell Computers and Humans Apart. È un acronimo piuttosto lungo, vero? Ora vi starete chiedendo cosa significhi l'ultima parte di questo acronimo, Turing Test: si tratta di un semplice test per determinare se un umano o un bot sta interagendo con una pagina web o un server web.
Dopo tutto, un CAPTCHA distingue gli esseri umani dai bot, aiutando gli analisti della sicurezza informatica a salvaguardare i server web da attacchi brute force, DDoS e, in alcune situazioni, dal web scraping.
Scopriamo come i CAPTCHA differenziano gli esseri umani dai bot.
I CAPTCHA si trovano nei moduli di un sito web, compresi i moduli di contatto, registrazione, commenti, iscrizione o check-out.
I CAPTCHA tradizionali includono un'immagine con lettere, numeri o entrambi allungati o sfocati in un riquadro con un colore di sfondo o uno sfondo trasparente. L'utente deve quindi identificare i caratteri e digitarli nel campo di testo che segue. Questo processo di identificazione dei caratteri è più semplice per gli esseri umani, ma piuttosto complicato per un bot.
D'altra parte, alcuni bot avanzati sono in grado di intercettare le lettere distorte con l'aiuto dell'apprendimento automatico nel corso degli anni. Di conseguenza, alcune aziende come Google hanno sostituito i CAPTCHA convenzionali con CAPTCHA sofisticati. Un esempio è ReCAPTCHA, che scoprirete nella prossima sezione.
ReCAPTCHA è un servizio gratuito offerto da Google. Chiede agli utenti di spuntare delle caselle piuttosto che digitare del testo, risolvere dei puzzle o delle equazioni matematiche.
Un tipico ReCAPTCHA è più avanzato delle forme convenzionali di CAPTCHA. Utilizza immagini e testi reali, come i semafori delle strade, testi di vecchi giornali e libri stampati. Di conseguenza, gli utenti non devono affidarsi ai CAPTCHA della vecchia scuola con testo sfocato e distorto.
Esistono tre tipi significativi di test ReCAPTCHA per verificare se siete un essere umano o meno:
Si tratta dei ReCAPTCHA che chiedono agli utenti di spuntare una casella di controllo, "Non sono un robot", come nell'immagine precedente. Sebbene a occhio nudo possa sembrare che anche un bot possa completare questo test, vengono presi in considerazione diversi fattori:
Se il ReCAPTCHA non riesce a verificare che siete un essere umano, vi presenterà un'altra sfida.
Questi ReCAPTCHA forniscono agli utenti nove o sedici immagini quadrate, come si può vedere nell'immagine precedente. Ogni quadrato rappresenta una parte di un'immagine più grande o immagini diverse. L'utente deve selezionare i quadrati che rappresentano oggetti specifici, animali, alberi, veicoli o semafori.
Se la selezione dell'utente corrisponde a quella di altri utenti che hanno eseguito lo stesso test, l'utente viene verificato. In caso contrario, il ReCAPTCHA presenterà un test più impegnativo.
Sapevate che ReCAPTCHA è in grado di verificare se siete un essere umano o meno senza utilizzare caselle di controllo o qualsiasi interazione con l'utente?
Sicuramente lo fa prendendo in considerazione la cronologia delle interazioni dell'utente con i siti web e il comportamento generale dell'utente online. Nella maggior parte degli scenari, sulla base di questi fattori, il sistema è in grado di determinare se l'utente è un bot.
In caso contrario, si tornerebbe a uno dei due metodi precedentemente menzionati.
I CAPTCHA possono essere attivati se un sito web rileva attività insolite che assomigliano al comportamento dei bot; tali comportamenti insoliti includono richieste illimitate in una frazione di secondo e clic sui link a un tasso molto più elevato rispetto agli esseri umani.
In questo modo, alcuni siti web avrebbero automaticamente attivato i CAPTCHA per proteggere i loro sistemi.
Per quanto riguarda i ReCAPTCHA, non è chiaro cosa li faccia scattare. Tuttavia, le cause generali sono i movimenti del mouse, la cronologia di navigazione e il tracciamento dei cookie.
Ora avete una panoramica chiara di cosa sono i CAPTCHA e i Rechaptchas, di come funzionano e di cosa li fa scattare. Ora è il momento di esaminare come i CAPTCHA influiscono sullo scraping del Web.
I CAPTCHA possono ostacolare lo scraping del web, in quanto i bot automatizzati eseguono la maggior parte delle operazioni di scraping. Tuttavia, non scoraggiatevi. Come indicato all'inizio di questo articolo, esistono modi per superare i CAPTCHA durante lo scraping del web. Prima di passare ad essi, concentriamoci su ciò di cui è necessario essere consapevoli prima di effettuare lo scraping.
Quando ci si collega a un sito web, si inviano informazioni sul proprio dispositivo al sito web che si collega. Questi possono utilizzare queste informazioni per personalizzare i contenuti in base alle specifiche del dispositivo e per il tracciamento metrico. Quando scoprono che le richieste provengono dallo stesso dispositivo, qualsiasi richiesta inviata successivamente viene bloccata.
Un altro aspetto da tenere presente è che il sito web di destinazione non abbia inserito il vostro indirizzo IP nella lista nera. È probabile che inseriscano il vostro indirizzo IP nella blacklist quando inviate troppe richieste con il vostro scraper/crawler.
La rotazione delle intestazioni HTTP e dei proxy (di cui si parlerà nella prossima sezione) con un pool garantirà che più dispositivi accedano al sito web da posizioni diverse. Dovreste quindi essere in grado di continuare lo scraping senza interruzioni dovute ai CAPTCHA. Detto questo, è necessario assicurarsi di non danneggiare in alcun modo le prestazioni del sito web.
Oltre ai fattori chiave di cui sopra, è necessario conoscere i CAPTCHA di seguito riportati quando si effettua il web scraping con un bot:
La semplice modifica dell'user agent non sarà sufficiente, poiché è necessario disporre di un elenco di stringhe di user agent e quindi ruotarle. Questa rotazione farà sì che il sito web di destinazione vi veda come un dispositivo diverso, mentre in realtà è un solo dispositivo a inviare tutte le richieste.
Come best practice per questa fase, sarebbe opportuno tenere un database degli agenti utente reali. Inoltre, cancellare i cookie quando non sono più necessari.
Un metodo più semplice e poco tecnico per risolvere un CAPTCHA è quello di utilizzare un servizio di risoluzione CAPTCHA. Questi utilizzano l'intelligenza artificiale (AI), l'apprendimento automatico (MI) e un insieme di altre tecnologie per risolvere un CAPTCHA.
Se si lascia che lo scraper acceda direttamente a un URL ogni frazione di secondo, il sito web ricevente si insospettisce. Di conseguenza, il sito web di destinazione attiva un CAPTCHA.
Per evitare questo scenario, si potrebbe impostare l'intestazione del referer in modo che sembri provenire da un'altra pagina. In questo modo si ridurrebbe la probabilità di essere individuati come bot. In alternativa, si può fare in modo che il bot visiti altre pagine prima di visitare il link desiderato.
Gli honeypot sono elementi nascosti in una pagina web che gli esperti di sicurezza utilizzano per intrappolare bot o intrusi. Anche se il browser esegue il rendering dell'HTML, le proprietà CSS sono impostate per essere nascoste. Tuttavia, a differenza degli esseri umani, il codice dell'honey pot sarebbe visibile ai bot quando effettuano lo scraping dei dati. Di conseguenza, sono caduti nella trappola tesa dall'honeypot.
Pertanto, prima di iniziare lo scraping, è necessario verificare che le proprietà CSS di tutti gli elementi di una pagina web non siano nascoste o invisibili. Solo quando si è certi che nessuno degli elementi è nascosto, si imposta il bot per lo scraping.
Questo articolo vi darà un'idea completa di come evitare i CAPTCHA durante lo scraping del web. Evitare un CAPTCHA può essere un processo complicato. Tuttavia, con l'uso delle tecniche specifiche discusse in questo articolo, è possibile sviluppare il bot in modo tale da evitare i CAPTCHA.
Ci auguriamo che sfruttiate tutte le tecniche discusse in questo articolo.