Quando si utilizza un proxy, non ci si connette direttamente al server di destinazione, ma si indirizza la richiesta al server proxy che la valuta e restituisce una risposta. I proxy hanno molti vantaggi, ad esempio nascondono i vostri veri indirizzi IP, aggirano i filtri, la censura e così via.
Un rotatore proxy può aiutarvi ad aggirare la maggior parte delle misure anti-scraping. Può anche essere utilizzato per aggirare eventuali limiti di velocità implementati sul sito web di destinazione ed estrarre i dati con successo. Ma cos'è un proxy rotante? È un proxy che assegna un nuovo indirizzo IP per ogni connessione dal pool di proxy. Ciò significa che potete inviare 1000 richieste a qualsiasi numero di siti web lanciando uno script e ottenendo 1000 indirizzi IP diversi.
Questo articolo aiuta a capire come utilizzare i proxy per ruotare gli indirizzi IP in python.
È necessario importare il modulo requests di Python utilizzando il comando seguente.
richieste di importazioneSe il modulo non è installato nel vostro ambiente, potete installarlo usando il comando seguente.
richieste di installazione pipdef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passEcco la sezione principale del codice. Bisogna leggere il file list_proxy.txt e salvarlo nella variabile proxies, come mostrato di seguito.
if __name__ == "__main__":
con open('list_proxy.txt', 'r') come file:
proxy = file.readlines()È necessario utilizzare il modulo requests per creare una sessione in Python. Nel codice sottostante abbiamo usato un ciclo for per scorrere il proxy. Abbiamo poi passato la sessione e il proxy alla funzione send_request.
con requests.Session() come sessione:
per proxy in proxy:
send_request(sessione, proxy)È possibile eseguire lo script e vedere l'output come mostrato di seguito. Si otterrà un lungo elenco di proxy, ma ricordate che non funzioneranno.
python rotateproxy.pyL'intero codice sarà come:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Di seguito sono riportati alcuni suggerimenti per ruotare i proxy in Python quando si utilizza un proxy rotante.
La maggior parte dei servizi proxy gratuiti disponibili sono congestionati, il che porta a crash inaspettati e ritardi frustranti. Pertanto, quando si decide di optare per i proxy gratuiti, è necessario verificare che siano in grado di soddisfare le proprie esigenze di scraping senza provocare significativi drawdown.
La maggior parte dei proxy gratuiti sono validi per un periodo di tempo limitato, quindi è possibile costruire la propria logica in Python che può ruotare il rotatore dell'elenco di proxy gratuiti con indirizzi IP funzionanti. In questo modo, non si avranno interruzioni durante lo scraping del web.
È necessario evitare di utilizzare indirizzi IP che seguono una sequenza particolare o un formato prevedibile come l'appartenenza allo stesso gruppo. Questo perché la maggior parte degli strumenti anti-scraping è in grado di rilevare facilmente le richieste inviate da tali indirizzi IP. Ad esempio, dovreste evitare di utilizzare la seguente sequenza di indirizzi IP a rotazione, perché farebbe subito scattare l'allarme.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
I rotatori di IP proxy gratuiti sono insicuri e lenti. Pertanto, il loro utilizzo non è adatto se si eseguono progetti di scraping web avanzati e su larga scala. Utilizzando buoni proxy premium, è possibile ottenere un servizio di alta qualità e raschiare migliaia di pagine web senza subire blocchi o interruzioni.
Per utilizzare un servizio proxy premium, dovrete pagare qualche dollaro e ottenere un provider che soddisfi le vostre esigenze di estrazione dei dati e garantisca la vostra privacy.
Di seguito sono riportate le tre principali categorie di proxy presenti su Internet.
È possibile utilizzare la rotazione degli IP per ruotare più indirizzi IP ed evitare il rilevamento. Tuttavia, alcune misure anti-scraping possono identificare tali attività e bloccare la raccolta dei dati. Pertanto, è necessario ruotare anche gli agenti utente, oltre a ruotare gli indirizzi IP, per aumentare le possibilità di successo.