cURL è l'abbreviazione di URL client e uno strumento a riga di comando per inviare e ricevere dati da un server. È distribuito nei moderni sistemi operativi, tra cui Windows 10 e le distribuzioni Linux. È una comoda libreria che consente di inviare e ricevere dati da e verso i siti web ed è uno strumento fondamentale per le vostre esigenze di web scraping. Prima di vedere un semplice esempio, scopriamo cosa occorre sapere per installarlo.
sudo apt install curl.
In Windows, aprire il terminale o il prompt dei comandi e digitare:
<em><strong>curl https://www.yahoo.com</strong></em>Nella console, viene stampato l'HTML della pagina.
cURL trasferisce i dati da e verso le pagine web con l'aiuto dei protocolli Internet. Sebbene inizialmente cURL sia stato sviluppato per lavorare con i protocolli HTTP, attualmente supporta molti protocolli di rete come FTP, IMAP, IMAPS, SMTP, POP3, POP3S e altri.
Supporta anche i metodi POST, GET, PUT e altri metodi di invio delle richieste. Vediamo un esempio di invio di alcuni dati con il metodo post.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"Il pezzo di codice qui sopra -denota che si sta usando il metodo post per passare il proprio nome e qualche valore alla pagina post di examplewebsite.com.
Ora sapete cos'è cURL e passiamo al suo utilizzo con i proxy.
La configurazione di cURL con un indirizzo proxy aiuterà le persone a migliorare la comunicazione dei dati con tutte le funzioni proxy.
L'uso di cURL con un proxy assicura che gli utenti possano nascondere la propria identità al server. Se gli utenti preferiscono recuperare informazioni senza far conoscere la loro identità reale, possono configurare un indirizzo proxy con la richiesta di comando cURL. In questo caso, il proxy inoltrerà la richiesta dell'utente per suo conto, nascondendo l'identità reale. Proxyscrape fornisce proxy per tutti i tipi di protocollo come HTTP, Socks4 e Socks5 che possono mantenere l'anonimato per tutti i tipi di richiesta.
Quando agli utenti di una località viene impedito di scraping di contenuti da siti di altri confini geografici, i proxy li aiuteranno a bypassare tali restrizioni. Proxyscrape fornisce proxy di diversi Paesi, in modo che gli utenti possano scegliere quello desiderato per bypassare i geoblocchi.
È possibile utilizzare i proxy per connettersi a un sito web utilizzando cURL. Ad esempio, i proxy sono essenziali quando si utilizza cURL per effettuare lo scraping di dati. In questo modo si rimane anonimi rispetto al sito web di destinazione da cui si effettua lo scraping.
Per connettersi con i proxy, sono necessari l'indirizzo del server proxy, il numero di porta e il tipo di protocollo; se è richiesta l'autenticazione, è necessario inserire il nome utente e la password. Vediamo un semplice esempio: supponiamo che l'indirizzo del proxy sia 127.0.0.1 e che il numero di porta sia 8920. Gli esempi citati di seguito sono esempi fondamentali di proxy di connessione con cURL, che funzionano per qualsiasi servizio proxy.
La sintassi per connettersi a un proxy sarebbe:
curl --proxy indirizzo proxy: porta https://examplewebsite.comsostituirlo con:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comIl comando precedente instrada la connessione tramite un proxy a examplewebsite.com.
Ora analizzeremo un esempio che richiede un'autenticazione in cui il nome utente è il nome utente e la password è la password.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comOra è possibile scoprire quali comandi utilizzare quando si connette cURL con un protocollo proxy, utilizzando :
curl --helpIndubbiamente l'elenco sarebbe molto vasto e noi ci concentreremo sui comandi fondamentali elencati di seguito:
-x, --proxy [protocollo://]host[:porta]In questo comando, x insieme a -proxy indica i dettagli del proxy; si può usare uno dei due, poiché entrambi sono corretti. Tuttavia, si tenga presente che x è sensibile alle maiuscole e alle minuscole.
Inoltre, per essere sicuri di utilizzare i proxy, si può utilizzare il seguente comando:
ricciolo http://httpbin.org/ipQuesto comando di solito restituisce l'indirizzo IP dell'origine. Quindi, se si utilizza un server proxy, restituisce l'indirizzo IP del server proxy anziché il proprio.
Quindi, mettendo tutto insieme, si potrebbe inviare la richiesta come segue:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Inoltre, il comando seguente sarà uguale a quello precedente:
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Un fatto importante da tenere a mente è che si dovrebbero usare le virgolette sia per l'URL proxy che per l'URL di destinazione. Ciò è dovuto alla presenza di caratteri speciali nell'URL.
Inoltre, se si verificano errori relativi al certificato SSL, è necessario aggiungere la lettera minuscola -k alla fine del comando, come mostrato di seguito:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Ciò consentirà il passaggio di connessioni non sicure quando si utilizza la connessione SSL.
Quando si usano i proxy, il protocollo predefinito è HTTP, a meno che non sia specificato diversamente. Pertanto, entrambi i comandi seguenti sono corretti:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
curl --proxy "username:[email protected]:8920" "http://httpbin.org/ip".Se si desidera avere un proxy per cURL, si può creare un file curl-config nel modo seguente.
Se si utilizza macOS o Linux, per prima cosa bisogna aprire il terminale e andare nella propria directory home. Se esiste un file .curlrc, bisogna aprirlo e creare un nuovo file vuoto. È possibile utilizzare i comandi seguenti per navigare nel file:
cd~
nano .curlrc.È quindi necessario aggiungere questa riga nel file:
delega="http://username:[email protected]:8920"Salvare il file e ora è possibile utilizzare cURL con i proxy. È sufficiente eseguire normalmente cURL, che leggerà il proxy dal file di cui sopra:
ricciolo "http://httpbin.org/ip"echo %APPDATA%Quindi il comando precedente restituirà il percorso e si dovrà navigare verso di esso. Quindi è necessario creare il file _curlrc e impostare il proxy come in macOS o Linux.