Le persone possono facilmente raccogliere e raschiare informazioni da diverse fonti come Facebook, Reddit e Twitter. Si può pensare a uno scraper come a uno strumento specializzato che estrae dati da una pagina web in modo accurato e veloce. Le API di scraping aiutano gli scraper a evitare di essere banditi dalle tecniche anti-scraping adottate dai siti web. Tuttavia, è costoso utilizzare le API rispetto a uno strumento proxy gestito in proprio.
Reddit dispone di un'API chiamata Python Reddit API Wrapper, abbreviata in PRAW, per effettuare lo scraping dei dati. In questo blog, vi mostrerò i passaggi per effettuare lo scrape di Reddit utilizzando Python. Ma prima di questo, è necessario sapere perché si deve fare lo scrape di Reddit.
Se parliamo del design di Reddit, allora è suddiviso in diverse comunità note come "subreddit". È possibile trovare su Internet qualsiasi sottoreddit relativo all'argomento di interesse. I ricercatori sociali eseguono analisi, fanno inferenze e attuano piani d'azione quando estraggono le discussioni su Reddit per un particolare argomento.
È possibile raccogliere molti dati da Reddit, ad esempio:
È possibile effettuare lo scraping di qualsiasi informazione da Reddit che sia rilevante per la propria attività, grazie alle seguenti esigenze:
Per esempio,
Lo scraping di Reddit utilizza web scrapers (programmi per computer) per estrarre i dati pubblicamente disponibili dal sito web di Reddit. È necessario utilizzare gli scraper di Reddit a causa delle limitazioni che si incontrano quando si utilizza l'API ufficiale di Reddit. Tuttavia, se si utilizza uno scraper web che non utilizza l'API di Reddit per estrarre dati da Reddit, si violano i termini di utilizzo di Reddit. Ma questo non significa che il web scraping sia illegale.
Per avere una sessione di scraping senza intoppi, dovrete eludere i sistemi anti-scraping messi in atto da Reddit. Le tecniche di anti-scraping più comuni utilizzate da Reddit sono:
È possibile risolvere il problema del tracciamento degli IP con l'aiuto dei proxy e della rotazione degli IP. D'altro canto, è possibile risolvere il problema dei Captcha utilizzando soluzioni Captcha come 2Captcha.
Esistono cinque modi per effettuare lo scraping di Reddit e sono:
Vediamo come effettuare lo scrape di Reddit utilizzando l'API di Reddit con l'aiuto dei seguenti passaggi.
Per prima cosa, importeremo i moduli integrati di Pandas, cioè datetime, e due moduli di terze parti, PRAW e Pandas, come mostrato di seguito:
importare praw
importare pandas come pd
importare datetime come dtÈ possibile accedere ai dati di Reddit utilizzando Praw, acronimo di Python Reddit API Wrapper. Per prima cosa, è necessario collegarsi a Reddit chiamando la funzione praw.Reddit e memorizzandola in una variabile. Successivamente, è necessario passare i seguenti argomenti alla funzione.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS', \
user_agent='YOUR_APP_NAME', \
username='YOUR_REDDIT_USER_NAME', \
password='TUA_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootropics')Ogni subreddit ha i seguenti cinque modi diversi per organizzare gli argomenti creati dai Redditor:
È possibile cogliere gli argomenti più votati come:
top_subreddit = subreddit.top()Si otterrà un oggetto simile a un elenco che contiene i primi 100 contributi in r/Nootropics. Tuttavia, il limite di richiesta di Reddit è 1000, quindi si può controllare la dimensione del campione passando un limite a .top as:
top_subreddit = subreddit.top(limit=600)È possibile effettuare lo scraping di tutti i dati desiderati. Tuttavia, noi scruteremo le informazioni di seguito riportate sugli argomenti:
Per farlo, memorizziamo i dati in un dizionario e utilizziamo un ciclo for, come mostrato di seguito.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Ora, possiamo effettuare lo scraping dei dati dall'API di Reddit. Aggiungeremo le informazioni al nostro dizionario iterando l'oggetto top_subreddit.
per submission in top_subreddit:
topics_dict["id"].append(submission.id)
topics_dict["title"].append(submission.title)
topics_dict["score"].append(submission.score)
topics_dict["created"].append(submission.created)
topics_dict["body"].append(submission.selftext)Ora mettiamo i nostri dati in Dataframes di Pandas, poiché i dizionari di Python non sono facili da leggere.
topics_data = pd.DataFrame(topics_dict)È molto facile creare file di dati in vari formati in Pandas, quindi utilizziamo le seguenti righe di codice per esportare i nostri dati in un file CSV.
topics_data.to_csv('FILENAME.csv', index=False)Sapete che Reddit non è un sito molto severo quando si tratta di restrizioni sull'uso dei proxy. Ma potete essere scoperti e penalizzati se automatizzate le vostre azioni su Reddit senza usare proxy.
Vediamo quindi alcuni dei migliori proxy per Reddit che rientrano in due categorie:
Di seguito sono riportati alcuni dei migliori proxy residenziali e per datacenter per Reddit.
ProxyScrape Fornisce tre tipi di servizi ai suoi utenti, ossia,
Avete bisogno di proxy quando lavorate con alcuni strumenti automatici su Reddit. Reddit è infatti un sito web molto sensibile che rileva facilmente le azioni automatiche e blocca il vostro IP dall'accesso alla piattaforma. Quindi, se state automatizzando alcune attività come i voti, i post, l'unione/disunione di gruppi e la gestione di più di un account, dovete assolutamente usare i proxy per evitare risultati negativi.
Si può optare per lo scraping manuale se le esigenze di scraping di Reddit sono piccole. Ma se i requisiti diventano grandi, è necessario ricorrere a metodologie di scraping automatizzate come strumenti di scraping web e script personalizzati. Gli strumenti di web scraping si rivelano efficienti in termini di costi e di risorse quando i requisiti di scraping giornaliero sono di pochi milioni di post.
Vediamo quindi alcuni dei migliori Reddit scrapers come soluzione migliore per raschiare grandi quantità di dati Reddit.