Why Lead Generation Matters Lead generation is an essential part of growing your business. If your sales team doesn’t have leads to approach, they can’t do their job. Cold-calling prospects is rarely effective, especially for brands that sell higher-value products where there’s some friction to the idea of making a purchase. Every Sale Started as
La generazione di lead è una parte essenziale della crescita della vostra azienda. Se il team di vendita non ha lead da contattare, non può svolgere il proprio lavoro. Le telefonate a freddo ai potenziali clienti sono raramente efficaci, soprattutto per i marchi che vendono prodotti di valore più elevato, per i quali l'idea di effettuare un acquisto è un po' difficile da gestire.
Le vendite derivano dai contatti. Il rapporto Technology Content Marketing: Benchmarks, Budgets and Trends, prodotto dal Content Marketing Institute e da MarketingProfs, evidenzia che il 77% dei marketer del settore tecnologico utilizza lead qualificati dal marketing per stimolare le vendite (in aumento rispetto al 64% del 2019).
I lead qualificati sono più facili da convertire perché sono persone (o aziende) che hanno già espresso interesse per il vostro prodotto o servizio. Identificando il vostro pubblico di riferimento e concentrando i vostri sforzi di marketing su queste persone in modo specifico, risparmierete tempo ed energia al vostro team di vendita, che potrà così concentrarsi sui potenziali clienti di maggiore qualità.
La generazione di lead è oggi più facile che mai. La comunicazione istantanea, le opzioni di social media marketing altamente mirate e l'accesso a database contenenti quasi tutte le informazioni immaginabili fanno sì che i proprietari di piccole imprese abbiano il potere di realizzare qualsiasi cosa desiderino.
In passato, se si voleva raggiungere un pubblico specifico, si doveva pagare un'enorme somma di denaro a una società di marketing per poter inviare volantini per posta alle aziende presenti nel loro database.
Oggi non è più necessario. Se volete trovare un elenco di ristoranti messicani sulla costa orientale o di scuole K-12 nel vostro stato, potete trovarlo online. Le aziende che operano nel settore B2B possono creare un database di potenziali clienti in modo semplice e veloce, quindi filtrare l'elenco e inviare messaggi di marketing su misura.
Per le aziende B2B che si rivolgono a un'area geografica relativamente piccola, una semplice ricerca sul web potrebbe essere sufficiente per trovare un elenco di potenziali clienti. Se invece volete raggiungere aziende di tutto lo Stato o addirittura di tutta la nazione, la raccolta manuale di tutti questi dati richiederebbe molto tempo.
Il web scraping può far risparmiare a voi e al vostro team di marketing una quantità significativa di tempo e denaro, raccogliendo automaticamente i dati di cui avete bisogno.
Il Web Scraping è una tecnica automatizzata per estrarre dati da un sito web o da più siti web, in modo da poterli utilizzare in altre applicazioni. Ad esempio, supponiamo di voler creare un elenco di nomi e indirizzi di ristoranti della nostra zona, piuttosto che visitare manualmente ogni singolo ristorante locale elencato su Yelp o Tripadvisor. In questo caso, si potrebbe utilizzare un web scraper per esaminare le pagine ed estrarre i dati, creando un elenco da utilizzare per la spedizione di posta elettronica.
Il web scraping può far risparmiare alle aziende molto tempo e fatica quando si tratta di costruire una lista di marketing. È anche sorprendentemente facile da realizzare se si dispone degli strumenti giusti o delle conoscenze di programmazione.
Gli scraper web funzionano caricando le pagine da cui si desidera estrarre i dati, quindi leggono la pagina per cercare il tipo di informazioni che si sta cercando di trovare. Tali informazioni potrebbero essere:
Quando un web scraper scarica una pagina, legge il codice sorgente alla ricerca di modelli. A seconda del sito da cui si estraggono i dati, potrebbe semplicemente cercare qualcosa che corrisponda allo schema 123-456-78901 di un numero di telefono o al formato [email protected] di un indirizzo e-mail.
In alternativa, lo sviluppatore dello scraper può sapere che su un determinato sito web di directory i dati di contatto sono circondati da una serie specifica di tag nell'HTML e far sì che lo scraper estragga le informazioni tra questi tag.
Alcuni software di scraper possono essere configurati dall'utente finale, in modo da poter insegnare a comprendere quasi tutti i siti web.
Un problema nell'utilizzo di software di scraper è che regolamenti come il GDPR dell'UE impongono agli utenti di fare molta attenzione ai dati raccolti e al loro utilizzo. Secondo il GDPR, un'organizzazione deve avere il permesso di una persona per conservare o elaborare i dati di un individuo.
Alcuni siti web cercano di proteggere la privacy dei propri utenti e le risorse dei propri server cercando di bloccare i web scrapers. Esistono diverse opzioni per farlo, tra cui il controllo dell'"agente utente" restituito dal software client e la limitazione del numero di richieste di pagine provenienti da un indirizzo IP specifico.
Se volete usare gli scrapers in modo efficace, dovrete assicurarvi di aver compreso le regole di marketing del vostro Paese, di elaborare i dati raccolti in modo responsabile e di saper raccogliere i dati dalle fonti prescelte in modo efficiente e non distruttivo, evitando di essere banditi dal sito.
Ad esempio, ProxyScrape offre proxy residenziali che possono essere utilizzati per la raccolta di dati. Se state pensando di utilizzare questi proxy, vi consigliamo di assicurarvi che il vostro scraper non invii un numero eccessivo di richieste a un sito web di destinazione in un breve periodo di tempo. Effettuate lo scraping in modo responsabile per non danneggiare i siti web con cui lavorate.
Lo scraping dei contenuti consente ai proprietari di aziende di accedere a enormi quantità di informazioni che altrimenti sarebbe difficile raccogliere, ma queste informazioni sono utili solo quanto la fonte da cui provengono.
Una delle sfide della raccolta di dati da scraping è quella di essere sicuri che le informazioni siano aggiornate. Ci sono migliaia di elenchi sul web e molti di essi sono poco curati e non aggiornati.
Se raccogliete dati da una fonte obsoleta e di bassa qualità, nel migliore dei casi sprecate tempo in e-mail che non verranno lette. Nel peggiore dei casi, potreste trovarvi di fronte a reclami per aver effettuato ripetute telefonate non richieste a un numero che non appartiene più all'azienda che credevate.
Quindi, come si può aumentare la possibilità che i dati raccolti siano utili?
Prima di iniziare a raccogliere dati con uno strumento di scraping, verificate manualmente il sito web con cui state pensando di lavorare. Raccogliete a mano alcuni lead e analizzateli.
Le aziende sono ancora in attività? I dati di contatto sono ancora corretti? Sembra che il proprietario della directory controlli le informazioni prima di aggiungerle?
Supponiamo che metà dei lead raccolti manualmente siano morti, obsoleti o potenzialmente falsi. In questo caso, è molto probabile che qualsiasi database creato con lo scraping di quel sito sia di bassa qualità.
I siti di directory più grandi, come Tripadvisor, Yelp o FourSquare, hanno maggiori probabilità di avere dati di qualità rispetto alle directory più piccole e meno conosciute, perché queste piattaforme hanno una base molto più ampia di utenti che le aggiornano.
Gli elenchi di nicchia possono avere un valore se si cerca di commercializzare un gruppo di interesse oscuro o un tipo di azienda altamente specializzata, ma bisogna aspettarsi di dover fare un sacco di pulizia dei dati prima di utilizzare le informazioni raccolte per scopi di marketing.
In molti casi, otterrete dati molto più preziosi se li raccoglierete da un sito che richiede un login. LinkedIn e Twitter, ad esempio, possono essere scrapati se si utilizza un limitatore di velocità per mantenere il numero di richieste inviate dal bot a un livello ragionevole e se si effettua il login al sito quando si effettuano le richieste.
Un'altra opzione è quella di utilizzare un'API invece di un semplice scraper HTTP e raccogliere i dettagli da uno dei servizi di mappatura più diffusi. Ad esempio, Google fornisce un'API per la ricerca di aziende che può essere utilizzata per raccogliere informazioni sulle organizzazioni incluse in Google Maps, ma è necessario accettare di rispettare i termini e le condizioni di Google prima di accedere all'API.
In generale, se è disponibile un'API, è meglio raccogliere i dati utilizzando tale API piuttosto che ricorrere al web scraping. Sarà molto meno probabile incorrere in problemi con i proprietari dei siti web e sarà più facile pulire i dati forniti tramite un'API.
Nella programmazione informatica si dice "garbage in, garbage out" (spazzatura in entrata, spazzatura in uscita) e questo vale sicuramente per la raccolta dei dati. Assicuratevi di costruire con cura tutte le ricerche che eseguite.
Ad esempio, se volete rivolgervi ai costruttori di Newcastle, non dimenticate che c'è più di una Newcastle in Inghilterra e c'è anche una Newcastle in Australia. Se si cerca "Newcastle" tramite un proxy, la maggior parte dei siti web cercherà di indovinare quale Newcastle si intende guardando a quella più vicina alla posizione geografica del proxy.
Cercate di restringere il più possibile la ricerca, fornendo informazioni su città, stato e persino paese, se il sito web di destinazione lo consente. In questo modo eviterete di ritrovarvi con un database pieno di contatti di organizzazioni distanti centinaia di chilometri dall'area desiderata.
Lo scraping del web può essere semplice o complesso quanto si vuole. Se state provando lo scraping per la prima volta, non c'è bisogno di spendere molti soldi per un software sofisticato.
Alcune buone opzioni includono:
Scraper è un'estensione del browser web che consente agli utenti di estrarre dati dalle pagine web in modo rapido e semplice. Se si desidera estrarre informazioni da una singola pagina di risultati o da un numero ridotto di pagine, Scraper è un modo semplice ed efficace per farlo e si può scoprire che è molto più facile da usare rispetto a un crawler web più sofisticato.
ProWebScraper è uno strumento più avanzato che dispone di versioni gratuite e premium. Lo strumento gratuito può essere utilizzato per lo scraping di un massimo di 100 pagine, il che significa che dovrebbe essere sufficiente per un'attività di nicchia di piccole dimensioni. ProWebScraper è relativamente facile da usare per un software di scraping, grazie a un'interfaccia point-and-click e a regole predefinite che consentono di impostare lo scraping anche se non si è esperti dal punto di vista tecnico.
ProWebScraper può scaricare immagini e creare dump JSON, CSV o XML. Può anche essere impostato per effettuare lo scraping dei siti in base a una pianificazione, in modo da poter raccogliere i dati e aggiornare i record di marketing.
Scrapy è un framework per lo scraping del web, gratuito e open source. Questo strumento richiede conoscenze tecniche, ma è veloce, flessibile e può essere usato per raschiare grandi quantità di dati. Scrapy può essere eseguito sul proprio computer Linux, OS X, Windows o BSD o su un server web.
Esiste una comunità Scrapy attiva, che comprende chat IRC, Reddit e StackOverflow. Si possono chiedere consigli alla comunità e si possono sfruttare le estensioni o i moduli creati dalla comunità, sbloccando la potenza di Scrapy anche se non si è sviluppatori esperti.
Se avete bisogno di raccogliere molti dati o avete intenzione di fare scraping regolarmente, gli strumenti gratuiti e quelli basati su GUI potrebbero non essere abbastanza potenti per il vostro caso d'uso. Una buona opzione è quella di creare un proprio scraper o di assumere uno sviluppatore che lo faccia per voi.
Esistono diversi framework gratuiti e open-source che possono essere utilizzati per codificare uno scraper in linguaggi popolari come Python, Perl, Java, R o PHP.
Una delle librerie più popolari per lo scraping del web è BeautifulSoup. Si tratta di uno strumento di scraping in Python in grado di estrarre dati da file HTML o XML in modo semplice e veloce. È necessario avere qualche conoscenza di programmazione per utilizzarlo, ma svolge gran parte del lavoro dettagliato di scraping per voi, evitandovi di reinventare la ruota.
Una volta estratti i dati, è possibile esportarli come file CSV o visualizzarli in vari formati utilizzando una libreria di elaborazione dati come Pandas.
Codificare il proprio scraper è una buona idea se si ha qualche conoscenza di programmazione. Può anche essere utile codificare il proprio scraper se avete bisogno di estrarre molti dati da una pagina web insolita che gli strumenti di scraping gratuiti non sono in grado di gestire.
Codificare il proprio scraper o pagare qualcuno che lo faccia per voi può essere una buona idea se avete esigenze specifiche e sofisticate. Uno scraper personalizzato può essere progettato intorno a una pagina di destinazione in modo più efficace rispetto a uno strumento più generico, quindi è meno probabile che si verifichino bug o problemi nella gestione dei dati.
Al contrario, gli scraper personalizzati sono utili anche per lavori più piccoli e semplici. Una volta scritto uno scraper, è possibile modificare la routine di parsing e utilizzare lo stesso script per estrarre dati da altre pagine.
Lo svantaggio di usare uno scraper personalizzato è che ci vuole tempo per scrivere lo scraper per la prima volta e, se non si è uno sviluppatore esperto, si potrebbe passare più tempo a lottare con la formattazione JSON o a cercare di imparare una nuova libreria che a leggere il manuale di ProWebScraper e a configurarlo.
A seconda del compito, può essere più conveniente pagare uno strumento piuttosto che scriverne uno personalizzato.
Inoltre, se avete intenzione di scrivere il vostro scraper, dovrete essere consapevoli delle migliori pratiche di scraping e dei problemi di codifica, come ad esempio:
Scrivere un piccolo scraper per estrarre informazioni su poche centinaia o poche migliaia di aziende ha molto senso. Se si tratta di estrarre grandi quantità di dati, è consigliabile richiedere una consulenza o collaborare con un esperto per assicurarsi di essere pienamente conformi alle normative locali sulla privacy.
Se decidete di scrivere il vostro scraper, ricordatevi di "essere gentili". Fate ogni sforzo per effettuare lo scraping in modo rispettoso, inviando richieste formate correttamente, effettuando lo scraping lentamente e utilizzando una serie di indirizzi IP quando effettuate lo scraping.
Cercate di far sembrare il vostro scraper un essere umano. Ciò significa richiedere le pagine lentamente e cercare di non seguire uno schema fisso durante la consultazione delle pagine. Considerate, ad esempio, di estrarre un elenco di risultati di ricerca, fare un elenco dei link presenti nella pagina dei risultati e poi andare a quei link in un ordine casuale, in modo da rendere meno evidente che siete un bot.
Non inviate più richieste dallo stesso IP nello stesso momento. Gli strumenti anti-scraping rileveranno che si sta imponendo un carico anomalo sul server.
Rispettare le informazioni contenute nel file Robots.txt del sito web. Se ci sono pagine che il webmaster non vuole siano indicizzate. Non sarebbe etico da parte vostra ignorarlo.
Considerate l'utilizzo di una libreria come Selenium per far sembrare il vostro bot più umano, inviando clic alla pagina o interagendo in altro modo con essa. Alcuni strumenti ant-scraper più sofisticati cercano modelli di interazione simili a quelli dei bot e bloccano un indirizzo IP se notano una mancanza di scorrimento, clic e altre interazioni.
C'è una corsa agli armamenti tecnologici tra gli sviluppatori di scraper e coloro che cercano di bloccare gli scraper dai loro siti web. È molto difficile creare uno scraper in grado di raccogliere enormi volumi di dati senza essere individuato. Tuttavia, per progetti di piccole o medie dimensioni, se si seguono le regole della gentilezza e della non avidità, si dovrebbe essere in grado di ottenere i dati necessari con uno scraper lento e costante e alcuni proxy.
Ricordate che il vostro bot può lavorare 24 ore su 24, raccogliendo dati in background, quindi non è necessario scaricare l'intero elenco di piccole imprese su Yelp in una sola volta.
Ci sono diversi problemi potenziali che si possono incontrare quando si utilizza uno scraper. Questi possono includere:
La buona notizia è che questi problemi possono essere risolti se si capisce come funzionano gli scrapers.
I semplici web scrapers seguono uno schema:
Ci sono alcune aree in cui le cose possono andare male.
Se lo scraper non rileva alcun dato, ciò potrebbe essere dovuto a un problema nel modo in cui è stato impostato il parser oppure al fatto che lo scraper non vede lo stesso sito che si vede quando si utilizza un browser web.
Per scoprire cosa è andato storto, impostate lo scraper in modo da produrre l'HTML della pagina e confrontatelo con il normale output del browser.
Se viene visualizzato un errore o una pagina diversa, è possibile che il client di scraping sia stato vietato. Il sito potrebbe aver vietato il vostro indirizzo IP o il software del client di scraping.
Provate a cambiare l'User-Agent che il vostro scraper identifica in uno che lo faccia assomigliare a un moderno browser web come Firefox o Chrome. Questo potrebbe aiutarvi ad aggirare le semplici restrizioni di alcuni siti.
Se ciò non funziona, si consiglia di impostare lo scraper in modo che utilizzi un proxy per connettersi al sito web in questione. Un proxy è un server che invia le richieste web per conto dell'utente, in modo che il sito web non possa capire che provengono dalla sua connessione a Internet.
Se si vede una pagina "normale", è più probabile che il problema riguardi il modo in cui è stato impostato lo scraper per estrarre i dati. Ogni programma di scraping ha un proprio modo di abbinare i pattern, anche se la maggior parte utilizza una qualche variante delle espressioni regolari. Assicuratevi che non ci siano errori tipografici nella corrispondenza dei pattern. Ricordate che il programma fa esattamente quello che gli dite di fare, quindi anche un solo piccolo errore infrangerà completamente le regole di corrispondenza!
Un altro problema comune è che uno scraper funzioni per un breve periodo e poi smetta di funzionare. Questo di solito significa che il sito web ha bloccato il vostro indirizzo IP, temporaneamente o permanentemente, perché avete inviato troppe richieste in poco tempo.
In questo caso, è possibile aggirare il divieto utilizzando un proxy. Proxyscrape offre proxy premium e residenziali da utilizzare per lo scraping dei dati. I proxy premium per datacenter sono veloci e offrono una larghezza di banda illimitata, ma hanno indirizzi IP che i webmaster possono riconoscere come provenienti da un datacenter. I proxy residenziali hanno l'aspetto di "utenti domestici", ma il throughput disponibile può essere inferiore.
Considerate la possibilità di cambiare il proxy utilizzato dopo alcune richieste per ridurre il rischio che l'indirizzo IP del proxy venga bannato. È inoltre possibile ridurre il rischio di divieti IP riducendo la velocità con cui lo scraper invia le richieste.
Ricordate che uno scraper può lavorare in background, 24 ore al giorno, senza pause. Anche se si limita la velocità dello scraper all'analisi di una pagina ogni 15-30 secondi, lavorerà più rapidamente di un essere umano.
Tenete presente che molti siti web, soprattutto quelli più piccoli, sono ospitati su server che hanno dei limiti di velocità e di quantità di dati che possono trasmettere ogni mese. Potreste ritenere che il vostro bot che scarta alcuni dati non sia irragionevole, ma se molti altri utenti fanno la stessa cosa, o il vostro bot si "perde" e cerca di scaricare all'infinito le stesse pagine più e più volte, potreste compromettere le prestazioni del sito web per gli utenti umani o costare al webmaster un consumo eccessivo di risorse.
Un altro problema comune che i marketer incontrano quando cercano di utilizzare un web scraper è che quest'ultimo si confonde e scarica pagine che non dovrebbe.
Immaginiamo che il vostro scraper voglia trovare un elenco di muratori nella vostra città e lo inviate a una directory dove lo cerca. Lo scraper dovrebbe:
Alcuni siti web sono costruiti per includere "honeypots" che intrappolano e confondono i bot. Questi honeypots sono pezzi di HTML impostati con un tag di visualizzazione che dice "display:none", in modo da non essere visualizzati in un normale browser. I bot, tuttavia, possono vederli e, se non sono configurati per ignorarli, li elaboreranno proprio come un normale HTML.
È molto difficile programmare un bot in modo che ignori completamente tutto l'HTML di trappola per bot, perché alcune di queste trappole sono incredibilmente sofisticate. Tuttavia, è possibile impostare dei limiti al numero di link che il bot può seguire. È inoltre possibile visualizzare la fonte della pagina e cercare eventuali trappole evidenti, in modo da impostare il bot in modo che le ignori.
Il web scraping è un'attività che molti siti non vedono di buon occhio e che i titolari di aziende dovrebbero fare con cautela. Secondo il GDPR, ad esempio, è illegale effettuare lo scraping delle informazioni di un residente dell'UE senza il suo consenso.
Inoltre, molti siti web che nascondono i dati dietro una schermata di accesso vietano esplicitamente il web scraping nei loro termini e condizioni. Ciò significa che si corre il rischio di essere bannati da quel sito se si scopre che si utilizza uno scraper.
Se decidete di utilizzare lo scraping per raccogliere lead, cercate di farlo in modo sensato. Considerate lo scraping come un modo per risparmiare tempo nella raccolta di contatti che avreste comunque raccolto, piuttosto che come un modo per organizzare una massiccia campagna di marketing.
Evitate di allargare troppo la rete con lo scraping. Può essere allettante raccogliere i dati di contatto di ogni azienda o persona nella vostra zona e nelle aree circostanti, nella speranza di convertire una di queste aziende in un cliente, ma una campagna così ampia e poco mirata molto probabilmente si ritorcerà contro di voi.
Prima di iniziare la vostra campagna di marketing, eseguite alcuni controlli sui dati raccolti. Pulite il database per eliminare i dati palesemente errati, come le aziende che hanno chiuso, i record duplicati o quelli relativi a persone che non si trovano nella vostra area di riferimento.
Una volta avviata la campagna, mantenete il database aggiornato. Se un lead chiede di essere rimosso dal database, cancellatelo. Se siete legalmente in grado di farlo nella vostra giurisdizione, conservate i dati sufficienti per aggiungere il loro indirizzo e-mail o il loro numero di telefono a un elenco di "non contattare", in modo che non possano essere aggiunti nuovamente al vostro database di marketing la prossima volta che effettuerete uno scraping.
Tra le altre cose da ricordare nella gestione delle campagne di marketing vi sono:
Esiste una linea sottile tra il marketing proattivo e lo spam aggressivo. I contatti ripetuti da parte degli addetti al marketing fanno parte del percorso del cliente ed è importante rimanere in contatto con i potenziali clienti, ma un marketing troppo aggressivo potrebbe allontanare i potenziali clienti e dare al vostro marchio una cattiva reputazione.
Considerate la possibilità di importare i dati ottenuti dallo scraping in un sistema CRM, in modo da tenere traccia di ogni cliente, della fase in cui si trova nel processo di conversione e di come ha risposto ai messaggi di marketing.
Questo non solo vi aiuterà a tenere sotto controllo i singoli clienti, ma vi renderà anche più facile vedere come le vostre campagne di marketing si stanno comportando collettivamente, in modo da poter affinare i vostri messaggi.
Anche il monitoraggio della fonte dei lead potrebbe essere utile, in quanto vi darà un'idea di quali fonti di dati contengono informazioni di qualità superiore.