Come estrarre dati da Glassdoor: strumenti principali e tutorial in Python
Glassdoor utilizza tecniche aggressive contro lo scraping (CAPTCHA, overlay, requisiti di accesso). Non appena si carica il sito, spesso ci si imbatte in richieste di accesso, overlay pop-up, CAPTCHA e un sistema di rilevamento dei bot molto efficace.
La struttura della pagina cambia frequentemente, causando problemi agli scraper HTML. Invece di aggirare manualmente questi ostacoli, abbiamo utilizzato un'infrastruttura di scraping gestita per risolverli.
Confronto prezzi dei migliori scraper per Glassdoor
Fornitore | Tipo di raschietto | Prezzo iniziale/mese | Prova gratuita |
|---|---|---|---|
Raschietto dedicato | $1,50 / 1000 risultati | 7 giorni | |
Strumento di ricerca annunci di lavoro | $1,35 / 1000 risultati | 2.000 crediti | |
Apify | Raschietto dedicato | $19,99 | 3 giorni |
ScraperAPI | Strumento di ricerca annunci di lavoro | $49,00 | 5.000 crediti |
ScrapingBee | Strumento di ricerca annunci di lavoro | $49,00 | 1.000 crediti |
Le 5 migliori API per lo scraping di Glassdoor
Bright Data Lo scraper di Glassdoor consente di estrarre dati pubblici su recensioni aziendali, stipendi e offerte di lavoro da Glassdoor. Offrono scraper preconfigurati dedicati alla piattaforma, eseguibili tramite l'API Scraper o l' interfaccia no-code .
Lo strumento di scraping di Glassdoor raccoglie i profili aziendali direttamente dall'URL aziendale di Glassdoor e ti aiuta a scoprire aziende tramite filtri di input, parole chiave o fornendo un URL di ricerca di Glassdoor.
Bright Data ha integrato la scoperta del DOM basata sull'intelligenza artificiale nella sua API di scraping per Glassdoor. Questa funzionalità si adatta automaticamente ai frequenti aggiornamenti della struttura HTML di Glassdoor.
Il fornitore offre anche tre set di dati pronti all'uso, in modo da poter lavorare con dati Glassdoor già raccolti anziché doverli estrarre autonomamente.
Oxylabs offre un'API Job Scraper per estrarre dati relativi a offerte di lavoro dalle pagine di Glassdoor. La loro offerta funziona in modo simile all'approccio di ScraperAPI: forniscono un'API Job Scraper generica che supporta diverse piattaforme di ricerca lavoro (Glassdoor, Indeed, ZipRecruiter) anziché creare uno scraper dedicato per ogni sito.
Questo scraper supporta qualsiasi bacheca di annunci di lavoro, incluso Glassdoor, perché l'API Web Scraper di Oxylabs è un motore di scraping universale, il che significa che basta passare un URL di destinazione (ad esempio, una pagina di ricerca di lavoro di Glassdoor) e si occupadella rotazione IP , del rendering JavaScript e dell'elusione dei bot.
Apify Lo scraper di Glassdoor include un'ampia gamma di preset, quindi non è necessario creare ogni query da zero. I risultati possono essere esportati in formati standard e strutturati come JSON, CSV o XLSX.
Lo strumento offre oltre quaranta località predefinite, tra cui posizioni di lavoro da remoto e importanti città globali come New York, San Francisco, Londra, Berlino e Tokyo, oltre a specifici paesi. Supporta filtri avanzati: è possibile restringere i risultati in base a fasce salariali, punteggi aziendali da 0 a 5, posizioni esclusivamente da remoto e candidature semplificate.
È presente anche un parametro numerico `page_offset` che imposta la pagina iniziale per lo scraping, consentendo di saltare le pagine iniziali o di riprendere da una pagina successiva; questa funzionalità è disponibile solo a pagamento. Poiché Glassdoor può essere vulnerabile allo scraping, l'attore include opzioni di configurazione del proxy . È possibile scegliere tra proxy per data center e proxy residenziali , oppure utilizzare i propri proxy.
In termini di scalabilità, una singola esecuzione può estrarre fino a 10.000 annunci di lavoro. Il parametro di input max_items consente di limitare il numero di annunci di lavoro da raccogliere, mentre il parametro max_pages permette di limitare il numero di pagine dei risultati che lo scraper attraversa, fino a un massimo di 30 per ogni query di ricerca.
ScrapingBee offre uno strumento di web scraping generico, utilizzabile per la raccolta di dati da Glassdoor. Ogni piano include un pool mensile di crediti API, e ogni richiesta consuma crediti a seconda delle funzionalità abilitate. Una chiamata base con proxy rotante e senza rendering JavaScript consuma un credito.
Di default, ScrapingBee carica la pagina in un browser headless, esegue il suo codice JavaScript e quindi restituisce l'HTML completamente renderizzato. Questo comportamento predefinito ha un costo di 5 crediti per chiamata se utilizzato con proxy rotanti standard.
Le API dedicate per lo scraping sono disponibili solo per alcuni siti (Search, Amazon, YouTube, Walmart, ChatGPT) e Glassdoor non è tra questi, anche se le funzionalità generali che vedi sono le stesse che useresti sui siti per cui sono consentite.
ScraperAPI non offre uno scraper dedicato esclusivamente a Glassdoor, a differenza di Apify o Bright Data. Offre invece una soluzione più ampia, la Job Board Scraper API, progettata per raccogliere annunci di lavoro e dati di pubblicazione da diverse piattaforme di ricerca lavoro importanti, tra cui LinkedIn, Glassdoor e Indeed.
Questo rende la loro soluzione più generica e flessibile, ma meno specializzata, rispetto a un fornitore focalizzato che gestisce endpoint specifici per Glassdoor. Si invia una richiesta alla loro API specificando la pagina della bacheca di lavoro di destinazione (URL) o la query di ricerca. È possibile abilitare i proxy premium (residenziali) e impostare un session_id in modo che più richieste nella stessa sessione riutilizzino lo stesso indirizzo IP.
Estrarre recensioni da Glassdoor utilizzando Python
Passaggio 1: Configurazione dell'ambiente Python e delle credenziali API
Iniziamo importando le librerie Python necessarie, disabilitando gli avvisi SSL e definendo i parametri di ricerca (parola chiave, posizione, paese) insieme alle credenziali API.
Questo imposta:
- Librerie necessarie
- Il tuo token API
- ID del tuo set di dati
- Input di ricerca: parola chiave lavoro, località, paese
Passaggio 2: Avvio dell'attività di scraping di Glassdoor
Ora che l'ambiente è configurato, avviamo un processo di scraping inviando una richiesta POST all'API. In caso di successo, questa restituisce uno snapshot_id, che identifica l'esecuzione del dataset.
Fase 3: Verifica dei progressi e recupero dei risultati acquisiti
Dobbiamo continuare a sondare finché il lavoro non viene contrassegnato come:
- "pronto"
- "Fatto"
- "completare"
Lo script attende fino a 15 minuti e gestisce i formati di risposta JSON e JSONL.
Fase 4: Elaborazione ed esportazione in formato CSV
Una volta che l'elenco degli elementi è completamente compilato, il passaggio finale consiste nel convertire le voci relative al lavoro in un DataFrame ed esportarle in formato CSV.
Questo genera un file CSV pulito che include:
- Titolo professionale
- Nome dell'azienda e valutazione
- Posizione
- URL
- Testo di panoramica
Politiche e rischi di Glassdoor contro lo scraping
I termini di utilizzo di Glassdoor stabiliscono esplicitamente che non è consentito 1 :
- Estrarre, rimuovere o analizzare dati dalla piattaforma.
- È vietato utilizzare robot, spider, scraper o altri mezzi automatizzati per accedere alla piattaforma per qualsiasi scopo senza esplicita autorizzazione scritta.
- Aggirare o eludere qualsiasi misura utilizzata per impedire o limitare l'accesso al sito (ad esempio, robots.txt, blocchi IP o CAPTCHA).
Come evitare blocchi e garantire una raschiatura affidabile
Anche se questo flusso di lavoro si basa su un'API anziché sul web scraping diretto, ci sono comunque alcune considerazioni essenziali che contribuiscono a garantire l'assenza di errori durante l'esecuzione. La buona notizia è che gran parte dell'affidabilità è già integrata nello script.
Ad esempio, il ciclo di polling che hai aggiunto include ritardi temporizzati, controlli di stato e un periodo di attesa massimo, che impedisce allo script di sovraccaricare l'API o di bloccarsi quando l'elaborazione di un set di dati richiede più tempo.
Una semplice pratica consiste nell'evitare di avviare un gran numero di processi di scraping contemporaneamente. Ogni processo deve elaborare parametri di ricerca come parole chiave, paese e posizione, quindi è meglio eseguirli in batch piuttosto che tutti insieme. Questo semplifica il monitoraggio di quale snapshot è associato a quale ricerca e previene lunghe code durante i periodi di maggiore affluenza.
Il tuo script gestisce anche i ritardi intermittenti verificando la presenza di risposte 202 e attendendo prima di riprovare. Questo è intenzionale: dà al backend il tempo sufficiente per completare la raccolta dei dati, evitando che l'operazione fallisca immediatamente o che si ripeta troppo rapidamente.
Un'altra cosa che il tuo script fa già è convalidare l'output. Non presuppone che ogni riga di una risposta JSONL contenga un elemento completo o formattato perfettamente.
Invece, tenta di analizzare ogni riga, salta tutto ciò che non viene decodificato correttamente e poi verifica se sono stati raccolti elementi utilizzabili. Questo aiuta a evitare errori quando il set di dati restituisce risposte in formati misti o risultati parziali.
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.