Estrarre dati da Twitter (X.com) con Python
Le moderne piattaforme social, come X.com, impiegano rigide difese anti-scraping , tra cui CAPTCHA, limiti di frequenza e blocco IP. Queste misure di sicurezza rendono la creazione di uno scraper personalizzato da zero un'operazione complessa e soggetta a frequenti interruzioni.
Ecco perché questa guida utilizza l'API di scraping di Twitter, che consente di estrarre dati da Twitter in modo affidabile e conforme alle normative, gestendola rotazione dei proxy e la raccolta etica dei dati.
Crea uno strumento per estrarre dati dai profili Twitter (profili pubblici, senza API).
È possibile riutilizzare l'esatta procedura in 4 fasi per estrarre dati pubblici dal profilo , come biografia, numero di follower, frequenza di pubblicazione e stato di verifica, senza utilizzare l'API ufficiale.
Come adattare la pipeline :
- Scopri gli URL dei profili con Google:
sito:x.com inurl:/status/ (per i post) → passa a
site:x.com -inurl:/status “profile_keyword” oppure cerca site:x.com “@handle” per raccogliere le pagine del profilo. - Raccogli con uno strumento a pagamento o con il tuo script headless e mantieni il ritardo di 2 secondi Google.
- Effettua un sondaggio ogni 10 secondi (con un limite di 15 minuti) e scarica il file NDJSON.
- Esporta in formato CSV. Utilizza campi come user_posted, name, followers, posts_count, is_verified, profile_image_link, biography, user_id.
Cosa riceverai :
Un dataset pulito per classificare i creatori in base al punteggio di influenza = coinvolgimento normalizzato × log10(follower). Questo risponde alla domanda "chi seguire" per i flussi di lavoro di web scraping di Twitter e alimenta le liste di contatto per le dashboard del tuo scraper di Twitter.
Come estrarre dati da Twitter usando Python
Passaggio 1: Configura l'ambiente per lo scraping web di Twitter
Prima di iniziare a estrarre dati da Twitter, è necessario preparare l'ambiente Python.
In questo passaggio, importerai le librerie necessarie , aggiungerai le tue credenziali API (noi abbiamo utilizzato l' API di scraping di Twitter Bright Data ) , configurerai un proxy e definirai i parametri di ricerca.
Stai preparando il tuo spazio di lavoro affinché il tuo script Python per lo scraping di Twitter possa essere eseguito senza problemi e connettersi allo scraper.
- Importa le librerie che utilizzerai per le richieste, l'analisi dei dati e il salvataggio dei risultati.
- Inserisci le tue credenziali; troverai il token API e l'ID del dataset nella tua dashboard.
- Configura un proxy per instradare il tuo traffico in modo sicuro ed evitare blocchi IP durante l'estrazione di contenuti da Twitter.
- Imposta la parola chiave e il limite. In questo esempio, stai monitorando "AI agent optimizing" e raccogliendo cinque post, ma puoi aumentare NUM_POSTS per ampliare l'ambito di acquisizione dei dati da Twitter.
Passaggio 2: Trova gli URL dei post X da estrarre
In questo passaggio, utilizzerai la ricerca Google per raccogliere i link ai post pubblici (tweet) di X che corrispondono alla tua parola chiave. Questo semplice trucco ti permette di estrarre dati da Twitter senza accesso alle API, interrogando solo gli URL di X/Twitter.
Questo script costruisce una query Google, come 'site:x.com OR site:twitter.com <parola chiave>', per restituire solo i post X/Twitter. Estrae gli URL dei tweet, li pulisce, converte i vecchi link twitter.com in x.com e rimuove i duplicati.
È previsto un ritardo di 2 secondi tra le richieste per rispettare i server di Google durante la raccolta di un numero sufficiente di URL univoci per il flusso di lavoro di scraping dei dati di Twitter.
Passaggio 3: Attivare lo scraping di Twitter
Invia gli URL raccolti allo scraper.
Una volta raccolti tutti gli URL dei post X, dobbiamo inviarli al web scraper per l'estrazione dei dati. Questa sezione effettua una richiesta POST all'endpoint di attivazione di Bright Data con il nostro token di autenticazione e l'ID del dataset. Lo stesso metodo utilizzato da molte pipeline di web scraping di Twitter per la gestione della raccolta di dati esterni.
Gli URL sono formattati come un elenco di oggetti JSON, ciascuno dei quali contiene un singolo URL di un post. Quando l'API riceve correttamente la richiesta, restituisce un ID di snapshot, che funge da riferimento per quella specifica operazione di scraping.
Se la chiamata API fallisce per qualsiasi motivo, lo script termina con un messaggio di errore. Questo passaggio costituisce la base per l'estrazione di dati da Twitter, un approccio scalabile e conforme per chiunque voglia imparare a estrarre dati da Twitter in modo sicuro ed efficiente senza dover ricorrere all'API ufficiale.
Passaggio 4: Completa il codice e salva i dati X.com estratti.
La sezione finale attende il completamento dello scraper e quindi recupera i risultati per il flusso di lavoro di web scraping di Twitter. Poiché lo scraping può richiedere tempo, lo script verifica lo stato dello snapshot ogni 10 secondi con un timeout di 15 minuti . Quando lo stato diventa "pronto" o "completato", scarica il dataset tramite l'URL fornito.
La risposta arriva in formato NDJSON , quindi ogni riga viene analizzata e convertita in un dizionario Python. Dopo aver raccolto tutti i dati, lo script stampa l'URL di ogni post, la descrizione e le metriche di coinvolgimento (mi piace, visualizzazioni, condivisioni, risposte, hashtag). Infine, tutto viene organizzato in un DataFrame di pandas ed esportato in formato CSV per la creazione di report o la modellazione.
I blocchi try/except garantiscono che i campi numerici vengano convertiti in modo sicuro (gestendo formati imprevisti), il che rende questo approccio affidabile per le pipeline di scraping dei dati di Twitter e per i tutorial su come estrarre dati da Twitter senza l'API ufficiale.
Parametro di riferimento: prestazioni e affidabilità (strumento a pagamento vs. software open source)
Se vuoi davvero fare web scraping su Twitter su larga scala , misura la velocità di elaborazione, il tasso di successo e i tempi di manutenzione.
Abbiamo eseguito tre configurazioni con gli stessi argomenti:
- Uno strumento a pagamento ( fornitore di servizi di scraping gestiti )
- SN-Scraper (open-source)
- Uno script personalizzato per browser headless. Ciascuno raccoglieva i post pubblici, analizzava l'interazione e salvava i dati in un file CSV.
Ciò che abbiamo osservato:
- Velocità di elaborazione (tweet/min): scraper di Twitter a pagamento > browser headless > SN-Scraper.
- Tasso di successo: lo strumento a pagamento ha gestito le modifiche di layout/autorizzazione con maggiore affidabilità.
- Tempo di ingegneria: le opzioni open-source hanno richiesto il maggior numero di patch dopo le modifiche al sito.
In sintesi : per ricerche una tantum, le soluzioni open-source sono un'ottima opzione. Per l'estrazione continua di dati da Twitter, gli strumenti di web scraping a pagamento possono ridurre i problemi e i costi nascosti, soprattutto quando è necessario estrarre dati da Twitter in modo continuativo o su molti argomenti.
Le migliori pratiche per lo scraping di Twitter
I seguenti punti stabilizzano le esecuzioni Python per lo scraping di Twitter e riducono i blocchi.
- Ritmo: Mantenere un ritardo di 2 secondi nella scoperta di Google e aumentare gradualmente la durata del timeout (10→20→40s) nei timeout successivi .
- Rotazione delle identità: Utilizza IP/user-agent rotanti (di solito uno strumento a pagamento automatizza questo processo) per estrarre dati da Twitter su larga scala.
- Limita la concorrenza: inizia con 3-5 worker; aumenta solo se il tasso di errore rimane basso.
- Cache e deduplicazione: non scaricare nuovamente lo stesso post; memorizza gli ID e l'ora dell'ultima visualizzazione.
- Distribuisci gli orari: distribuisci le corse nell'arco della giornata.
Il modo migliore per ottenere i dati di Twitter
- Hai bisogno di risultati prevedibili e di una manutenzione minima?
- Scegli uno strumento a pagamento. È la soluzione più affidabile per l'estrazione continua di dati da Twitter e il monitoraggio di più argomenti.
- Hai bisogno di un accesso strutturato e controllato?
- Se i budget e i limiti sono accettabili, l'API ufficiale è la soluzione più pulita.
- Stai solo esplorando? Hai un budget limitato?
- Iniziate con una libreria open-source , ma aspettatevi occasionalmente dei problemi.
- Avete esigenze particolari (login, sequenziamento, azioni dinamiche)?
- Realizza un sistema headless fai-da-te con una solida gestione dei proxy e un'adeguata osservabilità.
Utilizza questo confronto per scegliere la soluzione più adatta al tuo budget, alle tue tempistiche e alla tua tolleranza al rischio per l'estrazione di dati dai tweet.
Aggregatore di Twitter (pianificazione + dashboard)
Una volta che il tuo scraper Python per Twitter è in esecuzione, puoi facilmente farlo evolvere in un aggregatore di Twitter che raccoglie e visualizza continuamente i post pubblici di X.com relativi a specifici argomenti, hashtag o influencer. Un aggregatore è semplicemente un sistema automatizzato che:
- Raccoglie post da più fonti o parole chiave
- Pulisce e memorizza i dati regolarmente (ogni ora o ogni giorno).
- Visualizza i dati in una dashboard per un'analisi rapida.
Il tuo tutorial in 4 fasi esegue già tutte le funzioni principali: individuazione, estrazione e esportazione dei dati, il che lo rende una base adatta per un aggregatore automatizzato.
Come creare il tuo aggregatore di Twitter
- Pianifica esecuzioni regolari: utilizza un'attività pianificata (cron job) o uno strumento di pianificazione del flusso di lavoro per eseguire automaticamente lo script (ad esempio, ogni ora). Alterna un elenco di argomenti o hashtag a ogni esecuzione.
- Elimina i duplicati e aggiungi i nuovi dati: dopo ogni esecuzione, verifica la presenza di duplicati utilizzando l'URL o l'ID e aggiungi al tuo file CSV o database solo i post più recenti. Organizza i risultati per giorno (/data/x_posts/YYYY-MM-DD/) in modo da poterli interrogare facilmente in seguito.
- Trasforma per dashboard: carica i tuoi file CSV in notebook di Data Studio , Tableau o Python per visualizzarli:
- Volume di post all'ora/al giorno
- Autori o hashtag principali
- Andamento dell'engagement (mi piace, visualizzazioni, condivisioni)
Utilizza i modelli di query come strumento di ricerca su Twitter (persone e post).
La fase di scoperta può fare molto di più che trovare post. Può aiutarti a trovare persone, influencer e account chiave su X.com utilizzando gli operatori di ricerca Google. In questo modo, il tuo scraper funge anche da strumento di ricerca su Twitter, sia per i profili utente che per i tweet relativi a un determinato argomento.
Che cos'è un cercatore di Twitter?
Un finder di Twitter è un flusso di lavoro di ricerca che identifica:
- Persone o profili in base alla qualifica professionale, alla biografia o alle parole chiave del settore.
- Tweet o post basati su argomenti specifici, hashtag o periodi di tempo
Continuerai a utilizzare l'operatore site:x.com di Google per scoprire le pagine pubbliche che corrispondono alle tue parole chiave, senza bisogno dell'API di Twitter.
Modelli di query per trovare profili:
Questi modelli ti aiutano a raccogliere le pagine degli autori (non i tweet). Inserisci questi URL nel tuo scraper per estrarre campi come user_posted, name, followers, is_verified e biography. Per individuare i profili , prova:
Questo trasforma il tuo progetto in un semplice strumento per estrarre dati dai profili Twitter, ideale per scoprire influencer, per il reclutamento o per ricerche di mercato.
Modelli di query per trovare i post:
Per focalizzare l'attenzione su tweet o post , utilizzare:
Queste tecniche migliorano sia il recall (visualizzando tweet più pertinenti) che la precisione (riducendo il numero di risultati irrilevanti). Applicando questi accorgimenti di query, il tuo scraper diventa un accurato strumento di ricerca di tweet.
Risolvere i problemi relativi alle anteprime mancanti con un debugger di Twitter (suggerimenti sui metadati)
Chi cerca informazioni sul debugger di Twitter spesso desidera correggere le anteprime dei link (Twitter Cards/Open Graph). Sebbene non si tratti di scraping , è un'attività correlata e utile.
- Assicurati che le pagine di destinazione includano og:title, og:description, og:image e il meta tag twitter:card corretto.
- Verifica che le immagini siano HTTPS, accessibili e rientrino nei limiti di dimensione.
- Ricondividi dopo l'aggiornamento dei metadati.
È legale estrarre dati da Twitter?
Sebbene la raccolta di dati pubblici sia generalmente protetta dal CFAA (Computer Fraud and Abuse Act) negli Stati Uniti, X ha introdotto un enorme deterrente contrattuale.
A partire dal 2026, i Termini di Servizio di X stabiliscono che chiunque "richieda, visualizzi o acceda" a più di 1.000.000 di post in un periodo di 24 ore tramite mezzi automatizzati senza autorizzazione è soggetto al pagamento di una penale di 15.000 dollari. 1
Ciò rende finanziariamente rischioso per i ricercatori e le aziende effettuare scraping su larga scala.
Aggiornamenti tecnici e tendenze del 2026 per il web scraping di Twitter
Estrazione dati nativa tramite IA (integrazione con MCP)
Una delle principali tendenze del 2026 è il passaggio dagli strumenti di programmazione tradizionali come Python e BeautifulSoup al Model Context Protocol (MCP). Invece di scrivere e aggiornare script, gli utenti richiedono i dati di cui hanno bisogno e lo strumento MCP si occupa dell'estrazione, della pulizia e della formattazione.
Passa alla versione completa del browser
I browser headless di base come Puppeteer o Selenium vengono rapidamente individuati dal sistema avanzato di fingerprinting TLS di X. Di conseguenza, le aziende leader utilizzano Stealth Browser e Playwright con plugin che eseguono sessioni di browser complete.
Questi strumenti imitano le azioni umane, come muovere il mouse in modo casuale e modificare i tempi, per aggirare i sistemi anti-bot di apprendimento automatico di X.
FAQ
Sì. L'output include campi multimediali (ad esempio, foto, video, external_*). Salva questi URL e scaricali in seguito se necessario. Per ottimizzare la scalabilità, memorizza solo i link, insieme ai metadati (dimensioni e tipo), per contenere i costi di archiviazione.
Utilizza proxy residenziali o ISP a rotazione. Offrono una reputazione migliore rispetto ai pool di proxy di base dei data center e riducono i blocchi temporanei. Se utilizzi uno strumento a pagamento, la rotazione di proxy di alta qualità è solitamente inclusa, utile per le attività di scraping di Twitter di lunga durata.
API ufficiali: proprietarie, documentate, strutturate; governance più trasparente, ma a pagamento/con accesso limitato e talvolta soggette a restrizioni.
API di scraping di Twitter / API di scraping di Twitter: un servizio che orchestra browser e proxy per estrarre dati pubblici dalle pagine; più flessibile ma dipendente dal layout del sito e dai controlli anti-bot.
Se il tuo obiettivo è il settore dei media, lo stesso flusso diventa uno strumento di scraping per Twitter che cattura link a immagini/video su larga scala. Come adattare la pipeline:
* Mantieni la scoperta delle parole chiave del passaggio 2, ma orienta le query verso i post con molti contenuti multimediali: "topic" (foto O video) site:x.com. Nei risultati, leggi foto, video, external_image_urls e external_video_urls.
* Memorizza gli URL, non i file binari . Il download dei file multimediali può essere un'operazione secondaria con limitazione della frequenza (coda parallela, checksum, tentativi).
Collegamenti di riferimento
Commenti 1
Condividi i tuoi pensieri
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.
You cannot access tweets for free using the API. Twitter (X) charges developers at minimum $100/month to use the API to access tweets. The free developer option is limited to posting only, which is not what you'd want to scrape Twitter for anyway.
Indeed, we updated that section, thank you for the heads up!