Extraire des données de Twitter (X.com) avec Python
Les plateformes sociales modernes, comme X.com, utilisent des systèmes de protection anti-extraction de données stricts, notamment les CAPTCHA, les limitations de débit et le blocage d'adresses IP. Ces mesures de sécurité rendent la création d'un outil d'extraction de données personnalisé à partir de zéro à la fois difficile et sujette à de fréquentes interruptions.
C’est pourquoi ce guide utilise l’API Twitter Scraper, qui permet une extraction fiable et conforme des données Twitter grâce à la gestionde la rotation des proxys et à la collecte éthique des données.
Créer un outil d'extraction de profils Twitter (profils publics, sans API)
Vous pouvez réutiliser exactement le même flux en 4 étapes pour extraire des données de profil public , telles que la bio, le nombre d'abonnés, la fréquence de publication et le statut de vérification, sans l'API officielle.
Comment adapter votre pipeline :
- Découvrez les URL de profil avec Google :
site:x.com inurl:/status/ (pour les publications) → basculer vers
site:x.com -inurl:/status « mot_clé_profil » ou recherchez site:x.com « @handle » pour collecter les pages de profil. - Collectez avec un outil payant ou votre script headless, et maintenez le délai de 2 secondes Google.
- Interroger toutes les 10 secondes (avec une limite de 15 minutes) et télécharger le NDJSON.
- Exportez au format CSV. Utilisez des champs tels que user_posted, name, followers, posts_count, is_verified, profile_image_link, biography, user_id.
Ce que vous obtenez :
Un jeu de données propre permet de classer les créateurs selon leur score d'influence : engagement normalisé × log10(nombre d'abonnés). Ce jeu de données répond à la question « qui suivre » pour les flux de travail de web scraping Twitter et alimente les listes de contacts pour vos tableaux de bord de scraping Twitter.
Comment extraire des données Twitter avec Python
Étape 1 : Configurez votre environnement pour l’extraction de données web de Twitter.
Avant de commencer à extraire des données Twitter, vous devrez préparer votre environnement Python.
Dans cette étape, vous importerez les bibliothèques nécessaires , ajouterez vos identifiants API (nous avons utilisé l' API de scraper Twitter Bright Data ) , configurerez un proxy et définirez vos paramètres de recherche.
Vous préparez votre espace de travail pour que votre script Python de récupération de données Twitter puisse fonctionner correctement et se connecter au scraper.
- Importez les bibliothèques que vous utiliserez pour les requêtes, l'analyse des données et l'enregistrement des résultats.
- Ajoutez vos identifiants, vous trouverez le jeton API et l'ID de l'ensemble de données dans votre tableau de bord.
- Configurez un proxy pour acheminer votre trafic en toute sécurité et éviter les blocages IP lors de la récupération de contenu Twitter.
- Définissez votre mot-clé et votre limite. Dans cet exemple, vous suivez « agent IA optimisant » et collectez cinq publications, mais vous pouvez augmenter NUM_POSTS pour étendre la portée de votre collecte de données Twitter.
Étape 2 : Trouver les URL des articles X à extraire
Dans cette étape, vous utiliserez la recherche Google pour collecter les liens des publications (tweets) publiques de X correspondant à votre mot-clé. Cette astuce simple vous permet d'extraire des données de Twitter sans accès à l'API en interrogeant uniquement les URL X/Twitter.
Ce script construit une requête Google, telle que « site:x.com OU site:twitter.com <mot-clé> », afin de ne renvoyer que les publications X/Twitter. Il extrait les URL des tweets, les nettoie, convertit les anciens liens twitter.com en liens x.com et supprime les doublons.
Un délai de 2 secondes est inclus entre les requêtes pour respecter les serveurs de Google tout en collectant suffisamment d'URL uniques pour votre flux de travail de récupération de données Twitter.
Étape 3 : Déclencher l’extraction de données Twitter
Envoyez les URL collectées au scraper.
Une fois toutes les URL des publications X collectées, nous devons les envoyer au web scraper pour l'extraction des données. Cette section effectue une requête POST vers le point de terminaison de déclenchement Bright Data avec notre jeton d'authentification et l'identifiant de l'ensemble de données. Il s'agit de la même méthode que celle utilisée par de nombreux pipelines de web scraping Twitter pour la gestion de la collecte de données externes.
Les URL sont formatées sous forme de liste d'objets JSON, chaque objet contenant l'URL d'un article. Lorsque l'API reçoit cette requête avec succès, elle renvoie un identifiant de snapshot, qui sert de référence pour cette tâche d'extraction de données.
Si l'appel API échoue, le script s'arrête et affiche un message d'erreur. Cette étape constitue la base de l'extraction de données Twitter, une approche évolutive et conforme à la réglementation pour quiconque souhaite extraire des données Twitter de manière sûre et efficace sans utiliser l'API officielle.
Étape 4 : Complétez le code et enregistrez les données extraites de X.com
La dernière section attend la fin du processus d'extraction, puis récupère les résultats pour votre flux de travail d'extraction de données Twitter. L'extraction pouvant prendre du temps, votre script interroge l'état de l'instantané toutes les 10 secondes, avec un délai d'expiration de 15 minutes . Lorsque l'état passe à « prêt » ou « terminé », il télécharge l'ensemble de données via l'URL fournie.
La réponse arrive au format NDJSON ; chaque ligne est donc analysée et convertie en dictionnaire Python. Une fois toutes les données collectées, le script affiche l’URL, la description et les statistiques d’engagement (likes, vues, partages, réponses, hashtags) de chaque publication. Enfin, l’ensemble des données est organisé dans un DataFrame pandas et exporté au format CSV pour la création de rapports ou la modélisation.
Les blocs try/except garantissent la conversion sécurisée des champs numériques (gestion des formats inattendus), ce qui rend cette approche fiable pour les pipelines de récupération de données Twitter et les tutoriels sur la manière de récupérer des données Twitter sans l'API officielle.
Comparaison des performances et de la fiabilité (outil payant vs logiciel libre)
Si vous envisagez sérieusement l'extraction de données Twitter à grande échelle , mesurez le débit, le taux de réussite et le temps de maintenance.
Nous avons exécuté trois configurations avec les mêmes sujets :
- Un outil payant ( fournisseur de web scraping géré )
- SN-Scraper (open-source)
- Un script personnalisé pour navigateur sans interface graphique. Il collectait les publications publiques, analysait l'engagement et enregistrait les données dans un fichier CSV.
Ce que nous avons observé :
- Débit (tweets/min) : scrapers Twitter payants > navigateur sans interface graphique > SN-Scraper.
- Taux de réussite : L’outil payant a géré les modifications de mise en page/d’authentification de manière très constante.
- Temps d'ingénierie : les options open source ont nécessité le plus de correctifs après les modifications du site.
Conclusion : Pour une recherche ponctuelle, les logiciels libres sont une excellente option. Pour l’extraction continue de données Twitter, les outils payants d’extraction de données web permettent de réduire les erreurs et les coûts cachés, notamment lorsque l’extraction de données Twitter est nécessaire en continu ou sur de nombreux sujets.
Bonnes pratiques pour le scraping de Twitter
Les points suivants stabilisent vos exécutions Python de scraping Twitter et réduisent les blocages.
- Rythme : Maintenir un délai de 2 secondes dans la découverte Google et augmenter progressivement la durée du délai d'attente (10→20→40s) sur les délais d'attente suivants .
- Rotation des identités : utilisez des adresses IP/agents utilisateurs rotatifs (un outil payant automatise généralement cette opération) pour extraire des données Twitter à grande échelle.
- Limiter la concurrence : démarrer 3 à 5 processus ; augmenter ce nombre uniquement si le taux d’erreur reste faible.
- Mise en cache et déduplication : ne pas récupérer à nouveau le même message ; stocker les identifiants et l’horodatage de la dernière consultation.
- Répartir les horaires : Échelonner les courses tout au long de la journée.
La meilleure façon d'obtenir des données Twitter
- Besoin d'un succès prévisible et d'un minimum d'entretien ?
- Choisissez un outil payant. C'est la solution la plus fiable pour la collecte continue de données Twitter et la surveillance multi-sujets.
- Besoin d'un accès structuré et contrôlé ?
- Si les budgets et les limites sont acceptables, l'API officielle est la plus propre.
- Vous explorez les environs ? Petit budget ?
- Commencez par une bibliothèque open-source , attendez-vous à des dysfonctionnements occasionnels.
- Vous avez des exigences particulières (identifiants, séquencement, actions dynamiques) ?
- Créez vous-même un système headless avec une hygiène et une observabilité des proxys robustes.
Utilisez ce tableau comparatif pour choisir la solution qui correspond à votre budget, à vos délais et à votre tolérance au risque en matière d'extraction de tweets.
Agrégateur Twitter (planification + tableaux de bord)
Une fois votre scraper Twitter en Python opérationnel, vous pouvez facilement le transformer en un agrégateur Twitter qui collecte et visualise en continu les publications publiques de X.com autour de sujets, hashtags ou influenceurs spécifiques. Un agrégateur est simplement un système automatisé qui :
- Collecte les publications provenant de sources multiples ou de mots-clés.
- Nettoie et stocke les données régulièrement (toutes les heures ou tous les jours).
- Affiche les informations dans un tableau de bord pour une analyse rapide.
Votre tutoriel en 4 étapes remplit déjà toutes les fonctions essentielles (découverte, extraction et exportation), ce qui en fait une base idéale pour un agrégateur automatisé.
Comment créer votre agrégateur Twitter
- Planifiez des exécutions régulières : utilisez une tâche cron ou un planificateur de flux de travail pour exécuter votre script automatiquement (par exemple, toutes les heures). Alternez les sujets ou les hashtags à chaque exécution.
- Supprimez les doublons et ajoutez les nouvelles données : après chaque exécution, vérifiez la présence de doublons à l’aide de l’URL ou de l’identifiant et n’ajoutez que les publications récentes à votre fichier CSV ou à votre base de données. Organisez les résultats par jour (/data/x_posts/AAAA-MM-JJ/) afin de faciliter les recherches ultérieures.
- Transformation pour les tableaux de bord : chargez vos fichiers CSV dans Data Studio , Tableau ou des notebooks Python pour les visualiser.
- Volume de publications par heure/jour
- Meilleurs auteurs ou hashtags
- Tendances d'engagement (likes, vues, partages)
Utiliser les modèles de requêtes comme outil de recherche sur Twitter (personnes et publications).
Votre étape de découverte ne se limite pas à la recherche de publications. Elle vous permet également de trouver des personnes, des influenceurs et des comptes clés sur X.com grâce aux opérateurs de recherche Google. Votre outil d'extraction de données devient ainsi un outil de recherche Twitter performant, capable de trouver à la fois des profils d'utilisateurs et des tweets pertinents.
Qu'est-ce qu'un outil de recherche Twitter ?
Un outil de recherche Twitter est un flux de travail de recherche qui identifie :
- Personnes ou profils basés sur le titre du poste, la biographie ou les mots-clés du secteur d'activité
- Tweets ou publications basés sur des sujets, des hashtags ou des périodes spécifiques
Vous pourrez toujours vous appuyer sur l'opérateur site:x.com de Google pour découvrir les pages publiques correspondant à vos mots clés, sans avoir besoin de l'API Twitter.
Modèles de requêtes pour trouver des profils :
Ces modèles vous permettent de collecter les pages d'auteurs (et non les tweets). Utilisez ces URL avec votre outil d'extraction pour récupérer des champs tels que user_posted, name, followers, is_verified et biography. Pour trouver des profils , essayez :
Cela transforme votre projet en un simple outil d'extraction de profils Twitter, idéal pour la découverte d'influenceurs, le recrutement ou les études de marché.
Modèles de requêtes pour trouver des articles :
Pour vous concentrer sur les tweets ou les publications , utilisez :
Ces techniques améliorent à la fois le rappel (en affichant davantage de tweets pertinents) et la précision (en réduisant le nombre de résultats non pertinents). Grâce à ces astuces de requête, votre outil d'extraction de données devient un chercheur Twitter performant.
Résolvez les problèmes de prévisualisation manquante à l'aide d'un débogueur Twitter (conseils sur les métadonnées)
Les utilisateurs qui recherchent un outil de débogage Twitter souhaitent souvent corriger l'affichage des aperçus de liens (Twitter Cards/Open Graph). Bien qu'il ne s'agisse pas d'extraction de données , c'est une fonctionnalité connexe et utile.
- Assurez-vous que les pages cibles incluent og:title, og:description, og:image et les métadonnées twitter:card correctes.
- Vérifiez que les images sont au format HTTPS, accessibles et respectent les limites de taille.
- Repartager après la mise à jour des métadonnées.
Le web scraping sur Twitter est-il légal ?
Bien que la collecte de données publiques soit généralement protégée par le CFAA (Computer Fraud and Abuse Act) aux États-Unis, X a introduit un obstacle contractuel massif.
À compter de 2026, les conditions d'utilisation de X stipulent que toute personne qui « demande, consulte ou accède » à plus de 1 000 000 de publications sur une période de 24 heures par des moyens automatisés sans autorisation est passible de 15 000 $ de dommages et intérêts forfaitaires. 1
Cela rend le scraping à grande échelle financièrement risqué pour les chercheurs et les entreprises.
Mises à jour techniques et tendances 2026 pour le web scraping sur Twitter
Extraction de données native par IA (intégration MCP)
Une tendance majeure en 2026 est le passage des outils de programmation traditionnels comme Python et BeautifulSoup au protocole MCP (Model Context Protocol). Au lieu d'écrire et de mettre à jour des scripts, les utilisateurs demandent les données dont ils ont besoin, et l'outil MCP se charge de l'extraction, du nettoyage et de la mise en forme.
Passer au navigateur complet
Les navigateurs sans interface graphique basiques comme Puppeteer ou Selenium sont rapidement détectés par le système d'empreinte TLS avancé de X. C'est pourquoi les grandes entreprises utilisent Stealth Browsers et Playwright avec des plugins qui exécutent des sessions de navigation complètes.
Ces outils imitent les actions humaines, comme déplacer la souris de manière aléatoire et modifier le timing, pour contourner les systèmes anti-bots d'apprentissage automatique de X.
FAQ
Oui. Vos données de sortie incluent des champs multimédias (par exemple, photos, vidéos, external_*). Enregistrez ces URL et téléchargez-les ultérieurement si nécessaire. Pour optimiser le stockage, ne stockez que les liens, ainsi que les métadonnées (taille et type), afin de limiter les coûts.
Utilisez des proxys résidentiels ou FAI à rotation. Ils offrent une meilleure réputation que les pools de serveurs de centres de données classiques et réduisent les blocages temporaires. Si vous utilisez un outil payant, une rotation de haute qualité est généralement incluse, ce qui est pratique pour les tâches de scraping Twitter de longue durée.
API officielle : API propriétaire, documentée, structurée ; gouvernance plus transparente, mais payante/à accès restreint et parfois limitée.
API de scraping Twitter / API de scraper Twitter : un service qui orchestre les navigateurs et les proxys pour extraire des données publiques des pages ; plus flexible, mais dépend de la mise en page du site et des contrôles anti-bots.
Si votre activité est axée sur les médias, le même flux se transforme en un outil d'extraction de contenu Twitter capable de capturer des liens d'images et de vidéos à grande échelle. Comment adapter votre processus :
* Conservez l'étape 2 de recherche par mots-clés, mais privilégiez les requêtes contenant beaucoup de contenu multimédia : « sujet » (photo OU vidéo) site:x.com. Dans vos résultats, consultez les photos, les vidéos, les URL d'images externes et les URL de vidéos externes.
* Stockez les URL, pas les fichiers binaires . Le téléchargement des médias peut être une tâche secondaire, limitée en débit (file d'attente parallèle, somme de contrôle, nouvelles tentatives).
Liens de référence
Commentaires 1
Partagez vos idées
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.
You cannot access tweets for free using the API. Twitter (X) charges developers at minimum $100/month to use the API to access tweets. The free developer option is limited to posting only, which is not what you'd want to scrape Twitter for anyway.
Indeed, we updated that section, thank you for the heads up!