Test de benchmark d'analyse de sentiment: ChatGPT, Claude & Qwen

Obtenir un étiquetage précis des émotions et des sentiments, ainsi que détecter l’ironie, la haine et l’offensivité, reste un défi, nécessitant des tests et des améliorations supplémentaires. Nous avons testé 10 modèles de langage à grande échelle sur cinq tâches de sentiment : émotion, haine, ironie, offensivité et sentiment. Nous les avons classés par précision moyenne sur l’ensemble des cinq.

Les résultats mettent en évidence des distinctions claires entre les outils :

• GPT 5.5 a obtenu la meilleure précision globale (80 %),
• Minimax M2.7 (72 %) a enregistré la performance globale la plus faible.

Résultats expérimentaux : benchmark d’analyse de sentiment

Classement : les outils sont classés selon leurs taux de précision moyens agrégés sur toutes les catégories testées : émotion, haine, ironie, offensivité et sentiment.

Pour plus de détails, consultez la méthodologie de notre benchmark.

Précision globale

En combinant toutes les tâches, les scores de précision totaux des modèles offrent une vue globale de leurs capacités :

• GPT 5.5 s’est classé premier avec 80 %. Il n’est jamais descendu sous 73 % dans aucune tâche, ce qui en a fait le modèle plus régulier du test.
• Claude Sonnet 4.6 est arrivé deuxième avec 79 %. Il a obtenu le meilleur résultat unique du benchmark : 82 % en haine.
• Qwen 3.6 Plus et ChatGPT 5.4 mini ont terminé à égalité en troisième position avec 78 %. ChatGPT 5.4 mini est le plus petit modèle près du sommet, mais il a mené la détection de l’offensivité et s’est classé premier à égalité en ironie.
• Kimi k2.6 a obtenu 77 %, avec des résultats réguliers et aucune tâche faible évidente.
• Gemini 3.1-pro et GLM 5.1 ont terminé à égalité à 76 %. Gemini 3.1-pro s’est classé premier à égalité en détection d’émotion, mais a obtenu un faible classement en haine.
• Claude Opus 4.8 a obtenu 74 %. Il a été freiné par la détection d’émotion (68 %), sa catégorie la plus faible.
• Gemini 3.5 Flash a obtenu 73 %. Son résultat en haine (65 %) a été le plus bas de cette tâche.
• Minimax M2.7 s’est classé dernier avec 72 %. Il a obtenu les scores les plus bas en émotion, en ironie et en offensivité.

1. Détection d’émotion

La détection d’émotion est une tâche difficile en analyse de sentiment, qui exige souvent des modèles qu’ils discernent des indices subtils dans le langage. Voici comment les modèles ont performé :

• GPT 5.5 et Gemini 3.1-pro ont terminé à égalité en première position avec 80 %.
• Qwen 3.6 Plus a suivi avec 79 %.
• Kimi k2.6 a obtenu 78 %, et GLM 5.1 a obtenu 77 %.
• ChatGPT 5.4 mini a atteint 76 %, et Claude Sonnet 4.6 a atteint 75 %.
• Gemini 3.5 Flash a obtenu 73 %.
• Claude Opus 4.8 a obtenu 68 %.
• Minimax M2.7 a obtenu le score le plus bas avec 66 %.

La détection d’émotion a présenté un large écart : 14 points entre les modèles en tête et en queue. Cela en fait l’une des deux tâches qui distinguent le plus clairement les modèles.

2. Détection de la haine

Détecter les contenus haineux est crucial pour la classification de sentiment sur Twitter et d’autres tâches de modération. Les résultats ont révélé des différences notables :

• Claude Sonnet 4.6 a mené avec 82 %, le meilleur score unique du benchmark.
• GPT 5.5 a suivi de près avec 80 %.
• Qwen 3.6 Plus a obtenu 77 %.
• Kimi k2.6 et GLM 5.1 ont tous deux obtenu 76 %.
• Minimax M2.7 a obtenu 75 %.
• ChatGPT 5.4 mini a obtenu 72 %.
• Gemini 3.1-pro et Claude Opus 4.8 ont tous deux obtenu 71 %.
• Gemini 3.5 Flash a obtenu le score le plus bas avec 65 %.

La haine a présenté le plus large écart de toutes les tâches : 17 points. Si la modération est votre cas d’usage, choisissez en haut de cette colonne plutôt que selon le classement moyen.

3. Détection de l’ironie

La détection de l’ironie est un domaine où l’évaluation sémantique joue un rôle central. Les deux modèles ont livré des performances élevées au benchmark d’analyse de sentiment, mais GPT-4o s’est imposé comme un leader clair :

• GPT 5.5, Claude Sonnet 4.6, Qwen 3.6 Plus et ChatGPT 5.4 mini ont terminé à égalité en première position avec 91 %.
• Gemini 3.1-pro, GLM 5.1 et Gemini 3.5 Flash ont chacun obtenu 87 %.
• Claude Opus 4.8 a obtenu 86 %, et Kimi k2.6 a obtenu 85 %.
• Minimax M2.7 a obtenu le score le plus bas avec 82 %.

C’était la tâche la plus facile de l’ensemble. Même le score le plus bas était de 82 %. Pour des travaux qui dépendent de la détection de l’ironie ou du sarcasme, n’importe lequel de ces modèles est un bon point de départ.

4. Détection de l’offensivité

Détecter les contenus offensants est essentiel pour maintenir des communautés en ligne saines. Les performances des modèles au benchmark d’analyse de sentiment dans cette tâche étaient les suivantes :

• ChatGPT 5.4 mini a mené avec 75 %.
• GPT 5.5 a obtenu 73 %, et Claude Sonnet 4.6 a obtenu 72 %. Claude Opus 4.8 a obtenu 70 %.
• Qwen 3.6 Plus, Kimi k2.6, Gemini 3.1-pro et GLM 5.1 ont tous obtenu 69 %.
• Gemini 3.5 Flash a obtenu 68 %.
• Minimax M2.7 a obtenu le score le plus bas avec 65 %.

Aucun modèle n’a atteint 76 % sur la métrique d’offensivité. L’ensemble du champ allait de 65 % à 75 %. Le contexte pilote cette tâche, et les cas limites du dataset font trébucher tous les modèles.

5. Analyse de sentiment

La tâche globale d’analyse de sentiment visait à classer les données en sentiments positifs, négatifs et neutres. Les scores de précision pour cette tâche ont varié considérablement entre les modèles :

• GPT 5.5, Qwen 3.6 Plus, ChatGPT 5.4 mini et Gemini 3.1-pro ont terminé à égalité en première position avec 75 %.
• Kimi k2.6, Claude Opus 4.8, Gemini 3.5 Flash et Minimax M2.7 ont tous obtenu 74 %.
• Claude Sonnet 4.6 a obtenu 73 %.
• GLM 5.1 a obtenu le score le plus bas avec 72 %.

L’écart total était de 3 points, de 72 % à 75 %. Aucun modèle n’a bien géré le sentiment à trois classes. Si le projet a besoin d’étiquettes fiables positives, négatives et neutres, aucun de ces modèles n’est prêt à fonctionner sans une vérification humaine.

Observations et enseignements

Les tâches ne sont pas toutes aussi difficiles

L’ironie était facile pour tous les modèles (de 82 % à 91 %). Le sentiment et l’offensivité étaient difficiles pour tous les modèles, avec tous les scores entre 65 % et 75 %. Choisissez un modèle pour la tâche que vous avez réellement, et non pour son rang moyen.

L’émotion et la haine distinguent le mieux les modèles

Ces deux tâches ont présenté les plus grands écarts de scores : 14 et 17 points. Si votre cas d’usage est le suivi des émotions ou la modération, le choix du modèle importe plus ici que partout ailleurs.

Une moyenne élevée peut masquer une tâche faible

GPT 5.5 s’est classé premier au classement général et est resté solide sur tous les plans. Mais Claude Opus 4.8 s’est classé huitième au classement général, obtenant 86 % en ironie. Lisez la colonne de votre tâche, pas la moyenne.

Dataset de benchmark et méthodologie

Dataset d’analyse

Nous avons utilisé le dataset TweetEval, conçu pour l’analyse de sentiment sur de vrais messages Twitter.¹ Il fait partie des travaux de l’Association for Computational Linguistics (ACL) sur l’évaluation sémantique. Le dataset est livré avec des ensembles d’entraînement et de test pré-étiquetés couvrant cinq types de tâches :

• Détection d’émotion : nommer le sentiment d’un tweet, comme la colère, la joie, l’optimisme ou la tristesse. Exemple de tweet et d’étiquette : « #Deppression est réelle. Les partenaires de personnes #depressed ne comprennent vraiment pas à quel point cela nous affecte. Ajoutez l’#anxiety et cela empire » est étiqueté triste.²
• Détection de la haine : signaler les discours haineux dans un tweet. Exemple de tweet et d’étiquette : « Trump veut expulser les étrangers en situation irrégulière avec “pas de juges ni de procès” #MeToo Je suis totalement derrière cette action L’idée qu’une personne entrant illégalement dans un pays et ne montrant aucun respect pour ses lois soit protégée par ces mêmes lois est absurde ! #DeportThemAll » est étiqueté haineux.³
• Détection de l’ironie : repérer l’intention ironique. Exemple de tweet et d’étiquette : « Les gens qui disent aux personnes anxieuses de “juste arrêter de s’inquiéter” sont mon type de personnes préféré #not #educateyourself » est étiqueté ironie.⁴
• Détection de l’offensivité : classer les tweets contenant un langage offensant. Exemple de tweet et d’étiquette : « #ConstitutionDay Il est très étrange que les conservateurs d’extrême droite disent que nous ruinons la constitution parce que nous voulons #GunControlNow alors qu’ils sont ceux qui ruinent la constitution en s’énervant parce que des étrangers qui ne sont pas blancs viennent sur cette terre en voulant y vivre » est étiqueté offensant.⁵
• Classification de sentiment : attribuer une étiquette positive, négative ou neutre. Exemple de tweet et d’étiquette : « J’ai hâte d’essayer ça – Google Earth VR – ce truc est vraiment l’avenir de l’exploration…. » est étiqueté positif.⁶

Ces tâches correspondent à des approches d’apprentissage automatique du monde réel, ce qui les rend idéales pour évaluer les résultats expérimentaux des deux modèles.

Modèles testés

Nous avons testé 10 modèles de langage à grande échelle, tous via OpenRouter API afin que la configuration soit la même pour chacun :

GPT 5.5, ChatGPT 5.4 mini, Claude Sonnet 4.6, Claude Opus 4.8, Gemini 3.1-pro, Gemini 3.5 Flash, Qwen 3.6 Plus, Kimi k2.6, GLM 5.1, et Minimax M2.7.

Configuration expérimentale

Nous avons gardé chaque réglage identique pour l’ensemble des 10 modèles.

Échantillon

Nous avons utilisé les 200 premiers tweets de l’ensemble de test officiel de chaque tâche, avec les étiquettes de référence propres au dataset. Les mêmes 200 tweets ont été soumis à chaque modèle, de sorte que la comparaison soit équitable.

Prompting

Nous avons utilisé des prompts zero-shot : une consigne de tâche simple et le tweet brut, sans exemples travaillés. Le modèle a renvoyé une seule étiquette et rien d’autre.

Nous avons rédigé les prompts de manière à ne rien dévoiler. Nous n’avons pas nommé le benchmark, appelé le modèle « annotateur », ni laissé entendre qu’il était noté. Nommer le test peut changer la façon dont un modèle répond, donc nous l’avons omis. Le prompt d’émotion, par exemple, demandait au modèle de choisir l’un des sentiments suivants : colère, joie, optimisme ou tristesse, et de répondre avec ce mot.

Paramètres de génération

Nous avons réglé la température à 0, ce qui rend la sortie aussi stable que le modèle permet. Nous avons réglé la limite de tokens à 4 096. La limite élevée est importante pour les modèles de raisonnement : avec une petite limite, ils dépensent tout le budget en raisonnement caché et renvoient une réponse vide. L’espace supplémentaire leur permet de terminer leur raisonnement et d’afficher malgré tout l’étiquette. Les modèles qui ne raisonnent pas répondent en un seul mot court, donc la limite ne coûte rien ici.

Lecture des réponses

Nous avons associé chaque réponse à une étiquette par étapes : d’abord une correspondance exacte, puis une courte liste de synonymes (par exemple, « heureux » correspond à la joie), puis une recherche de toute étiquette dans une réponse plus longue. Les réponses que nous n’avons pas pu lire ont été comptées comme fausses.

Métrique

Le score de chaque tâche n’est pas la précision brute. Nous avons utilisé la métrique définie par les auteurs de TweetEval pour chaque tâche :

• Émotion : macro-F1
• Sentiment : macro-recall
• Haine : macro-F1
• Ironie : F1 de la classe ironie
• Offensivité : macro-F1

Le macro-F1 et le macro-recall pondèrent chaque classe de la même manière, quelle que soit sa fréquence d’apparition. C’est le bon choix ici, car des classes comme la haine ou l’ironie sont rares, et la précision brute permettrait à un modèle de paraître bon en choisissant toujours l’étiquette commune. La colonne moyenne est la moyenne de ces cinq scores.

Fiabilité

Quelques modèles ont atteint les limites de débit pendant l’exécution et ont abandonné certains appels. Nous avons relancé les lignes échouées à faible vitesse pour éviter les limites et répété cela jusqu’à ce qu’aucun échec ne survienne. Les résultats finaux ne comportent aucun appel échoué et aucune réponse illisible.

Limites de la configuration

Nous avons utilisé un échantillon de 200 tweets de chaque ensemble de test, et non l’ensemble complet, de sorte que ces chiffres ne correspondent pas au classement TweetEval publié. La comparaison entre nos 10 modèles reste valable, car chaque modèle a vu les mêmes tweets.

L’échantillon de 200 tweets est fixe, et non aléatoire, il est donc reproductible mais ne constitue pas un échantillon aléatoire. Chaque tâche a également utilisé un seul prompt à température 0. Un prompt différent, ou des exemples few-shot, modifierait les chiffres absolus.

Nous avons utilisé des datasets avec des étiquettes de référence publiques. Cela comporte un risque de contamination, un modèle pouvant avoir vu les étiquettes pendant l’entraînement. Nous ne pouvons pas l’exclure, mais les scores étaient loin d’être parfaits, ce qui suggère que ce n’était pas un facteur majeur. Pour la prochaine version, nous prévoyons de tester des tweets dont les étiquettes n’ont pas été publiées.

Comme l’échantillon est de 200 tweets par tâche, de petits écarts comportent un bruit d’échantillonnage. Nous traitons une différence d’un à deux points comme une égalité plutôt que comme un classement.

Quel modèle choisir

Les scores complets figurent dans le tableau ci-dessus. Cette section est plus courte : elle associe les besoins courants au modèle qui convient.

• Meilleur choix polyvalent : GPT 5.5. Il s’est classé premier et est resté solide sur chaque tâche, c’est donc le choix par défaut sûr lorsque votre travail combine plusieurs tâches de sentiment.
• Modération de contenu et discours haineux : Claude Sonnet 4.6. Il a obtenu le meilleur score de tous les modèles en haine. GPT 5.5 est juste derrière.
• Détection de langage offensant à budget limité : ChatGPT 5.4 mini. Il a mené l’offensivité et égalé les meilleurs scores d’ironie, ce qui est rare pour un modèle plus petit et moins cher.
• Suivi des émotions et des sentiments : Gemini 3.1-pro ou Qwen 3.6 Plus. Les deux se situent en haut de ces deux colonnes. Utilisez-les pour des travaux d’humeur et d’opinion plutôt que pour la modération.
• Ironie et sarcasme : presque n’importe quel modèle ici. Les scores allaient de 82 % à 91 %, donc cette tâche détermine rarement le choix. Choisissez le modèle moins cher qui répond à vos autres besoins.
• Utilisation générale et régulière : Kimi k2.6. Aucune tâche remarquable, mais aucune non plus faible.
• À utiliser avec prudence pour des travaux à fort enjeu : Gemini 3.5 Flash et Minimax M2.7 se classent en bas. Gemini 3.5 Flash était le plus faible sur les discours haineux, évitez-le donc particulièrement pour la modération.

Un rappel qui traverse tout cela : lisez la colonne de votre tâche, pas la moyenne. Un modèle peut se classer au milieu du tableau général et tout de même mener la seule tâche qui vous importe.

Pour aller plus loin

• Outils d’analyse de sentiment open source
• Meilleurs outils d’émotion IA testés
• Méthodes d’analyse de sentiment audio

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{phd2026,
  author = {PhD., Ezgi Arslan,},
  title  = {{Test de benchmark d'analyse de sentiment: ChatGPT, Claude & Qwen}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/sentiment-analysis-benchmark}},
  note   = {AIMultiple. Consulté le 1 Septembre 2026}
}

Journal des modifications

6 mises à jour

Toutes6Général3Méthodologie3

1. 20252 Oct

   Ajout de ChatGPT 5.o, Claude 4.5 et Grok 4 à la section Résultats expérimentaux : analyse comparative des sentiments.

2. 2 Oct

   Remplacé les modèles dans la section Méthodologie d'analyse.

3. 10 Mar

   ChatGPT 4.5, Claude 3.7 et DeepSeek V3 ont été ajoutés à la liste des modèles testés.

4. 10 Mar

   Remplacé ChatGPT 4.0 par GPT-4o dans la section méthodologie.

5. 202426 Nov

   Supprimé la section "Précision globale" de la fin du document.

6. 26 Nov

   Suppression de la section « Jeu de données de référence et méthodologie ».

Liens de référence

1.

Cardiff NLP · GitHub

2.

SemEval-2018 Task 1: Affect in Tweets - ACL Anthology

3.

SemEval-2019 Task 5: Multilingual Detection of Hate Speech Against Immigrants and Women in Twitter - ACL Anthology

4.

SemEval-2018 Task 3: Irony Detection in English Tweets - ACL Anthology

5.

SemEval-2019 Task 6: Identifying and Categorizing Offensive Language in Social Media (OffensEval) - ACL Anthology

6.

SemEval-2017 Task 4: Sentiment Analysis in Twitter - ACL Anthology

Ezgi Arslan, PhD.

Analyste du secteur

Suivre

Ezgi est titulaire d'un doctorat en administration des affaires avec une spécialisation en finance et travaille comme analyste du secteur chez AIMultiple. Elle pilote la recherche et les analyses à l'intersection de la technologie et des affaires, avec une expertise couvrant la durabilité, les enquêtes et l'analyse des sentiments, les applications d'agents IA dans la finance, l'optimisation des moteurs de réponse, la gestion des pare-feu et les technologies d'approvisionnement.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire