Sentiment-Analyse-Benchmark-Tests: ChatGPT, Claude & DeepSeek

Die präzise Kennzeichnung von Emotionen und Gefühlen sowie die Erkennung von Ironie, Hass und Beleidigungen bleibt eine Herausforderung und erfordert weitere Tests und Verfeinerungen. Wir testen acht LLMs, Claude 3.5, Claude 3.7, Claude 4.5, ChatGPT 4.o, ChatGPT 4.5, ChatGPT 5.o, DeepSeek V3 und Grok 4 in Bezug auf fünf wichtige auf Sentiment bezogene Aufgaben.

Die Ergebnisse zeigen klare Unterschiede zwischen den Tools:

• Claude 3.7 erreichte die beste Gesamtgenauigkeit (79%),
• ChatGPT 4.5 und DeepSeek V3 (70%) verzeichneten die schlechteste Gesamtleistung.

Experimentelle Ergebnisse: Sentiment-Analyse-Benchmark

Rangfolge: Die Tools werden nach ihrer durchschnittlichen Genauigkeit gerankt, die über alle getesteten Kategorien hinweg aggregiert wurde: Emotion, Hass, Ironie, Beleidigung und Sentiment.

Für weitere Details lesen Sie die Methodik unseres Benchmarks.

Gesamtgenauigkeit

Die Kombination aller Aufgaben liefert die Gesamtgenauigkeitswerte der Modelle und bietet einen ganzheitlichen Überblick über ihre Fähigkeiten:

• Claude 3.7 übertraf alle anderen Tools in allen Kategorien außer der Ironieerkennung. Die durchschnittliche Genauigkeit von Claude 3.7 für die 5 Kategorien liegt bei fast 80 %.
• Claude 3.5‘s Leistung lag zwischen 67 % und 98 % und zeigte bemerkenswerte Verbesserungen bei Tests mit geringem Volumen.
• ChatGPT 5.o Auto erreichte einen Gesamtdurchschnitt von 75 % und positionierte sich als ausgewogener Performer in allen Kategorien.
• Claude 4.5 erreichte eine Gesamtgenauigkeit von 75 %. Es zeigte Stärken bei der Erkennung von Emotionen, Ironie und Beleidigungen, schnitt jedoch bei der Hassklassifizierung schlechter ab, was seine Balance verringerte.
• ChatGPT 4.o, mit einer allgemeinen Kennzeichnungsgenauigkeit zwischen 64 % und 98 %, ist in der Kategorie der Ironieerkennung erfolgreicher als jedes andere Tool.
• Grok 4 erreichte eine Gesamtgenauigkeit von 71 %. Obwohl es bei der Emotionserkennung gut abschnitt, reduzierten seine Einschränkungen bei der Ironie-, Beleidigungs- und Sentimentklassifizierung seine Wettbewerbsfähigkeit.
• DeepSeek V3‘s Genauigkeit bei der Erkennung verschiedener Emotionen/Sentiments liegt zwischen 52 % und 92 %.
• ChatGPT 4.5 bringt die schlechteste Leistung bei der Sentiment-Analyse für unsere Stichprobe mit einem Durchschnitt von 70 %.

1. Emotionserkennung

Die Emotionserkennung ist eine herausfordernde Aufgabe in der Sentiment-Analyse, bei der Modelle oft subtile Hinweise in der Sprache erkennen müssen. So schnitten die Modelle ab:

• ChatGPT 4.o erreichte bei der Analyse von 50 Aussagen eine Genauigkeit von 72 %.
• ChatGPT 4.5 teilte sich die höchste Genauigkeit bei der Emotionserkennung mit Claude 3.7 mit einer Erfolgsrate von ca. 80 % bei der Analyse von 50 Aussagen.
• ChatGPT 5.o Auto erreichte die höchste Erfolgsrate mit 80 % Genauigkeit und steht damit auf Augenhöhe mit Claude 3.7 und ChatGPT 4.5.
• Claude 3.5 erzielte hingegen 77,5 %.
• Claude 3.7 erreichte bei der Analyse von 50 Aussagen die höchste Erfolgsrate von ca. 80 % bei der Emotionserkennung.
• Claude 4.5 übertraf bei dieser Aufgabe alle anderen leicht und erreichte die Top-Note von 82 % Genauigkeit.
• DeepSeek V3 analysiert Emotionen in den gegebenen 50 Aussagen mit einer Genauigkeit von ca. 76 %.
• Grok 4 zeigte eine starke Leistung und erreichte bei der Emotionserkennung eine Genauigkeit von 80 %.

2. Hasserkennung

Die Erkennung von hasserfüllten Inhalten ist für die Twitter-Sentiment-Klassifizierung und andere Moderationsaufgaben von entscheidender Bedeutung. Die Ergebnisse zeigten erhebliche Unterschiede:

• ChatGPT 4.o zeigte eine Genauigkeit von 64 %.
• ChatGPT 4.5 erzielte in unserer Stichprobe eine Erfolgsrate von ca. 57 % bei der Hasserkennung.
• ChatGPT 5.o Auto zeigte bei dieser Aufgabe mit 54 % Genauigkeit nur begrenzten Erfolg.
• Claude 3.5 zeigte bei der Hasserkennung einen Erfolg von 67,5 %.
• Claude 3.7 bewertete die Tweets mit einer Erfolgsrate von 78 % am genauesten, um hasserfüllte Aussagen zu erkennen.
• Claude 4.5 verzeichnete das schwächste Ergebnis aller Modelle mit einer Genauigkeitsrate von 50 % bei der Erkennung von hasserfüllten Inhalten.
• DeepSeek V3 erzielte die niedrigste Punktzahl im Benchmark mit nur 52 % Erfolg bei der Hasserkennung.
• Grok 4 erzielte mit 65 % mäßig gute Ergebnisse.

3. Ironieerkennung

Die Ironieerkennung ist ein Bereich, in dem die semantische Bewertung eine zentrale Rolle spielt. Beide Modelle lieferten eine hohe Benchmark-Leistung bei der Sentiment-Analyse, aber GPT-4o erwies sich als klarer Führer:

• ChatGPT 4.o erreichte eine außergewöhnliche Genauigkeit von 98 % bei der Identifizierung ironischer Ausdrücke. Dieser Erfolg ist auf seine Fähigkeit zurückzuführen, negative Polarität in komplexen Textklassifikationsszenarien zu interpretieren.
• ChatGPT 4.5 sagte die Ironie des gegebenen Textes mit einer Erfolgsrate von 87 % am wenigsten erfolgreich voraus als die anderen Tools, die wir in diesem Vergleich zur Emotions-/Sentiment-Erkennung getestet haben.
• ChatGPT 5.o Auto zeigte eine solide Fähigkeit, Ironie zu erkennen, und erreichte eine Genauigkeit von 93 %.
• Claude 3.5 erzielte mit 50 Aussagen eine etwas niedrigere Punktzahl als ChatGPT 4.o und erreichte eine Genauigkeit von 97 %.
• Claude 3.7 erkannte Ironie mit einer Genauigkeit von ca. 96 % für den gegebenen Text.
• Claude 4.5 lieferte eine der höchsten Leistungen bei der Ironieerkennung mit einer Genauigkeitsrate von 95 %.
• DeepSeek V3 erzielte bei der Ironieerkennung für die gegebenen Tweets eine Erfolgsrate von ca. 92 %.
• Grok 4 blieb in diesem Bereich mit 83 % zurück, dem niedrigsten Wert aller getesteten Modelle.

Angesichts der insgesamt hohen Genauigkeit der Modelle eignen sich alle gut für Twitter-Nachrichten mit ironischem oder sarkastischem Inhalt. Allerdings verschafft GPT-4o‘s Erfolg einen erheblichen Vorteil für Anwendungen, die einen Standardzuverlässigkeits-Benchmark für Sentiments erfordern.

4. Beleidigungserkennung

Die Erkennung beleidigender Inhalte ist entscheidend für die Aufrechterhaltung gesunder Online-Communities. Die Benchmark-Leistungen der Modelle bei dieser Aufgabe waren wie folgt:

• ChatGPT 4.o erzielte bei 50 Aussagen eine Punktzahl von 76 %. Dies stimmt mit seinen starken Machine-Learning-Ansätzen und der Fähigkeit überein, sich an Variationen im Datenvolumen anzupassen.
• ChatGPT 4.5 erreichte bei der Beleidigungserkennung für gegebene Tweets eine Erfolgsrate von ca. 75 %.
• ChatGPT 5.o Auto erreichte die höchste Erfolgsrate aller Tools bei der Beleidigungserkennung mit einer Genauigkeit von 82 %.
• Claude 3.5 zeigte die niedrigste Genauigkeit bei der Erkennung von Beleidigungen unter allen fünf Tools mit einer Erfolgsrate von ca. 67 % bei 50 Aussagen.
• Claude 3.7 erzielte in unserer Stichprobe die höchste Beleidigungserkennung mit einer Erfolgsrate von ca. 77 %.
• Claude 4.5 erkannte Beleidigungen mit 81 %, was seine Stärke bei dieser Aufgabe unterstreicht.
• DeepSeek V3 erkannte beleidigende Aussagen mit einer Genauigkeit von 69 %.
• Grok 4 erreichte bescheidene 67 % und rangiert damit unter den schwächeren Performern in dieser Kategorie.

Diese Ergebnisse unterstreichen die Bedeutung von Kontext und Training beim Entwurf von Modellen zur Erkennung beleidigender Sprache, bei denen Muster im Datensatz die Ergebnisse erheblich beeinflussen können.

5. Sentiment-Analyse

Die übergeordnete Aufgabe der Sentiment-Analyse konzentrierte sich auf die Klassifizierung von Daten in positive, negative und neutrale Sentiments. Die Genauigkeitswerte für diese Aufgabe variierten zwischen den Modellen erheblich:

• ChatGPT 4.o erzielte eine Erfolgsrate von 64 %.
• ChatGPT 4.5 zeigte mit der niedrigsten Erfolgsrate von weniger als 54 % die niedrigste Genauigkeit bei der Twitter-Sentiment-Klassifizierung.
• ChatGPT 5.o Auto erzielte bei der allgemeinen Sentiment-Klassifizierung 67 % und liegt damit im mittleren Bereich im Vergleich zu anderen Tools.
• Claude 3.5 zeigte bei 50 Aussagen eine bessere Leistung mit einer Genauigkeit von 68 %.
• Claude 3.7 teilte sich mit einer Erfolgsrate von ca. 68 % die beste Leistung mit Claude 3.5 bei der Sentiment-Erkennung.
• Claude 4.5 erreichte die höchste Leistung mit einer Genauigkeitsrate von 69 %.
• DeepSeek V3 erzielte eine Genauigkeitsrate von 64 % bei der Erkennung von positiven, negativen und neutralen Sentiments.
• Grok 4 zeigte eine geringe Leistung mit nur 60 % Genauigkeit.

Keines der Modelle zeigte Kompetenz bei der Handhabung der Sentiment-Klassifizierung, deren Erfolgsrate zwischen ca. 54 % und 69 % lag.

Beobachtungen und Erkenntnisse

Auswirkung des Eingabevolumens

Beide Modelle zeigten bei einigen Aufgaben eine verbesserte Benchmark-Leistung bei der Sentiment-Analyse mit kleineren Eingabevolumina, was die Bedeutung der Reduzierung von Rauschen in Trainingsdaten für Aufgaben wie Hasserkennung und Sentiment-Klassifizierung unterstreicht.

Aufgabenspezifische Stärken

GPT-4o dominierte bei der Ironieerkennung und zeigte über alle Aufgaben hinweg eine konsistent gute Leistung. Claude 3.5 war zwar etwas weniger konsistent, glänzte jedoch bei Aufgaben wie der Emotionserkennung, insbesondere bei größeren Eingabevolumina.

Breitere Implikationen

Diese experimentellen Ergebnisse bestätigen die Wirksamkeit der Verwendung von Benchmark-Datensätzen wie TweetEval für die Textklassifizierungsforschung. Die Erkenntnisse können der Forschungscommunity dabei helfen, das richtige Modell basierend auf ihrem spezifischen Anwendungsfall auszuwählen, sei es die Erkennung nuancierter Sentiment-Intensität oder die Analyse negativer Polarität in Twitter-Nachrichten.

Benchmark-Datensatz und Methodik

Analyse-Datensatz

Der TweetEval Datensatz wurde aufgrund seiner Relevanz für Sentiment-Analyse-Techniken ausgewählt, die auf reale Twitter-Nachrichten angewendet werden.¹ Der Datensatz ist Teil der Initiative der Association for Computational Linguistics (ACL) und wird häufig bei semantischen Bewertungen und Textklassifizierungsaufgaben verwendet. Er besteht aus vorab gekennzeichneten Trainingsdaten und Testsets, die mehrere Dimensionen von Sentiment und kontextuellem Verständnis abdecken:

• Emotionserkennung: Identifizierung emotionaler Töne wie Wut, Freude, Optimismus oder Traurigkeit in Tweets.

Beispiel-Tweet und Label: Der Tweet „#Deppression ist real. Partner w/ #depressed people verstehen wirklich nicht die Tiefe, in der sie uns beeinflussen. Fügen Sie #anxiety hinzu &makes es schlimmer" wird als traurig gekennzeichnet.²

• Hasserkennung: Bewertung des Vorhandenseins von Hassrede in gegebenen Tweets.

Beispiel-Tweet und Label: Der Tweet „Trump will illegale Ausländer mit ‚keine Richter oder Gerichtsverfahren' abschieben #MeTooI bin fest hinter dieser AktionDer Gedanke, dass jemand illegal ein Land betritt & keinen Respekt vor seinen Gesetzen zeigt, sollte durch dieselben Gesetze geschützt werden, ist lächerlich!#DeportThemAll" wird als hasserfüllt gekennzeichnet.³

• Ironieerkennung: Erkennung ironischer Absicht in textuellen Inhalten.

Beispiel-Tweet und Label: Der Tweet „Menschen, die Menschen mit Angstzuständen sagen, sie sollen ‚einfach aufhören, sich Sorgen zu machen', sind meine Lieblingsmenschen #not #educateyourself" wird als Ironie gekennzeichnet.⁴

• Beleidigungserkennung: Klassifizierung von Tweets mit beleidigender Sprache.

Beispiel-Tweet und Label: Der Tweet „#ConstitutionDay Es ist sehr seltsam für die alt-rechten Konservativen zu sagen, dass wir die Verfassung ruinieren, nur weil wir #GunControlNow wollen, aber sie sind diejenigen, die die Verfassung ruinieren, weil sie sich aufregen, dass Fremde in dieses Land kommen, die nicht Weiß sind und dort leben wollen" wird als beleidigend gekennzeichnet.⁵

• Sentiment-Klassifizierung: Zuweisung von positiven, negativen oder neutralen Labels zu Tweets.

Beispiel-Tweet und Label: Der Tweet „Kann es kaum erwarten, dies auszuprobieren – Google Earth VR – das Zeug ist wirklich die Zukunft der Erkundung…." wird als positiv gekennzeichnet.⁶

Diese Aufgaben entsprechen realen Machine-Learning-Ansätzen und machen sie ideal für die Bewertung der experimentellen Ergebnisse der beiden Modelle.

Analyse-Methodik

Dieser Benchmark vergleicht acht state-of-the-art Large Language Models (LLMs): Claude 3.5, Claude 3.7, Claude 4.5, ChatGPT 4.o, ChatGPT 4.5, ChatGPT 5.o, DeepSeek V3 und Grok 4.

Experimenteller Aufbau

Um Konsistenz und Zuverlässigkeit in den Experimenten sicherzustellen, wurde folgende Methodik angewendet:

Eingabevolumen

• Zwei Eingabevolumina wurden getestet: 50 Tweets und 10 Tweets pro Aufgabe.
• Diese Variation zielte darauf ab, zu bestimmen, wie sich die Eingabegröße auf die Modellleistung auswirkt, insbesondere bei Aufgaben wie der basierten Sentiment-Analyse und Hasserkennung, bei denen das Datenvolumen die Genauigkeit beeinflussen kann.

Aufgabenspezifische Bewertung

Jede Aufgabe aus dem TweetEval-Datensatz wurde separat getestet. Die Aufgaben und entsprechenden Ausgaben wurden mit den Sentiment-Analyse-Modellen der Modelle analysiert, und Genauigkeitswerte wurden aufgezeichnet.

Verwendete Metriken

Genauigkeitswerte wurden für jede Aufgabe berechnet, um zuverlässige experimentelle Ergebnisse sicherzustellen.

Einschränkungen des Aufbaus

Wir haben Datensätze verwendet, bei denen Ground Truths öffentlich verfügbar waren. Dies könnte zu Datenvergiftung geführt haben (d. h. LLMs wurden auf dem Ground Truth trainiert). Wir haben jedoch angenommen, dass dies nicht der Fall ist, da die Genauigkeiten nicht nahe an perfekt lagen. Für die nächste Version könnten wir Tweets verwenden, für die der Ground Truth nicht veröffentlicht wurde.

Detaillierte Übersicht über LLMs

Alle Tools, ChatGPT 4.o, 4.5, Claude 3.5, 3.7 und DeepSeek V3, repräsentieren bedeutende Fortschritte im Bereich der natürlichen Sprachverarbeitung (NLP) mit Anwendungen, die von der Sentiment-Analyse bis zur konversationellen KI reichen. Diese Modelle gehören zu den am weitesten verbreiteten für ihre Fähigkeit, menschlichen Text zu interpretieren, zu verarbeiten und zu generieren. Nachfolgend finden Sie eine detaillierte Beschreibung jedes Modells, die ihre einzigartigen Fähigkeiten und ihre Relevanz für die Sentiment-Klassifizierung und verwandte Machine-Learning-Aufgaben hervorhebt.

ChatGPT 4.o

ChatGPT 4.o, entwickelt von OpenAI, ist eine verbesserte Version seines Vorgängers, GPT-3.5, und verfügt über erhebliche Verbesserungen in der Deep-Learning-Architektur und dem Sprachverständnis. Dieses Modell ist für eine breite Palette von NLP-Aufgaben optimiert, einschließlich Sentiment-Analyse-Modellen und aspektbasierter Sentiment-Analyse.

Anwendungen in der Sentiment-Analyse

ChatGPT 4.o wird häufig in der Forschungscommunity und der Industrie für Aufgaben wie verwendet:

• Twitter-Nachrichten Sentiment-Analyse für Social-Media-Monitoring.
• Sentiment-Klassifizierung von Kundenfeedback im E-Commerce.
• Emotionserkennung in Anwendungen im Bereich der psychischen Gesundheit.
• Aspektbasierte Sentiment-Analyse für Produktbewertungen und Umfragen.

Einschränkungen

Trotz seiner Stärken kann ChatGPT 4.o gelegentlich auf bestimmte Sentiment-Muster overfitten, was zu einer verringerten Genauigkeit in hoch domänenspezifischen Kontexten führt.

ChatGPT 4.5

ChatGPT 4.5, eine weitere Entwicklung der GPT-Serie von OpenAI, bietet solide Leistungen bei verschiedenen Sentiment-Analyse-Aufgaben. Es zeigt ein gutes Verständnis der Emotionskategorisierung, aber seine Leistung bei der Hasserkennung und Sentiment-Klassifizierung ist relativ niedriger, was seine Anwendung in bestimmten hochsensiblen Kontexten einschränken kann.

Anwendungen in der Sentiment-Analyse

ChatGPT 4.5 wird häufig verwendet in:

• Moderationstools zur Erkennung beleidigender Sprache und Hassrede.
• Ironieerkennung in Online-Diskussionen und Nachrichtenkommentaren.
• Social-Media-Sentiment-Analyse zur Einschätzung der öffentlichen Meinung zu verschiedenen Themen.
• Kundenfeedback-Analyse für E-Commerce-Plattformen mit Schwerpunkt auf Emotionen.

Einschränkungen

Die Leistung von ChatGPT 4.5 bei der Sentiment-Analyse wird durch seine relativ niedrigere Genauigkeit bei der Sentiment-Klassifizierung und Hasserkennung beeinträchtigt.

ChatGPT 5.o

ChatGPT 5.o repräsentiert die neueste Generation von OpenAI‘s Modellen mit Verbesserungen im kontextuellen Schlussfolgern, der Nuancenerkennung und der Inhaltsmoderation. Obwohl seine durchschnittliche Genauigkeit der von Claude 4.5 (75 %) entspricht, zeichnet sich das Modell durch seine außergewöhnliche Leistung bei der Beleidigungserkennung (82 %) und der Ironieerkennung (93 %) aus.

Anwendungen in der Sentiment-Analyse

ChatGPT 5.o ist besonders effektiv für:

• Beleidigungserkennung in Online-Foren und Social-Media-Plattformen, wo seine Genauigkeit alle anderen Tools übertrifft.
• Ironie- und Sarkasmusanalyse, die Forscher und Unternehmen bei der Verständnis komplexer nutzergenerierter Inhalte unterstützt.
• Emotionserkennung in Kundenfeedback, Überwachung der psychischen Gesundheit und Social-Media-Sentiment-Tracking.
• Allgemeine Sentiment-Klassifizierung in groß angelegten Umfragedaten, wo eine ausgewogene Leistung über alle Kategorien hinweg bevorzugt wird.

Einschränkungen

Trotz seiner Stärken verringern die schwächeren Ergebnisse von ChatGPT 5.o bei der Hasserkennung (54 %) seine Eignung für hochriskante Moderation, die toxische oder diskriminierende Sprache betrifft.

Claude 3.7

Claude 3.7 baut auf den Stärken seines Vorgängers, Claude 3.5, auf und bietet Verbesserungen im Kontextverständnis und der Sentiment-Genauigkeit. Mit einem starken Fokus auf sichere und ethische KI-Praktiken glänzt Claude 3.7 bei der Erkennung komplexer Sentiments, einschließlich Emotionen, Ironie und Hassrede, was es zu einer idealen Wahl für Anwendungen macht, die ein hohes Maß an Sensibilität und Kontext erfordern.

Anwendungen in der Sentiment-Analyse

Claude Sonnet 3.7 ist hochwirksam für Aufgaben wie:

• Emotionserkennung in Kundenfeedback und Anwendungen im Bereich der psychischen Gesundheit.
• Hass- und Beleidigungserkennung für die Online-Inhaltsmoderation, um sichere Räume auf digitalen Plattformen zu gewährleisten.
• Sentiment-Klassifizierung in Marktforschung und Business Intelligence.

Einschränkungen

Obwohl Claude 3.7 alle Modelle in Schlüssel-Sentiment-Bereichen übertrifft, kann seine Leistung in hoch domänenspezifischen Szenarien immer noch vor Herausforderungen stehen, insbesondere bei subtilen Formen von Sentiment. Darüber hinaus kann seine Genauigkeit bei der Erkennung von Sentiment in Bezug auf nuanciertere oder kleinere kontextuelle Hinweise weiterer Verfeinerung bedürfen.

Claude 3.5

Claude 3.5, erstellt von Anthropic, ist ein NLP-Modell, das mit einem Fokus auf Sicherheit, ethisches Verhalten und präzise Textgenerierung entwickelt wurde. Es eignet sich besonders für Aufgaben, die Sensibilität für Kontext und nuancierte Sentiment-Analyse-Techniken erfordern.

Anwendungen in der Sentiment-Analyse

Claude 3.5 für Arbeiten an Szenarien wie:

• Hasserkennung zur Überwachung von Social Media und Online-Plattformen.
• Beleidigungserkennung in Inhaltsmoderationssystemen.
• Kundenservice-Interaktionen mit Schwerpunkt auf Sentiment-Klassifizierung zur Verbesserung der Benutzererfahrung.
• Aspektbasierte Sentiment-Analyse zur Identifizierung von Sentiment-Trends in Business Intelligence.

Einschränkungen

Obwohl Claude 3.5 bei ethischem und kontextuellem Verständnis glänzt, schneidet es manchmal bei der Erkennung hoch subtiler oder impliziter Sentiments im Vergleich zu seinen Konkurrenten schlechter ab. Darüber hinaus ist sein Trainingsdatensatz weniger vielfältig als der von ChatGPT 4.o, was zu einer verringerten Robustheit über einige Benchmark-Datensätze hinweg führen kann.

Claude 4.5

Claude 4.5 baut auf Anthropic‘s Claude-Serie mit Verbesserungen in der kontextuellen Sensibilität und Interpretierbarkeit auf. Mit einem Durchschnitt von 75 % über Sentiment-Analyse-Aufgaben hinweg erreichte Claude 4.5 die höchste Genauigkeit bei der Emotionserkennung (82 %), eine starke Leistung bei Ironie (95 %) und Beleidigungserkennung (81 %), fiel jedoch bei der Hasserkennung (50 %) zurück, dem niedrigsten Wert aller getesteten Modelle.

Anwendungen in der Sentiment-Analyse

Claude 4.5 eignet sich gut für:

• Emotionserkennung in Anwendungen, bei denen subtile Hinweise kritisch sind, wie z. B. Feedback im Gesundheitswesen oder Wellness-Apps.
• Ironie- und Sarkasmusidentifizierung im Social-Media-Monitoring und Opinion Mining, wo nuancierte Interpretationen unerlässlich sind.
• Beleidigungserkennung in der Inhaltsmoderation, um wettbewerbsfähige Ergebnisse für den Aufbau sicherer Online-Räume zu liefern.
• Sentiment-Klassifizierung in Marktforschung und Markenanalyse, profitierend von seiner ausgewogenen, aber etwas stärkeren Polaritätserkennung (69 %).

Einschränkungen

Claude 4.5‘s niedrige Genauigkeit bei der Hasserkennung (50 %) schränkt seine Nützlichkeit in Szenarien, die schädliche oder toxische Sprache beinhalten, erheblich ein. Darüber hinaus ist seine Leistung, obwohl es in bestimmten Kategorien glänzt, über die Aufgaben hinweg ungleichmäßig, was es weniger zuverlässig für Projekte macht, die eine einheitliche Genauigkeit über alle Sentiment-Dimensionen hinweg erfordern.

DeepSeek V3

DeepSeek V3 liefert solide Ergebnisse bei einer breiten Palette von Sentiment-Analyse-Aufgaben, aber seine Gesamtgenauigkeit bleibt hinter anderen Modellen zurück, insbesondere bei der Hasserkennung.

Anwendungen in der Sentiment-Analyse

DeepSeek V3 wird häufig verwendet für:

• Emotionserkennung in Apps im Bereich der psychischen Gesundheit und beim Tracking von Kunden-Sentiments.
• Ironieerkennung in lockeren Gesprächen, einschließlich Social-Media-Plattformen und nutzergenerierten Inhalten.
• Grundlegende Sentiment-Klassifizierung für Marktforschungsumfragen und Feedback-Formulare.
• Inhaltsmoderation zum Filtern beleidigender Sprache in Online-Foren.

Einschränkungen

DeepSeek V3‘s geringere Leistung bei der Erkennung von hasserfüllten Inhalten und seine relativ schwächeren allgemeinen Sentiment-Klassifizierungsfähigkeiten machen es weniger geeignet für hochriskante Anwendungen wie Inhaltsmoderation auf sensiblen Plattformen.

Grok 4

Grok ist ein konversationelles KI-Modell, das mit einem Fokus auf Humor, soziale Interaktion und dynamisches Engagement entwickelt wurde. Bei Sentiment-Analyse-Benchmarks erreichte Grok eine durchschnittliche Genauigkeit von 71 %, wobei es unter allen getesteten Modellen den niedrigsten Rang belegte.

Anwendungen in der Sentiment-Analyse

Grok kann angewendet werden auf:

• Emotionserkennung in interaktiven Anwendungen, bei denen die Identifizierung von Ton und Stimmung das Benutzerengagement verbessert.
• Moderationstools, insbesondere zur Erkennung von hasserfüllten Inhalten auf einem mäßigen Genauigkeitsniveau (65 %).
• Leichte Ironieerkennung in Online-Diskursen, jedoch mit Einschränkungen im Vergleich zu fortschrittlicheren Modellen.
• Explorative Sentiment-Analyse in kreativen oder informellen Umgebungen, bei denen der konversationelle Fluss gegenüber hoher Präzision priorisiert wird.

Einschränkungen

Grok‘s Schwäche bei der Sentiment-Klassifizierung (60 %) und die niedrigere Ironieerkennungsgenauigkeit (83 %) schränken seine Verwendung in hochpräziser Forschung oder kommerzieller Analytik ein. Sein Design-Schwerpunkt auf konversationeller Reaktionsfähigkeit gegenüber Benchmark-Genauigkeit macht es weniger geeignet für Aufgaben, die eine konsistente Zuverlässigkeit bei der Sentiment-Kategorisierung erfordern.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Weiterführende Literatur

• Sentiment-Analyse
• ChatGPT Sentiment-Analyse
• Sentiment-Analyse-Dienste
• Fake-Review-Erkennung

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{phd2026,
  author = {PhD., Ezgi Arslan,},
  title  = {{Sentiment-Analyse-Benchmark-Tests: ChatGPT, Claude & DeepSeek}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/sentiment-analysis-benchmark}},
  note   = {AIMultiple. Abgerufen am 15. Juni 2026}
}

Referenzlinks

1.

Cardiff NLP · GitHub

2.

SemEval-2018 Task 1: Affect in Tweets - ACL Anthology

3.

SemEval-2019 Task 5: Multilingual Detection of Hate Speech Against Immigrants and Women in Twitter - ACL Anthology

4.

SemEval-2018 Task 3: Irony Detection in English Tweets - ACL Anthology

5.

SemEval-2019 Task 6: Identifying and Categorizing Offensive Language in Social Media (OffensEval) - ACL Anthology

6.

SemEval-2017 Task 4: Sentiment Analysis in Twitter - ACL Anthology

Ezgi Arslan, PhD.

Branchenanalyst

Folgen auf

Ezgi besitzt einen Doktortitel in Betriebswirtschaftslehre mit Schwerpunkt Finanzen und arbeitet als Branchenanalystin bei AIMultiple. Sie treibt Forschung und Erkenntnisse an der Schnittstelle von Technologie und Wirtschaft voran und verfügt über Expertise in den Bereichen Nachhaltigkeit, Umfrage- und Stimmungsanalyse, KI-Agentenanwendungen im Finanzwesen, Optimierung von Antwortsystemen, Firewall-Management und Beschaffungstechnologien.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten