KI-Modelle
KI-Modelle machen Vorhersagen auf Basis ihrer Trainingsdaten. Sie können in jedem Bereich eingesetzt werden, beispielsweise in Zahlen, Texten oder Multimedia-Inhalten.
AIM-Decision: Jev gegen Clef gegen LLMs
System OneBenchmark4. NovEntscheidungsmodelle, auch System-One-Modelle genannt, bewerten eine feste Optionsmenge, statt Text Token für Token zu generieren. Wir testeten 59 Entscheidungsmodelle anhand von 1.655 Klassifikationsfragen, etwa der Bewertung einer Sicherheitslücke oder eines Produktrückrufs, und ließen 46 davon auf 50 Browser-Aufgaben laufen. Siehe AIM System One Index für kombinierte Ergebnisse. Ein Versuch pro Aufgabe; die LLMs liefen mit…
- LLMFunktionsvergleich3. Nov
Vergleichen Sie 9 große Sprachmodelle im Gesundheitswesen
Wir haben 9 LLMs mithilfe des MedQA-Datasets verglichen, einem Benchmark für klinische Prüfungen auf Graduierten-Niveau, der aus USMLE-Fragen abgeleitet ist. Jedes Model beantwortete dieselben klinischen Multiple-Choice-Szenarien mit einem standardisierten Prompt und ermöglichte so einen direkten Vergleich der Genauigkeit. Wir haben außerdem die Latenz pro Frage erfasst, indem wir die Gesamtlaufzeit durch die Anzahl der abgeschlossenen…
- LLMBenchmark3. Nov
Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon
Der Testsatz ist die schwere Teilmenge des FinanceReasoning-Benchmarks (Tang et al.) mit 238 Fragen. Die Genauigkeit ist der Prozentsatz der korrekt beantworteten Fragen. Numerische Antworten erhalten eine relative Toleranz von 0,2 %. Output-Tokens sind die Tokens, die über die 238 Antworten hinweg generiert wurden. Input-Tokens werden in der Kostenberechnung separat gezählt. Die Kosten sind die berechneten…
- LLMBenchmark3. Nov
AIM-Text-to-SQL-Benchmark: SQL-Genauigkeit bei über 70 LLMs
SQL-Genauigkeit ist der Prozentsatz der bewerteten Abfragen, die das Referenzergebnis zurückgeben. Falsche Routen und als fehlerhaft markierte Referenzen werden ausgeschlossen. Eine Referenzabfrage ist die SQL, die als erwartete Antwort angegeben wird. Jedes Modell erreicht einen anderen Satz von SQL-Fragen, da die Bewertung von seinen Datenbankentscheidungen abhängt. Unterschiede in diesen Teilmengen und im Ausführungssetup schränken die…
- LLMEinblick2. Nov
LLM-Parameter: Typen, Skalierung, Fine-Tuning-Leitfaden
Die Parameteranzahl ist eine der am häufigsten zitierten Spezifikationen eines großen Sprachmodells, aber sie bestimmt nicht, wie gut ein Modell funktioniert oder wie viel es kostet, es zu betreiben. Das folgende Diagramm vergleicht 31 Modelle anhand ihres LLM-Index-Scores und ihrer durchschnittlichen Kosten pro Aufgabe über sieben Benchmarks. Vier Modelle bilden die Pareto-Linie, bei der kein…
- KI-Modelle29. Okt
Zeitreihenklassifikations-Benchmark: Foundation-Modelle vs. klassische Methoden
Wir haben 13 Methoden zur Zeitreihenklassifikation verglichen – von vortrainierten Zeitreihen-Foundation-Modellen bis zu einer 22-Feature-Baseline aus dem Jahr 2019 – auf 33 UCR/UEA-Datensätzen unter einem eingefrorenen Protokoll. Das sind 14.638 erfasste Methode-Datensatz-Resample-Zellen, 11.874 davon bewertet. Das Diagramm vergleicht 12 Methoden auf den 15 univariaten Datensätzen, die alle von ihnen vollständig bearbeitet wurden, wobei jeder Datensatz…
- LLMEinblick28. Okt
Die Zukunft der Large Language Models
Sehen Sie die Zukunft der Large Language Models, indem Sie Ansätze wie Selbsttraining, Faktenprüfung und spärliche Expertise vergleichen, die LLM-Einschränkungen beheben könnten. LLMs greifen während Gesprächen auf externe Quellen zu, anstatt sich auf Trainingsdaten zu verlassen. Das Model fragt externe Datenbanken ab, ruft aktuelle Informationen ab und liefert Quellenangaben. Einschränkung: Macht weiterhin Fehler. Quellenangaben garantieren…
- LLMBenchmark27. Okt
KI-Gateways für OpenAI: OpenRouter-Alternativen
Wir haben OpenRouter, SambaNova, TogetherAI, Groq und KI/ML API anhand von drei Indikatoren (First-Token-Latenz, Gesamtlatenz und Output-Token-Anzahl) mit 300 Tests mit kurzen Prompts (ca. 18 Tokens) und langen Prompts (ca. 203 Tokens) für die Gesamtlatenz verglichen. Wenn Sie planen, eines dieser KI-Gateways zu nutzen, können Sie: In diesem Benchmark haben wir OpenRouter, SambaNova, TogetherAI, Groq…