Şevval Alper
Forschungsinteressen
Şevval konzentriert sich auf KI-Programmierwerkzeuge, KI-Agenten und Quantentechnologien.Sie ist Teil des AIMultiple-Benchmark-Teams, führt Bewertungen durch und bietet Einblicke, um Lesern zu helfen, verschiedene aufstrebende Technologien und ihre Anwendungen zu verstehen.
Berufserfahrung
Sie trug zur Organisation und Betreuung der Teilnehmer bei drei Veranstaltungen “CERN International Masterclasses - hands-on particle physics” in der Türkei bei und arbeitete mit Dozierenden zusammen, um das Lernen zu unterstützen.Ausbildung
Şevval hat einen Bachelorabschluss in Physik von der Middle East Technical University.Neueste Artikel von Şevval
Vergleichen Sie GPT-5 Models: Schlussfolgern, Geschwindigkeit & Kosten
Wir untersuchen die Unterschiede zwischen OpenAIs GPT-5-Familie (z. B. GPT-5, GPT-5-mini und GPT-5-nano), indem wir die Benchmark-Leistung und die Kosten für die Durchführung der Benchmarks erfassen. Wir haben in unserer Analyse die GPT-5-Familie verwendet. Wir verwendeten sechs Benchmarks aus verschiedenen Bereichen, darunter Schlussfolgern, Programmieren, Befolgen von Anweisungen und Mathematik. Unsere Analyse ergab: Die drei Models…
AIM-Code Bench: Agentischer Coding-Benchmark
Die Evaluierung von LLMs ohne ihre Coding-Agent-Testgerüste spiegelt nicht vollständig wider, wie sie in der Praxis eingesetzt werden. Echte Entwicklung umfasst auch das Erweitern bestehender Arbeit, das Übernehmen von unbekanntem Code und das Hinterlassen von Implementierungen, auf denen andere aufbauen können. Wir stellen AIM-Code Bench vor, um Modelle zusammen mit ihren Coding-Agent-Testgerüste über sich weiterentwickelnde…
KI-Code-Review-Tools Benchmark
Mit dem zunehmenden Einsatz von KI-Coding-Tools sind Codebases anfälliger für Schwachstellen geworden, was den Bedarf an effektiven Code-Reviews erhöht hat. Um dem zu begegnen, stellen wir RevEval (KI Code Review Eval) vor, das die vier führenden KI-Code-Review-Tools über 309 Pull Requests aus Repositories unterschiedlicher Größe benchmarkt und ihre Leistung anhand von Beiträgen von 10 Entwicklern…
Agenten-Benchmarks
Agenten-Benchmark
Agentic IT: Können KI-Agenten einen Benchmark entwerfen
Wir haben 16 Models anhand eines Benchmark-Entwurfs in Text-zu-SQL und Tool-Calling getestet. Jedes Model erstellte einen Benchmark pro Thema, insgesamt 32 Einreichungen. Keine Einreichung erfüllte jedes Rubrik-Kriterium. Die Agenten konnten Tests erstellen und ausführen, aber keiner führte sowohl einen Leerantwort-Test als auch einen Richtigantwort-Test des eigenen Scorers vor. Text-zu-SQL wandelt eine Frage in natürlicher Sprache…
KI-Coding-Benchmark: Claude Code vs Cursor
Im KI-Coding hat sich der Markt in zwei Kategorien aufgesplittert: Agentic CLI-Tools und in IDEs eingebettete KI-Code-Editoren. Jede behauptet, die Entwicklung zu automatisieren. Nur wenige Vergleiche zeigen, wie sie sich unter identischen Arbeitslasten unterscheiden. Wir haben jeden Agenten über 10 Full-Stack-Webentwicklungsaufgaben hinweg getestet, dabei ~600 atomare Validierungsprüfungen pro Agent und mehr als 9.600 automatische Testausführungen…
VELC-Bench: Verifikation im Langkontext-Benchmark
Die Fähigkeit des Modells, eine bestimmte Metrik im Kontext zu lokalisieren, ihren Wert mit einer Behauptung zu vergleichen und sie zu bestätigen oder abzulehnen. Dies testet die feingranulare Werteübereinstimmung unter Langkontext-Bedingungen. Das Modell muss den Wert sowohl abrufen als auch einen präzisen Vergleich durchführen. Die Modelle werden in den folgenden Kontextfenstern getestet: claude-fable-5 erzielt 90,0 %…
RELC-Bench: Abruf im Langkontext-Benchmark
RELC-Bench (RELC-Bench: Abruf im Langkontext-Benchmark) zielt darauf ab, die Fähigkeit eines model zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten in seinem Kontext zu finden und zu extrahieren. Es wird getestet, ob das model sich an eine bestimmte Tatsache erinnern und sie abrufen kann, die es gerade in der Eingabe gesehen hat.…
Zielgruppensimulation: Können LLMs menschliches Verhalten vorhersagen?
Im Marketing ist die Bewertung, wie genau LLMs menschliches Verhalten vorhersagen, entscheidend für die Beurteilung ihrer Wirksamkeit bei der Antizipation von Zielgruppenbedürfnissen und der Erkennung der Risiken von Fehlausrichtung, ineffektiver Kommunikation oder unbeabsichtigter Beeinflussung. Die Zielgruppensimulation mit LLMs ermöglicht die Modellierung virtueller Zielgruppen und hilft Organisationen, Reaktionen auf Inhalte oder Produkte vorherzusehen, ohne auf teure…
HALC-Bench: LLM-Halluzination beim Long-Context-Retrieval-Benchmark
HALC-Bench (LLM-Halluzination beim Long-Context-Retrieval-Benchmark) misst die Widerstandsfähigkeit eines großen Sprachmodells gegen das Erfinden von Belegen für eine Kennzahl, die im Zieldokument nicht existiert, und verwendet dazu 3 Heuhaufen, die am Anfang, in der Mitte und am Ende des Kontextfensters des Modells platziert sind, mit 204 Fragen. claude-fable-5 beantwortete alle 204 Fallen an jeder Heuhaufen-Position korrekt.…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.