Şevval Alper
Forschungsinteressen
Şevval konzentriert sich auf KI-Programmierwerkzeuge, KI-Agenten und Quantentechnologien.Sie ist Teil des AIMultiple-Benchmark-Teams, führt Bewertungen durch und bietet Einblicke, um Lesern zu helfen, verschiedene aufstrebende Technologien und ihre Anwendungen zu verstehen.
Berufserfahrung
Sie trug zur Organisation und Betreuung der Teilnehmer bei drei Veranstaltungen “CERN International Masterclasses - hands-on particle physics” in der Türkei bei und arbeitete mit Dozierenden zusammen, um das Lernen zu unterstützen.Ausbildung
Şevval hat einen Bachelorabschluss in Physik von der Middle East Technical University.Neueste Artikel von Şevval
HALC-Bench: LLM-Halluzination beim Long-Context-Retrieval-Benchmark
HALC-Bench (LLM-Halluzination beim Long-Context-Retrieval-Benchmark) misst die Widerstandsfähigkeit eines großen Sprachmodells gegen das Erfinden von Belegen für eine Kennzahl, die im Zieldokument nicht existiert, und verwendet dazu 3 Heuhaufen, die am Anfang, in der Mitte und am Ende des Kontextfensters des Modells platziert sind, mit 204 Fragen. claude-fable-5 beantwortete alle 204 Fallen an jeder Heuhaufen-Position korrekt.…
KI-Coding-Benchmark: Claude Code vs Cursor
Im KI-Coding hat sich der Markt in zwei Kategorien aufgeteilt: Agentic CLI-Tools und KI-Code-Editoren, die in IDEs eingebettet sind. Jede behauptet, die Entwicklung zu automatisieren. Nur wenige Vergleiche zeigen, wie sie sich unter identischen Arbeitslasten unterscheiden. Wir haben jeden Agenten über 10 Full-Stack-Webentwicklungsaufgaben hinweg bewertet, wobei wir ~600 atomare Validierungsprüfungen pro Agent und mehr als…
Codeausführung mit MCP: Ein neuer Ansatz für die Effizienz von KI-Agenten
Anthropic hat eine Methode eingeführt, bei der KI-Agenten mit Model Context Protocol (MCP) -Servern interagieren, indem sie ausführbaren Code schreiben, anstatt direkte Aufrufe an Tools zu tätigen. Der Agent behandelt Tools wie Dateien auf einem Computer, findet, was er benötigt, und verwendet sie direkt mit Code, sodass Zwischendaten nicht durch den Speicher des Modells laufen…
VELC-Bench: Verifikation im Langkontext-Benchmark
Die Fähigkeit des Modells, eine bestimmte Metrik im Kontext zu lokalisieren, ihren Wert mit einer Behauptung zu vergleichen und sie zu bestätigen oder abzulehnen. Dies testet die feingranulare Werteübereinstimmung unter Langkontext-Bedingungen. Das Modell muss den Wert sowohl abrufen als auch einen präzisen Vergleich durchführen. Die Modelle werden in den folgenden Kontextfenstern getestet: claude-fable-5 erzielt 90,0 %…
AIM-Code Bench: Agentischer Coding-Benchmark
Die Evaluierung von LLMs ohne ihre Coding-Agent-Testgerüste spiegelt nicht vollständig wider, wie sie in der Praxis eingesetzt werden. Echte Entwicklung umfasst auch das Erweitern bestehender Arbeit, das Übernehmen von unbekanntem Code und das Hinterlassen von Implementierungen, auf denen andere aufbauen können. Wir stellen AIM-Code Bench vor, um Modelle zusammen mit ihren Coding-Agent-Testgerüste über sich weiterentwickelnde…
KI-Code-Review-Tools Benchmark
Mit dem zunehmenden Einsatz von KI-Coding-Tools sind Codebases anfälliger für Schwachstellen geworden, was den Bedarf an effektiven Code-Reviews erhöht hat. Um dem zu begegnen, stellen wir RevEval (KI Code Review Eval) vor, das die vier führenden KI-Code-Review-Tools über 309 Pull Requests aus Repositories unterschiedlicher Größe benchmarkt und ihre Leistung anhand von Beiträgen von 10 Entwicklern…
Agenten-Benchmarks
Agenten-Benchmark
Agentic IT: Können KI-Agenten einen Benchmark entwerfen
Wir haben 16 Models anhand eines Benchmark-Entwurfs in Text-zu-SQL und Tool-Calling getestet. Jedes Model erstellte einen Benchmark pro Thema, insgesamt 32 Einreichungen. Keine Einreichung erfüllte jedes Rubrik-Kriterium. Die Agenten konnten Tests erstellen und ausführen, aber keiner führte sowohl einen Leerantwort-Test als auch einen Richtigantwort-Test des eigenen Scorers vor. Text-zu-SQL wandelt eine Frage in natürlicher Sprache…
RELC-Bench: Abruf im Langkontext-Benchmark
RELC-Bench (RELC-Bench: Abruf im Langkontext-Benchmark) zielt darauf ab, die Fähigkeit eines model zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten in seinem Kontext zu finden und zu extrahieren. Es wird getestet, ob das model sich an eine bestimmte Tatsache erinnern und sie abrufen kann, die es gerade in der Eingabe gesehen hat.…
Zielgruppensimulation: Können LLMs menschliches Verhalten vorhersagen?
Im Marketing ist die Bewertung, wie genau LLMs menschliches Verhalten vorhersagen, entscheidend für die Beurteilung ihrer Wirksamkeit bei der Antizipation von Zielgruppenbedürfnissen und der Erkennung der Risiken von Fehlausrichtung, ineffektiver Kommunikation oder unbeabsichtigter Beeinflussung. Die Zielgruppensimulation mit LLMs ermöglicht die Modellierung virtueller Zielgruppen und hilft Organisationen, Reaktionen auf Inhalte oder Produkte vorherzusehen, ohne auf teure…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.