Berk Kalelioğlu
Forschungsinteressen
Berk konzentriert sich auf maschinelles Lernen, agentische KI-Tools sowie große und kleine Sprachmodelle (LLMs und SLMs).Er ist Teil des AIMultiple-Benchmark-Teams, führt Bewertungen durch und liefert Erkenntnisse, um Lesern zu helfen, neue Technologien und ihre realen Anwendungen zu verstehen.
Berufserfahrung
Er begann seine Karriere als Tech-Projektleiter bei ODTU IVME-R, wo er ein Projekt zum Bau physischer Quanten- und Pseudozufallszahlengeneratoren leitete.Nach seiner Zeit bei IVME-R war er Mitgründer eines Spieleentwicklungsunternehmens und veröffentlichte ein Spiel auf Steam.
Später verlagerte er seinen beruflichen Schwerpunkt auf KI und kam als Forscher zu AIMultiple.
Ausbildung
Berk hat einen Bachelor-Abschluss in Mathematik von der Ankara University.Neueste Artikel von Berk
A-CODE-CLI Bench: Agentic-CLI-Benchmark
Agentic-CLI-Tools sind KI-Coding-Tools, die Dateien erstellen und löschen, Befehle ausführen, planen und die Codierung des gesamten Projekts ausführen können. Wir haben die führenden Tools in 10 realen Webentwicklungsszenarien bewertet und dabei ~600 atomare Validierungsprüfungen pro Agent sowie mehr als ~5.000 automatisierte Testausführungen insgesamt durchgeführt, einschließlich Backend-Logik, Frontend-Funktionalität und Konsistenzüberprüfung über mehrere Läufe hinweg. Die Backend-Korrektheit…
Tabular Models Benchmark: Leistung über 19 Datasets hinweg
Wir haben 13 tabellarische Learning Models auf 19 realen Datasets mit rund 272.000 Samples verglichen, bei Dataset-Größen von 435 bis 48.800 Zeilen. Jedes Model wurde mit 5-facher Kreuzvalidierung auf identischen Splits ausgeführt. Jeder Dataset ist ein Round-Robin aus Direktvergleichen zwischen Models, entschieden anhand der primären Metrik. Elo fasst alle 1.398 Matches zu einer einzigen Bewertung…
MCP-Gateway-Benchmark: Latenz & Sicherheit von 6 Gateways
Ein MCP-Gateway sitzt zwischen einem KI-Agenten und den Tools, die er aufruft, und Anbieter positionieren ihn als Sicherheitsschicht für diesen Datenverkehr. Wir haben sechs MCP-Gateways gegen ein instrumentiertes Backend auf einer einzelnen Maschine gebenchmarkt und dabei zusätzliche Latenz, Tool-bezogene Autorisierung, Inhaltsschutz und Audit-Vollständigkeit gemessen. Ein Produkt erscheint nur dann neben einer Kontrolle, wenn es eine…
AIM-Decision: Jev gegen Kev gegen LLMs
Decision-Models, auch System-One-Models genannt, bewerten eine feste Optionenliste, statt Text Token für Token zu generieren. Wir testeten 22 Decision-Models anhand von 1.655 Klassifikationsfragen, etwa der Bewertung einer Sicherheitslücke oder eines Produktrückrufs, und führten 19 davon bei 50 Browser-Aufgaben aus. Ein Versuch pro Aufgabe; die LLMs liefen mit der Einstellung für niedrigen Reasoning-Aufwand ihrer API. Siehe…
Always-on-Agenten: Dots vs. Grok Bot vs. Muse
Always-on-Agenten arbeiten weiter, nachdem Sie die App geschlossen haben. Jeder läuft auf einem Computer, der seine Dateien und seinen Speicher behält, startet Aufgaben nach einem Zeitplan oder wenn etwas passiert, und benachrichtigt Sie, wenn er eine Entscheidung benötigt. Wir haben fünf davon verglichen: OpenAI Dots, Grok Bot, Meta Muse, Hermes Agent und OpenClaw. *Nous Research…
AIM Benchmark für agentisches Web
Agenten verlassen sich auf Webschnittstellen, um Aufgaben im Web zu erledigen. Um die Aufgabenerledigung über verschiedene Webschnittstellen hinweg zu vergleichen, haben wir den AIM Benchmark für agentisches Web erstellt und 100 Aufgaben über 7 Schnittstellen jeweils 5 Mal ausgeführt, was 3.500 bewertete Ergebnisse ergab. Bright Data CLI und Bright Data MCP absolvierten 8.2 bzw. 8.4…
Agentic IT: Können KI-Agenten einen Benchmark entwerfen
Wir haben 16 Models anhand eines Benchmark-Entwurfs in Text-zu-SQL und Tool-Calling getestet. Jedes Model erstellte einen Benchmark pro Thema, insgesamt 32 Einreichungen. Keine Einreichung erfüllte jedes Rubrik-Kriterium. Die Agenten konnten Tests erstellen und ausführen, aber keiner führte sowohl einen Leerantwort-Test als auch einen Richtigantwort-Test des eigenen Scorers vor. Text-zu-SQL wandelt eine Frage in natürlicher Sprache…
AIM Enterprise: Agentischer Unternehmens-Benchmark
Unternehmen nutzen LLMs jeden Tag für ihre regulären Aufgaben. Um die kosteneffizientesten LLMs zu finden, haben wir AIM Enterprise entwickelt, einen agentischen Unternehmens-Benchmark, bei dem wir 69 reale Unternehmensaufgaben aus Strategie, Marketing, HR, Vertrieb und Betrieb verwendet haben. Zwei Bewerter-Models bewerteten jede Datei, die Prüfungen bestand. Bei 32,7 % der Einzelbewertungen wichen die beiden um…
KI-Deep-Research: Codex vs Claude vs Grok vs Exa
Ein Deep-Research-Tool beantwortet eine Frage mit einem schriftlichen Bericht statt mit einer Seite voller Links. Wir haben fünf Möglichkeiten zur Erstellung eines solchen Berichts über dieselben 20 Business-Research-Briefings getestet und jeden Bericht anhand von Regeln bewertet, die vor den Durchläufen festgelegt wurden, um das beste Tool für Deep Research zu finden. Vier der fünf sind…
Beste Flatrate-LLM-API-Anbieter
Flatrate-LLM-Anbieter verkaufen unbegrenzte Modellnutzung zu einem festen monatlichen Preis statt pro Token abzurechnen. Dieses Modell verbreitete sich, weil agentische Codierungssitzungen Dutzende Millionen Token verbrauchen können, sodass eine Token-basierte Rechnung schwer vorhersehbar ist. Nur sehr wenige Anbieter bieten eine echte Flatrate; die meisten als Pauschalpreis vermarkteten Pläne enthalten darunter ein Nutzungskontingent. Im Folgenden vergleichen wir die…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.