Berk Kalelioğlu
Forschungsinteressen
Berk konzentriert sich auf maschinelles Lernen, agentische KI-Tools sowie große und kleine Sprachmodelle (LLMs und SLMs).Er ist Teil des AIMultiple-Benchmark-Teams, führt Bewertungen durch und liefert Erkenntnisse, um Lesern zu helfen, neue Technologien und ihre realen Anwendungen zu verstehen.
Berufserfahrung
Er begann seine Karriere als Tech-Projektleiter bei ODTU IVME-R, wo er ein Projekt zum Bau physischer Quanten- und Pseudozufallszahlengeneratoren leitete.Nach seiner Zeit bei IVME-R war er Mitgründer eines Spieleentwicklungsunternehmens und veröffentlichte ein Spiel auf Steam.
Später verlagerte er seinen beruflichen Schwerpunkt auf KI und kam als Forscher zu AIMultiple.
Ausbildung
Berk hat einen Bachelor-Abschluss in Mathematik von der Ankara University.Neueste Artikel von Berk
Zeitreihenklassifikations-Benchmark: Foundation-Modelle vs. klassische Methoden
Wir haben 13 Methoden zur Zeitreihenklassifikation verglichen – von vortrainierten Zeitreihen-Foundation-Modellen bis zu einer 22-Feature-Baseline aus dem Jahr 2019 – auf 33 UCR/UEA-Datensätzen unter einem eingefrorenen Protokoll. Das sind 14.638 erfasste Methode-Datensatz-Resample-Zellen, 11.874 davon bewertet. Das Diagramm vergleicht 12 Methoden auf den 15 univariaten Datensätzen, die alle von ihnen vollständig bearbeitet wurden, wobei jeder Datensatz…
AIM-Decision: Jev gegen Clef gegen LLMs
Entscheidungsmodelle, auch System-One-Modelle genannt, bewerten eine feste Optionsmenge, statt Text Token für Token zu generieren. Wir testeten 59 Entscheidungsmodelle anhand von 1.655 Klassifikationsfragen, etwa der Bewertung einer Sicherheitslücke oder eines Produktrückrufs, und ließen 46 davon auf 50 Browser-Aufgaben laufen. Siehe AIM System One Index für kombinierte Ergebnisse. Ein Versuch pro Aufgabe; die LLMs liefen mit…
Always-On-Agenten: Claude Duet vs. Dots vs. Grok Bot
Always-on-Agenten arbeiten weiter, nachdem Sie die App geschlossen haben. Jeder läuft auf einem Computer, der seine Dateien und seinen Speicher behält, startet Aufgaben nach einem Zeitplan oder wenn etwas passiert, und meldet sich bei Ihnen, wenn es eine Entscheidung benötigt. Wir haben sechs davon verglichen: OpenAI Dots, Grok Bot, Meta Muse, Claude Duet, Hermes Agent…
MCP Gateway-Benchmark: Latenz & Sicherheit von 6 Gateways
Ein MCP-Gateway sitzt zwischen einem KI-Agenten und den Tools, die er aufruft, und Anbieter positionieren es als Sicherheitsschicht für diesen Datenverkehr. Wir haben sechs MCP-Gateways gegen ein instrumentiertes Backend auf einer einzigen Maschine getestet und dabei zusätzliche Latenz, toolbezogene Autorisierung, Inhaltsschutz und Audit-Vollständigkeit gemessen. Ein Produkt erscheint nur dann gegenüber einer Kontrolle, wenn es eine…
Benchmark tabellarischer Modelle: Leistung über 19 Datensätze
Wir haben 13 tabellarische Lernmodelle auf 19 realen Datensätzen mit rund 272.000 Stichproben benchmarkt, von 435 bis 48.800 Zeilen. Jedes Modell lief mit 5-facher Kreuzvalidierung auf identischen Aufteilungen. Die Ergebnisse fließen außerdem in den AIM Tabular Index ein, der sie mit den öffentlichen Bestenlisten TabArena und BeyondArena kombiniert. Jeder Datensatz ist ein Round-Robin aus direkten…
AIM Agentic Web-Benchmark
Agenten sind auf Web-Schnittstellen angewiesen, um Web-Aufgaben zu erledigen. Um die Aufgabenerledigung über verschiedene Web-Schnittstellen hinweg zu vergleichen, haben wir den AIM Agentic Web-Benchmark aufgebaut und ließen 100 Aufgaben über 8 Schnittstellen laufen, jeweils 5 Mal, für 4.000 bewertete Ergebnisse. Bright Data CLI und Bright Data MCP erledigten 3.6 und 3.8 mehr Aufgaben pro 100…
AIM Agentic-Marketing-Benchmark
Wir stellen den AIM Agentic-Marketing-Benchmark vor, der die Leistung von Agenten in drei Marketing-Workflows misst: Wettbewerbslückenanalyse, Erstellung einer ABM-Zielliste und ein personalisiertes Vertriebsdeck. Wir haben außerdem ein separates Website-Reputationsaudit durchgeführt, bei dem Agenten die englischsprachigen Inhalte von AIMultiple untersuchten und überprüfbare Probleme in Bezug auf sachliche Genauigkeit, Zitate, Konsistenz, Aktualität, Funktionalität, Grammatik und Formatierung meldeten,…
A-CODE-CLI Bench: Agentic-CLI-Benchmark
Agentic-CLI-Tools sind KI-Coding-Tools, die Dateien erstellen und löschen, Befehle ausführen, planen und die Codierung des gesamten Projekts ausführen können. Wir haben die führenden Tools in 10 realen Webentwicklungsszenarien bewertet und dabei ~600 atomare Validierungsprüfungen pro Agent sowie mehr als ~5.000 automatisierte Testausführungen insgesamt durchgeführt, einschließlich Backend-Logik, Frontend-Funktionalität und Konsistenzüberprüfung über mehrere Läufe hinweg. Die Backend-Korrektheit…
Agentic IT: Können KI-Agenten einen Benchmark entwerfen
Wir haben 16 Models anhand eines Benchmark-Entwurfs in Text-zu-SQL und Tool-Calling getestet. Jedes Model erstellte einen Benchmark pro Thema, insgesamt 32 Einreichungen. Keine Einreichung erfüllte jedes Rubrik-Kriterium. Die Agenten konnten Tests erstellen und ausführen, aber keiner führte sowohl einen Leerantwort-Test als auch einen Richtigantwort-Test des eigenen Scorers vor. Text-zu-SQL wandelt eine Frage in natürlicher Sprache…
AIM Enterprise: Agentischer Unternehmens-Benchmark
Unternehmen nutzen LLMs jeden Tag für ihre regulären Aufgaben. Um die kosteneffizientesten LLMs zu finden, haben wir AIM Enterprise entwickelt, einen agentischen Unternehmens-Benchmark, bei dem wir 69 reale Unternehmensaufgaben aus Strategie, Marketing, HR, Vertrieb und Betrieb verwendet haben. Zwei Bewerter-Models bewerteten jede Datei, die Prüfungen bestand. Bei 32,7 % der Einzelbewertungen wichen die beiden um…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.