Berk Kalelioğlu
Forschungsinteressen
Berk konzentriert sich auf maschinelles Lernen, agentische KI-Tools sowie große und kleine Sprachmodelle (LLMs und SLMs).Er ist Teil des AIMultiple-Benchmark-Teams, führt Bewertungen durch und liefert Erkenntnisse, um Lesern zu helfen, neue Technologien und ihre realen Anwendungen zu verstehen.
Berufserfahrung
Er begann seine Karriere als Tech-Projektleiter bei ODTU IVME-R, wo er ein Projekt zum Bau physischer Quanten- und Pseudozufallszahlengeneratoren leitete.Nach seiner Zeit bei IVME-R war er Mitgründer eines Spieleentwicklungsunternehmens und veröffentlichte ein Spiel auf Steam.
Später verlagerte er seinen beruflichen Schwerpunkt auf KI und kam als Forscher zu AIMultiple.
Ausbildung
Berk hat einen Bachelor-Abschluss in Mathematik von der Ankara University.Neueste Artikel von Berk
Agentic IT: Can LLMs Design a Benchmark
We gave 12 large language models the job a benchmark team does: invent a benchmark, build it, run four models through it, and report the results. Each did it twice. None of the 24 attempts passed every criterion, and six of the rubric’s checks were passed by none of them. The two topics are text-to-SQL,…
Beste Flatrate-LLM-API-Anbieter
Flatrate-LLM-Anbieter verkaufen unbegrenzte Modellnutzung zu einem festen monatlichen Preis statt pro Token abzurechnen. Dieses Modell verbreitete sich, weil agentische Codierungssitzungen Dutzende Millionen Token verbrauchen können, sodass eine Token-basierte Rechnung schwer vorhersehbar ist. Nur sehr wenige Anbieter bieten eine echte Flatrate; die meisten als Pauschalpreis vermarkteten Pläne enthalten darunter ein Nutzungskontingent. Im Folgenden vergleichen wir die…
Benchmark für tabellarische Modelle: Leistung über 19 Datensätze
Wir haben 8 tabellarische Lernmodelle auf 19 realen Datensätzen mit rund 260.000 Stichproben verglichen, mit Datensatzgrößen von 435 bis 48.800 Zeilen. Jedes Modell lief auf derselben Maschine mit 5-facher Kreuzvalidierung und identischen Aufteilungen. Jeder Datensatz ist ein Round-Robin von direkten Vergleichen zwischen Modellen, entschieden durch die primäre Metrik. Elo fasst alle 483 Vergleiche zu einer…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.