Berk Kalelioğlu
Intérêts de recherche
Berk se concentre sur l’apprentissage automatique, les outils d’IA agentique et les grands et petits modèles de langage (LLM et SLM).Il fait partie de l’équipe benchmark d’AIMultiple, réalisant des évaluations et fournissant des analyses pour aider les lecteurs à comprendre les technologies émergentes et leurs applications concrètes.
Expérience professionnelle
Il a commencé sa carrière en tant que chef de projet technique chez ODTU IVME-R, où il a dirigé un projet visant à construire des générateurs quantiques physiques et des générateurs de nombres pseudo-aléatoires.Après son passage chez IVME-R, il a cofondé une société de développement de jeux vidéo et a sorti un jeu sur Steam.
Il a ensuite réorienté sa carrière vers l’IA et a rejoint AIMultiple en tant que chercheur.
Formation
Berk est titulaire d’une licence de mathématiques d’Ankara University.Derniers articles de Berk
AIM-Decision: Jev vs Clef vs LLMs
Les modèles de décision, aussi appelés modèles System One, évaluent un ensemble fixe d’options au lieu de générer du texte token par token. Nous avons testé 59 modèles de décision sur 1 655 questions de classification, comme l’évaluation de la gravité d’une faille de sécurité ou d’un rappel de produit, et avons exécuté 46 d’entre eux…
Benchmark de classification de séries temporelles: Foundation Models contre méthodes classiques
Nous avons benchmarké 13 méthodes de classification de séries temporelles, des foundation models de séries temporelles préentraînés à une baseline de 22 caractéristiques de 2019, sur 33 datasets UCR/UEA sous un protocole figé unique. Cela représente 14 638 cellules méthode-dataset-resample enregistrées, dont 11 874 notées. Le graphique compare 12 méthodes sur les 15 datasets univariés que chacune…
Agents toujours actifs: Claude Duet vs Dots vs Grok Bot
Les agents toujours actifs continuent de travailler après la fermeture de l'application. Chacun fonctionne sur un ordinateur qui conserve ses fichiers et sa mémoire, démarre des tâches selon un planning ou lorsqu'un événement se produit, et vous envoie un message lorsqu'il a besoin d'une décision. Nous en avons comparé six : OpenAI Dots, Grok Bot,…
MCP Benchmark de passerelles: latence et sécurité de 6 passerelles
Une passerelle MCP se situe entre un agent IA et les outils qu'il appelle, et les fournisseurs la positionnent comme la couche de sécurité pour ce trafic. Nous avons comparé six passerelles MCP à un backend instrumenté unique sur une seule machine, en mesurant la latence ajoutée, l'autorisation par outil, la protection du contenu et…
Benchmark des modèles tabulaires: performance sur 19 jeux de données
Nous avons évalué 13 modèles d'apprentissage tabulaire sur 19 jeux de données réels totalisant environ 272 000 échantillons, allant de 435 à 48 800 lignes. Chaque modèle a été exécuté avec une validation croisée à 5 plis sur des répartitions identiques. Les résultats alimentent également l'AIM Tabular Index, qui les combine avec les classements publics TabArena et…
Benchmark Web agentique AIM
Les agents s'appuient sur des interfaces web pour accomplir des tâches web. Pour comparer l'accomplissement des tâches entre les interfaces web, nous avons construit le benchmark Web agentique AIM et exécuté 100 tâches à travers 8 interfaces, 5 fois chacune, pour 4 000 résultats notés. Bright Data CLI et Bright Data MCP ont accompli 3.6 et…
Benchmark Agentic Marketing AIM
Nous présentons le Benchmark Agentic Marketing AIM, qui mesure les performances des agents sur trois workflows marketing : analyse des lacunes concurrentielles, préparation de listes de cibles ABM et un deck de vente personnalisé. Nous avons également mené un audit séparé de la réputation du site web dans lequel les agents ont examiné le contenu…
A-CODE-CLI Bench: benchmark des CLI agentiques
Les outils CLI agentiques sont des outils de codage IA qui peuvent créer et supprimer des fichiers, exécuter des commandes, planifier et réaliser le codage de l'ensemble du projet. Nous avons évalué les principaux outils sur 10 scénarios réels de développement web, en effectuant environ 600 contrôles de validation atomiques par agent et plus de…
IT agentique: les agents IA peuvent-ils concevoir un benchmark ?
Nous avons testé 16 modèles sur une conception de benchmark en text-to-SQL et en appel d'outils. Chaque modèle a construit un benchmark par sujet, pour un total de 32 soumissions. Aucune soumission n'a réussi tous les critères de la grille d'évaluation. Les agents ont pu construire et exécuter des tests, mais aucun n'a démontré à…
AIM Enterprise: Benchmark d'entreprise agentique
Les entreprises utilisent des LLM tous les jours pour leurs tâches courantes. Pour trouver les LLM les plus rentables, nous avons conçu AIM Enterprise, un benchmark d'entreprise agentique, dans lequel nous avons utilisé 69 tâches d'entreprise réelles couvrant la stratégie, le marketing, les RH, la vente et les opérations. Deux models juges ont noté chaque…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.