Berk Kalelioğlu
Intérêts de recherche
Berk se concentre sur l’apprentissage automatique, les outils d’IA agentique et les grands et petits modèles de langage (LLM et SLM).Il fait partie de l’équipe benchmark d’AIMultiple, réalisant des évaluations et fournissant des analyses pour aider les lecteurs à comprendre les technologies émergentes et leurs applications concrètes.
Expérience professionnelle
Il a commencé sa carrière en tant que chef de projet technique chez ODTU IVME-R, où il a dirigé un projet visant à construire des générateurs quantiques physiques et des générateurs de nombres pseudo-aléatoires.Après son passage chez IVME-R, il a cofondé une société de développement de jeux vidéo et a sorti un jeu sur Steam.
Il a ensuite réorienté sa carrière vers l’IA et a rejoint AIMultiple en tant que chercheur.
Formation
Berk est titulaire d’une licence de mathématiques d’Ankara University.Derniers articles de Berk
AIM-Decision: Jev vs Kev vs LLMs
Les modèles de décision, aussi appelés modèles System One, évaluent un ensemble fixe d’options au lieu de générer du texte token par token. Nous avons testé 22 modèles de décision sur 1 655 questions de classification, telles que l’évaluation d’une faille de sécurité ou d’un rappel de produit, et avons exécuté 19 d’entre eux sur 50…
Benchmark Web Agentique AIM
Les agents s'appuient sur des interfaces web pour accomplir des tâches sur le web. Pour comparer l'exécution des tâches entre différentes interfaces web, nous avons construit le benchmark Web Agentique AIM et exécuté 100 tâches sur 7 interfaces, 5 fois chacune, pour 3 500 résultats notés. Bright Data CLI et Bright Data MCP ont terminé 8.2…
Benchmark Agentic Marketing AIM
Nous présentons le Benchmark Agentic Marketing AIM, qui mesure les performances des agents sur trois workflows marketing : analyse des lacunes concurrentielles, préparation de listes de cibles ABM et un deck de vente personnalisé. Nous avons également mené un audit séparé de la réputation du site web dans lequel les agents ont examiné le contenu…
Benchmark des passerelles MCP: latence et sécurité de 6 passerelles
Une passerelle MCP se situe entre un agent IA et les outils qu’il appelle, et les fournisseurs la positionnent comme la couche de sécurité pour ce trafic. Nous avons évalué six passerelles MCP par rapport à un backend instrumenté unique sur une seule machine, en mesurant la latence ajoutée, l’autorisation par outil, la protection du…
A-CODE-CLI Bench: benchmark des CLI agentiques
Les outils CLI agentiques sont des outils de codage IA qui peuvent créer et supprimer des fichiers, exécuter des commandes, planifier et réaliser le codage de l'ensemble du projet. Nous avons évalué les principaux outils sur 10 scénarios réels de développement web, en effectuant environ 600 contrôles de validation atomiques par agent et plus de…
Benchmark des modèles tabulaires: performance sur 19 jeux de données
Nous avons évalué 13 modèles d’apprentissage tabulaire sur 19 jeux de données réels couvrant environ 272 000 échantillons, avec des tailles de jeux de données allant de 435 à 48 800 lignes. Chaque modèle a été exécuté avec une validation croisée à 5 plis sur des divisions identiques. Chaque jeu de données est un tournoi toutes rondes…
Agents toujours actifs: Dots vs Grok Bot vs Muse
Les agents toujours actifs continuent de fonctionner après la fermeture de l’application. Chacun s’exécute sur un ordinateur qui conserve ses fichiers et sa mémoire, démarre des tâches selon un planning ou lorsqu’un événement se produit, et vous envoie un message lorsqu’il a besoin d’une décision. Nous en avons comparé cinq : OpenAI Dots, Grok Bot,…
IT agentique: les agents IA peuvent-ils concevoir un benchmark ?
Nous avons testé 16 modèles sur une conception de benchmark en text-to-SQL et en appel d'outils. Chaque modèle a construit un benchmark par sujet, pour un total de 32 soumissions. Aucune soumission n'a réussi tous les critères de la grille d'évaluation. Les agents ont pu construire et exécuter des tests, mais aucun n'a démontré à…
AIM Enterprise: Benchmark d'entreprise agentique
Les entreprises utilisent des LLM tous les jours pour leurs tâches courantes. Pour trouver les LLM les plus rentables, nous avons conçu AIM Enterprise, un benchmark d'entreprise agentique, dans lequel nous avons utilisé 69 tâches d'entreprise réelles couvrant la stratégie, le marketing, les RH, la vente et les opérations. Deux models juges ont noté chaque…
Recherche approfondie IA: Codex vs Claude vs Grok vs Exa
Un outil de recherche approfondie répond à une question par un rapport écrit au lieu d’une page de liens. Nous avons exécuté cinq façons d’en produire un sur les mêmes 20 cahiers des charges de recherche métier et avons noté chaque rapport selon des règles rédigées avant les exécutions pour trouver le meilleur outil de…
Newsletter AIMultiple
Un e-mail gratuit par semaine contenant les dernières actualités technologiques B2B et des analyses d'experts pour accélérer la croissance de votre entreprise.