Berk Kalelioğlu
Interesses de pesquisa
Berk concentra-se em aprendizado de máquina, ferramentas de IA agêntica e grandes e pequenos language models (LLMs e SLMs).Ele faz parte da equipe de benchmark da AIMultiple, realizando avaliações e fornecendo percepções para ajudar os leitores a entender tecnologias emergentes e suas aplicações no mundo real.
Experiência profissional
Ele começou sua carreira como Líder de Projeto Técnico na ODTU IVME-R, onde liderou um projeto para construir geradores físicos quânticos e de números pseudoaleatórios.Após sua passagem pela IVME-R, ele cofundou uma empresa de desenvolvimento de jogos e lançou um jogo na Steam.
Mais tarde, mudou sua carreira para a área de IA e ingressou na AIMultiple como Pesquisador.
Educação
Berk é bacharel em Matemática pela Ankara University.Últimos artigos de Berk
AIM-Decision: Jev versus Clef versus LLMs
Models de decisão, também chamados de System One models, pontuam um conjunto fixo de opções em vez de gerar texto token por token. Testamos 59 models de decisão em 1.655 perguntas de classificação, como classificar uma falha de segurança ou um recall de produto, e executamos 46 deles em 50 tarefas de navegador. Veja AIM…
Agentes Sempre Ativos: Claude Duet vs Dots vs Grok Bot
Agentes sempre ativos continuam trabalhando depois que você fecha o aplicativo. Cada um roda em um computador que mantém seus arquivos e memória, inicia tarefas em um cronograma ou quando algo acontece, e envia mensagens quando precisa de uma decisão. Comparamos seis deles: OpenAI Dots, Grok Bot, Meta Muse, Claude Duet, Hermes Agent e OpenClaw.…
MCP Gateway Benchmark: Latência e Segurança de 6 Gateways
Um MCP gateway fica entre um agente de IA e as ferramentas que ele chama, e os fornecedores o posicionam como a camada de segurança para esse tráfego. Avaliamos seis MCP gateways em relação a um backend instrumentado em uma única máquina, medindo latência adicionada, autorização por ferramenta, proteção de conteúdo e completude de auditoria.…
Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados
Avaliamos 13 modelos de aprendizado tabular em 19 conjuntos de dados reais, com cerca de 272.000 amostras, variando de 435 a 48.800 linhas. Cada modelo foi executado com validação cruzada de 5 partições em divisões idênticas. Os resultados também alimentam o AIM Tabular Index, que os combina com os rankings públicos TabArena e BeyondArena. Cada…
AIM Benchmark Web Agêntico
Agentes dependem de interfaces web para concluir tarefas web. Para comparar a conclusão de tarefas entre interfaces web, criamos o AIM Benchmark Web Agêntico e executamos 100 tarefas em 8 interfaces, 5 vezes cada, totalizando 4.000 resultados pontuados. Bright Data CLI e Bright Data MCP concluíram 3.6 e 3.8 tarefas a mais por 100 do…
Benchmark AIM de Marketing Agêntico
Estamos a apresentar o Benchmark AIM de Marketing Agêntico, que mede o desempenho dos agentes em três fluxos de trabalho de marketing: análise de lacunas competitivas, preparação de listas de alvos ABM e um deck de vendas personalizado. Também realizámos uma auditoria de reputação do site separada, na qual os agentes examinaram o conteúdo em…
A-CODE-CLI Bench: Benchmark de CLI agêntica
As ferramentas CLI agênticas são ferramentas de codificação de IA que podem criar e excluir arquivos, executar comandos, planejar e executar a codificação de todo o projeto. Avaliamos as principais ferramentas em 10 cenários reais de desenvolvimento web, realizando ~600 verificações atômicas de validação por agente e mais de ~5.000 execuções de teste automatizadas no…
TI Agêntica: Podem os Agentes de IA Conceber um Benchmark
Testámos 16 models na conceção de um benchmark em text-to-SQL e chamada de ferramentas. Cada model criou um benchmark por tópico, num total de 32 submissões. Nenhuma submissão passou em todos os critérios da rubrica. Os agentes conseguiram criar e executar testes, mas nenhum demonstrou simultaneamente um teste de resposta em branco e um teste…
AIM Enterprise: Benchmark Empresarial Agêntico
As empresas usam LLMs todos os dias para suas tarefas regulares. Para encontrar os LLMs com melhor custo-benefício, projetamos o AIM Enterprise, um benchmark empresarial agêntico, no qual usamos 69 tarefas empresariais reais em estratégia, marketing, RH, vendas e operações. Dois modelos juízes pontuaram cada arquivo que passou nas verificações. Em 32,7% das pontuações individuais,…
Pesquisa aprofundada de IA: Codex vs Claude vs Grok vs Exa
Uma ferramenta de pesquisa aprofundada responde a uma pergunta com um relatório escrito em vez de uma página de links. Executamos cinco maneiras de produzir um relatório sobre os mesmos 20 briefings de pesquisa de negócios e pontuamos cada relatório de acordo com regras definidas antes das execuções para encontrar a melhor ferramenta para pesquisa…
Boletim informativo AIMultiple
Receba um e-mail gratuito por semana com as últimas notícias de tecnologia B2B e insights de especialistas para impulsionar o seu negócio.