Berk Kalelioğlu
Interesses de pesquisa
Berk concentra-se em aprendizado de máquina, ferramentas de IA agêntica e grandes e pequenos language models (LLMs e SLMs).Ele faz parte da equipe de benchmark da AIMultiple, realizando avaliações e fornecendo percepções para ajudar os leitores a entender tecnologias emergentes e suas aplicações no mundo real.
Experiência profissional
Ele começou sua carreira como Líder de Projeto Técnico na ODTU IVME-R, onde liderou um projeto para construir geradores físicos quânticos e de números pseudoaleatórios.Após sua passagem pela IVME-R, ele cofundou uma empresa de desenvolvimento de jogos e lançou um jogo na Steam.
Mais tarde, mudou sua carreira para a área de IA e ingressou na AIMultiple como Pesquisador.
Educação
Berk é bacharel em Matemática pela Ankara University.Últimos artigos de Berk
Agentes Sempre Ativos: Claude Duet vs Dots vs Grok Bot
Agentes sempre ativos continuam trabalhando depois que você fecha o aplicativo. Cada um roda em um computador que mantém seus arquivos e memória, inicia tarefas em um cronograma ou quando algo acontece, e envia mensagens quando precisa de uma decisão. Comparamos seis deles: OpenAI Dots, Grok Bot, Meta Muse, Claude Duet, Hermes Agent e OpenClaw.…
AIM Enterprise: Benchmark Empresarial Agêntico
As empresas usam LLMs todos os dias para suas tarefas regulares. Para encontrar os LLMs com melhor custo-benefício, projetamos o AIM Enterprise, um benchmark empresarial agêntico, no qual usamos 69 tarefas empresariais reais em estratégia, marketing, RH, vendas e operações. Dois modelos juízes pontuaram cada arquivo que passou nas verificações. Em 32,7% das pontuações individuais,…
AIM Benchmark Web Agêntico
Agentes dependem de interfaces web para concluir tarefas web. Para comparar a conclusão de tarefas entre interfaces web, criamos o AIM Benchmark Web Agêntico e executamos 100 tarefas em 8 interfaces, 5 vezes cada, totalizando 4.000 resultados pontuados. Bright Data CLI e Bright Data MCP concluíram 3.6 e 3.8 tarefas a mais por 100 do…
AIM-Decision: Jev versus Clef versus LLMs
Modelos de decisão, também chamados modelos System One, pontuam um conjunto fixo de opções em vez de gerar texto token por token. Testamos 68 modelos de decisão em 2.626 perguntas de classificação, como classificar uma falha de segurança ou um recall de produto, e em 400 perguntas de viés, e classificamos 57 deles em 50…
Melhores provedores de LLM API com tarifa fixa
Provedores de LLM com tarifa fixa vendem uso ilimitado de modelos por um preço mensal fixo em vez de cobrar por token. Esse modelo se difundiu porque sessões de codificação agêntica podem usar dezenas de milhões de tokens, então uma fatura por token é difícil de prever. Pouquíssimos provedores oferecem uma taxa fixa verdadeira; a…
MCP Gateway Benchmark: Latência e Segurança de 6 Gateways
Um gateway MCP fica entre um agente de IA e as ferramentas que ele chama, e os fornecedores o posicionam como a camada de segurança para esse tráfego. Avaliamos seis gateways MCP contra um backend instrumentado em uma única máquina, medindo latência adicional, autorização por ferramenta, proteção de conteúdo e completude de auditoria. Um produto…
Benchmark VPS: Hetzner vs Digital Ocean
Nós fizemos benchmark de 6 provedores de Servidor Virtual Privado (VPS) executando ~1.200 testes automatizados por servidor em CPU, memória, E/S de disco e velocidade de rede usando sysbench, fio e speedtest-cli. Também documentamos a experiência completa de cadastro até SSH para cada provedor. Usamos planos de 4 vCPU (Compartilhado) / 8 GB de cada…
Benchmark de Classificação de Séries Temporais: Modelos de Fundação vs Métodos Clássicos
Avaliamos 13 métodos de classificação de séries temporais, desde modelos de fundação de séries temporais pré-treinados até uma linha de base de 22 características de 2019, em 33 datasets UCR/UEA sob um protocolo congelado. Isso equivale a 14.638 células registradas de método-dataset-reamostragem, 11.874 delas pontuadas. O gráfico compara 12 métodos nos 15 datasets univariados que…
Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados
Avaliamos 13 modelos de aprendizado tabular em 19 conjuntos de dados reais, com cerca de 272.000 amostras, variando de 435 a 48.800 linhas. Cada modelo foi executado com validação cruzada de 5 partições em divisões idênticas. Os resultados também alimentam o AIM Tabular Index, que os combina com os rankings públicos TabArena e BeyondArena. Cada…
Benchmark AIM de Marketing Agêntico
Estamos a apresentar o Benchmark AIM de Marketing Agêntico, que mede o desempenho dos agentes em três fluxos de trabalho de marketing: análise de lacunas competitivas, preparação de listas de alvos ABM e um deck de vendas personalizado. Também realizámos uma auditoria de reputação do site separada, na qual os agentes examinaram o conteúdo em…
Boletim informativo AIMultiple
Receba um e-mail gratuito por semana com as últimas notícias de tecnologia B2B e insights de especialistas para impulsionar o seu negócio.