Berk Kalelioğlu
Interesses de pesquisa
Berk concentra-se em aprendizado de máquina, ferramentas de IA agêntica e grandes e pequenos language models (LLMs e SLMs).Ele faz parte da equipe de benchmark da AIMultiple, realizando avaliações e fornecendo percepções para ajudar os leitores a entender tecnologias emergentes e suas aplicações no mundo real.
Experiência profissional
Ele começou sua carreira como Líder de Projeto Técnico na ODTU IVME-R, onde liderou um projeto para construir geradores físicos quânticos e de números pseudoaleatórios.Após sua passagem pela IVME-R, ele cofundou uma empresa de desenvolvimento de jogos e lançou um jogo na Steam.
Mais tarde, mudou sua carreira para a área de IA e ingressou na AIMultiple como Pesquisador.
Educação
Berk é bacharel em Matemática pela Ankara University.Últimos artigos de Berk
A-CODE-CLI Bench: Benchmark de CLI agêntica
As ferramentas CLI agênticas são ferramentas de codificação de IA que podem criar e excluir arquivos, executar comandos, planejar e executar a codificação de todo o projeto. Avaliamos as principais ferramentas em 10 cenários reais de desenvolvimento web, realizando ~600 verificações atômicas de validação por agente e mais de ~5.000 execuções de teste automatizadas no…
TI Agêntica: Podem os Agentes de IA Conceber um Benchmark
Testámos 16 models na conceção de um benchmark em text-to-SQL e chamada de ferramentas. Cada model criou um benchmark por tópico, num total de 32 submissões. Nenhuma submissão passou em todos os critérios da rubrica. Os agentes conseguiram criar e executar testes, mas nenhum demonstrou simultaneamente um teste de resposta em branco e um teste…
Pesquisa aprofundada de IA: Codex vs Claude vs Grok vs Exa
Uma ferramenta de pesquisa aprofundada responde a uma pergunta com um relatório escrito em vez de uma página de links. Executamos cinco maneiras de produzir um relatório sobre os mesmos 20 briefings de pesquisa de negócios e pontuamos cada relatório de acordo com regras definidas antes das execuções para encontrar a melhor ferramenta para pesquisa…
Benchmark de VC com IA: 16 agentes de IA na identificação de clientes
A identificação de clientes faz parte da due diligence comercial. Testamos 16 modelos em pesquisas de listas de clientes para três sites de pesquisa e avaliação, um deles o AIMultiple, pontuando suas submissões em relação às chaves de resposta que compilamos e às páginas citadas. Não definimos esforço de raciocínio para nenhum modelo. Cada um…
Alternativas ao OpenClaw: Hermes vs ZeroClaw vs Grok Bot
Agentes de IA autônomos, como o OpenClaw e o agente Hermes, automatizam tarefas de várias etapas que normalmente exigiriam entrada humana constante. Embora o OpenClaw tenha se tornado o agente autônomo sempre ativo mais amplamente adotado, muitos usuários estão buscando alternativas devido ao seu processo de implantação desafiador e aos requisitos de configuração complexos. Fornecemos…
Agentes de Uso de Computador: Benchmark & Arquitetura
Os agentes de uso de computador operam desktops e aplicativos web reais. Seus designs, limites e compensações muitas vezes não são claros. Nós detalhamos como os sistemas líderes funcionam, como aprendem e como suas arquiteturas diferem. Também referenciamos um benchmark focado de ancoragem de IU em 100 capturas de tela de desktop, em 4 tipos…
Boletim informativo AIMultiple
Receba um e-mail gratuito por semana com as últimas notícias de tecnologia B2B e insights de especialistas para impulsionar o seu negócio.