Premium
Serviços
Premium
Ekrem Sarı

Ekrem Sarı

Pesquisador de IA
37 Artigos
Mantenha-se atualizado sobre tecnologia B2B.

Ekrem é Pesquisador de IA e Cientista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Experiência Profissional

Na AIMultiple, Ekrem realiza benchmarks de sistemas de IA de ponta a ponta e constrói os fluxos de trabalho de dados e dashboards usados para acompanhar métricas de benchmark e de produto. Seus benchmarks abrangem models de embedding e reranker, bancos de dados vetoriais e de grafos, motores de inference, quantização, concorrência de GPU e escalonamento multi-GPU, preços e fornecedores de GPU na nuvem, text-to-SQL, e frameworks de RAG e RAG agêntico.

Antes da AIMultiple, ele trabalhou como Cientista de Dados na Yandex, onde consultou e analisou grandes datasets com SQL para avaliar a qualidade de busca e ranqueamento segundo diretrizes detalhadas.

Interesse de Pesquisa

O trabalho de Ekrem concentra-se em medir como os sistemas de LLM e de recuperação se comportam na prática. Ele projeta o ambiente de teste, executa as cargas de trabalho em hardware real e compara models, frameworks e infraestrutura em precisão, vazão, latência, custo e escalabilidade, em toda a stack, desde models de embedding e bancos de dados vetoriais até motores de inference e infraestrutura de GPU. Sua tese de mestrado automatiza revisões sistemáticas de literatura com uma pipeline baseada em RAG.

Educação

Ekrem possui um mestrado em Sistemas de Informação Gerenciais pela Başkent University, onde sua tese automatizou revisões sistemáticas de literatura com uma pipeline baseada em RAG, e está cursando um segundo mestrado em Engenharia de Dados e Conhecimento na Hacettepe University.

Últimos artigos de Ekrem

IA
Benchmark
6 out

Benchmark de 40+ LLMs em Finanças: Claude Fable 5 & GPT-5.6 Sol

Avaliamos LLMs em 238 perguntas difíceis do benchmark FinanceReasoning (Tang et al.). Este subconjunto tem como alvo as tarefas de raciocínio financeiro mais desafiadoras, avaliando raciocínio quantitativo complexo e de múltiplas etapas envolvendo conceitos e fórmulas financeiras. Nossa avaliação empregou um design de prompt personalizado e critérios de pontuação de precisão e consumo de tokens.…

IA
Benchmark
1 out

AIM-Text-to-SQL Benchmark: Precisão de SQL em mais de 60 LLMs

A precisão de SQL é a porcentagem de consultas pontuadas que retornam o resultado de referência. Rotas incorretas e referências sinalizadas como quebradas são excluídas. Uma consulta de referência é o SQL fornecido como resposta esperada. Cada modelo alcança um conjunto diferente de perguntas SQL porque a pontuação depende de suas escolhas de banco de…

IA
Benchmark
1 out

Benchmark de RAG agêntico: roteamento entre 11 bancos de dados SQL

A precisão de roteamento é a porcentagem de perguntas pontuadas nas quais o modelo nomeia explicitamente o banco de dados correto em sua resposta final. O resultado principal usa as 184 perguntas marcadas como difíceis tanto por nosso teste de similaridade quanto por um júri de três LLMs. Declarações explícitas ausentes não recebem crédito. O…

IA
Benchmark
1 out

Modelos de Embedding: OpenAI vs Gemini vs Voyage

Fizemos benchmark de 15 modelos de embedding de texto em inglês e de um baseline BM25 em mais de 500 consultas curadas manualmente em três domínios de recuperação: contratos jurídicos (CUAD), suporte ao cliente (IBM TechQA) e saúde (MedRAG PubMed). Voyage-3.5 fica em primeiro lugar geral. Perplexity Embed V1 0.6b alcança o nível intermediário superior…

Cibersegurança
Benchmark
29 set

Detecção de Bots: 9 Fornecedores Anti-Bot Avaliados em Benchmark

Identificamos a empresa anti-bot que protege os principais cerca de 3.800 domínios e medimos com que frequência cada domínio bloqueou nossos bots em 50.000 solicitações. Cloudflare defende 73,3% dos 3.859 domínios e registrou uma taxa de bloqueio de 6,7%. Imperva defende 3,7% e registrou 46,6%. As duas métricas classificam as nove empresas em ordens quase…

IA
Comparação de Recursos
29 set

Principais 30+ fabricantes de chips de IA: NVIDIA e seus concorrentes

Com base em nossa experiência rodando o AIMultiple e seu benchmark de GPU em nuvem, comparamos fabricantes de chips por produto, disponibilidade e arquitetura, cobrindo GPUs de data center, chips móveis, aceleradores de borda e fundições. Cada linha nomeia um produto representativo, seu tipo e sua disponibilidade. A disponibilidade distingue hardware oferecido para venda, serviços…

Cibersegurança
Benchmark
29 set

Benchmark de Software DLP

Avaliamos o Acronis DeviceLock DLP e o ManageEngine DLP Plus em VMs idênticas com Windows Server 2022 com 28 cenários: 23 testes de vazamento de dados (incluindo 12 arquivos adversariais de evasão), 3 testes de segurança do agente e 2 testes sob alto consumo de CPU e memória. Para os outros produtos DLP, Netwrix Endpoint…

Dados
Benchmark
28 set

Web Scraping em Grande Escala: 7 Provedores Comparados

Realizámos dois benchmarks em websites reais, de 5 a 5.000 pedidos simultâneos. O primeiro enviou 260.000 pedidos através de quatro desbloqueadores web pelos 10.000 domínios do topo do Tranco, mais um teste de extração de markdown em 10.000 URLs. O segundo recolheu 65.000 páginas de produto e pesquisa de cada um dos cinco fornecedores de…

Dados
Benchmark
28 set

Scraper de E-commerce: 4 Provedores Avaliados

Avaliamos quatro provedores de dados da web em 100 domínios de e-commerce, coletando 65.000 páginas de produto e de busca cada um, com 5 a 5.000 solicitações simultâneas. Na média entre os níveis de simultaneidade, Bright Data alcançou a maior taxa de sucesso (76%) com uma mediana de 16 segundos. Apify registrou o maior tempo…

IA
Benchmark
27 set

Benchmark de Modelos de Embedding de Código Aberto para RAG

NVIDIA Llama-Embed-Nemotron-8B lidera em precisão. Em custo, o EmbeddingGemma-300m do Google tem custo cerca de 4x menor que o Nemotron, com uma pequena perda de precisão. nDCG@3: Ganho cumulativo descontado normalizado no ponto de corte 3. Com um documento relevante por consulta, é 1 / log2(posição + 1) quando o documento gold aparece entre os…