Premium
Serviços
Premium
Ekrem Sarı

Ekrem Sarı

Pesquisador de IA
37 Artigos
Mantenha-se atualizado sobre tecnologia B2B.

Ekrem é Pesquisador de IA e Cientista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Experiência Profissional

Na AIMultiple, Ekrem realiza benchmarks de sistemas de IA de ponta a ponta e constrói os fluxos de trabalho de dados e dashboards usados para acompanhar métricas de benchmark e de produto. Seus benchmarks abrangem models de embedding e reranker, bancos de dados vetoriais e de grafos, motores de inference, quantização, concorrência de GPU e escalonamento multi-GPU, preços e fornecedores de GPU na nuvem, text-to-SQL, e frameworks de RAG e RAG agêntico.

Antes da AIMultiple, ele trabalhou como Cientista de Dados na Yandex, onde consultou e analisou grandes datasets com SQL para avaliar a qualidade de busca e ranqueamento segundo diretrizes detalhadas.

Interesse de Pesquisa

O trabalho de Ekrem concentra-se em medir como os sistemas de LLM e de recuperação se comportam na prática. Ele projeta o ambiente de teste, executa as cargas de trabalho em hardware real e compara models, frameworks e infraestrutura em precisão, vazão, latência, custo e escalabilidade, em toda a stack, desde models de embedding e bancos de dados vetoriais até motores de inference e infraestrutura de GPU. Sua tese de mestrado automatiza revisões sistemáticas de literatura com uma pipeline baseada em RAG.

Educação

Ekrem possui um mestrado em Sistemas de Informação Gerenciais pela Başkent University, onde sua tese automatizou revisões sistemáticas de literatura com uma pipeline baseada em RAG, e está cursando um segundo mestrado em Engenharia de Dados e Conhecimento na Hacettepe University.

Últimos artigos de Ekrem

IA
Benchmark
14 out

RAG Ferramentas de avaliação: W&B Weave vs Ragas vs TruLens

Avaliamos cinco ferramentas de avaliação de geração aumentada por recuperação (RAG) em 1.000+ perguntas adversariais, cada uma emparelhada com cinco passagens. A comparação mede a relevância do contexto usando GPT-4o e os prompts de avaliação padrão das ferramentas. W&B Weave teve a maior acurácia Top-1, com 94,5%. O TruLens liderou as métricas de ranqueamento, incluindo…

Dados
Benchmark
14 out

Navegadores remotos: infraestrutura web para agentes de IA comparada

Agentes de IA dependem de navegadores remotos para automatizar tarefas web sem serem bloqueados por medidas anti-scraping. O desempenho dessa infraestrutura de navegador é fundamental para o sucesso de um agente. Avaliamos 8 provedores em taxa de sucesso, velocidade e recursos. Para isso, executamos 160 tarefas automatizadas, rodando 4 cenários distintos 5 vezes para cada…

IA
Benchmark
14 out

AIM-Text-to-SQL Benchmark: Precisão de SQL em mais de 70 LLMs

Precisão de SQL é a porcentagem de consultas pontuadas que retornam o resultado de referência. Rotas incorretas e referências sinalizadas como quebradas são excluídas. Uma consulta de referência é o SQL fornecido como a resposta esperada. Cada modelo alcança um conjunto diferente de perguntas SQL porque a pontuação depende de suas escolhas de banco de…

IA
Benchmark
14 out

AIM-Agentic RAG Benchmark: Roteamento entre 11 SQL bancos de dados

A precisão de roteamento é a porcentagem de perguntas pontuadas para as quais o model nomeia explicitamente o banco de dados correto em sua resposta final. O resultado principal usa as 184 perguntas marcadas como difíceis tanto pelo nosso teste de similaridade quanto por um júri de três LLMs. Declarações explícitas ausentes não recebem crédito.…

IA
Benchmark
14 out

Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 e Gemini 4 Argon

O conjunto de teste é o subconjunto difícil do benchmark FinanceReasoning (Tang et al.), com 238 perguntas. A precisão é a porcentagem de perguntas respondidas corretamente. As respostas numéricas recebem uma tolerância relativa de 0,2%. Os tokens de saída são os tokens gerados nas 238 respostas. Os tokens de entrada são contados separadamente no cálculo…

IA
Comparação de Recursos
13 out

Top 30+ Fabricantes de Chips de IA: NVIDIA e Seus Concorrentes

Com base na nossa experiência executando o benchmark de GPU em nuvem da AIMultiple, comparamos fabricantes de chips por produto, disponibilidade e arquitetura, cobrindo GPUs de data center, chips móveis, aceleradores de borda e fundições. Cada linha nomeia um produto representativo, seu tipo e sua disponibilidade. A disponibilidade distingue hardware oferecido para venda, serviços em…

IA Agêntica
Benchmark
9 out

Benchmark da API de Pesquisa de Vídeo: Bright Data vs YouTube

Comparamos a pesquisa de vídeo do Bright Data com a pesquisa do YouTube em 50 consultas em inglês em cinco tipos de consulta. Ambos os mecanismos foram consultados até a exaustão, e um painel de três modelos avaliou quadros de vídeo amostrados. Os clipes utilizáveis por pesquisa estimam quantos vídeos retornados contêm o assunto ou…

IA
Benchmark
1 out

Modelos de Embedding: 25 Modelos Avaliados para Recuperação

Avaliamos 25 modelos de embedding em 200 perguntas de recuperação em finanças, contratos legais, suporte técnico e literatura médica. Os quatro corpora continham 341.040 passagens de texto no total. Cada consulta pesquisou seu próprio domínio. O nDCG@10 mede o quão alto as passagens relevantes registradas aparecem nos dez primeiros resultados. As pontuações variam de 0…

Cibersegurança
Benchmark
29 set

Detecção de Bot: 9 Fornecedores Anti-Bot Avaliados

Identificamos a empresa anti-bot que protege os principais ~3.800 domínios e medimos com que frequência cada domínio bloqueava nossos bots em 50.000 solicitações. Cloudflare defende 73,3% dos 3.859 domínios e registrou uma taxa de bloqueio de 6,7%. A Imperva defende 3,7% e registrou 46,6%. As duas métricas classificam as nove empresas em ordens quase opostas.…

Cibersegurança
Benchmark
29 set

Benchmark de Software DLP

Avaliamos o Acronis DeviceLock DLP e o ManageEngine DLP Plus em VMs idênticas com Windows Server 2022 com 28 cenários: 23 testes de vazamento de dados (incluindo 12 arquivos adversariais de evasão), 3 testes de segurança do agente e 2 testes sob alto consumo de CPU e memória. Para os outros produtos DLP, Netwrix Endpoint…