Premium
Serviços
Premium
Ekrem Sarı

Ekrem Sarı

Pesquisador de IA
37 Artigos
Mantenha-se atualizado sobre tecnologia B2B.

Ekrem é Pesquisador de IA e Cientista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Experiência Profissional

Na AIMultiple, Ekrem realiza benchmarks de sistemas de IA de ponta a ponta e constrói os fluxos de trabalho de dados e dashboards usados para acompanhar métricas de benchmark e de produto. Seus benchmarks abrangem models de embedding e reranker, bancos de dados vetoriais e de grafos, motores de inference, quantização, concorrência de GPU e escalonamento multi-GPU, preços e fornecedores de GPU na nuvem, text-to-SQL, e frameworks de RAG e RAG agêntico.

Antes da AIMultiple, ele trabalhou como Cientista de Dados na Yandex, onde consultou e analisou grandes datasets com SQL para avaliar a qualidade de busca e ranqueamento segundo diretrizes detalhadas.

Interesse de Pesquisa

O trabalho de Ekrem concentra-se em medir como os sistemas de LLM e de recuperação se comportam na prática. Ele projeta o ambiente de teste, executa as cargas de trabalho em hardware real e compara models, frameworks e infraestrutura em precisão, vazão, latência, custo e escalabilidade, em toda a stack, desde models de embedding e bancos de dados vetoriais até motores de inference e infraestrutura de GPU. Sua tese de mestrado automatiza revisões sistemáticas de literatura com uma pipeline baseada em RAG.

Educação

Ekrem possui um mestrado em Sistemas de Informação Gerenciais pela Başkent University, onde sua tese automatizou revisões sistemáticas de literatura com uma pipeline baseada em RAG, e está cursando um segundo mestrado em Engenharia de Dados e Conhecimento na Hacettepe University.

Últimos artigos de Ekrem

IA
Benchmark
3 nov

Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 & Gemini 4 Argon

O conjunto de teste é o subconjunto difícil do benchmark FinanceReasoning (Tang et al.), com 238 perguntas. A precisão é a porcentagem de perguntas respondidas corretamente. Respostas numéricas recebem uma tolerância relativa de 0,2%. Os tokens de saída são os tokens gerados nas 238 respostas. Os tokens de entrada são contados separadamente no cálculo de…

IA
Benchmark
3 nov

AIM-Text-to-SQL Benchmark: SQL Accuracy Across 70+ LLMs

SQL accuracy is the percentage of scored queries that return the reference result. Incorrect routes and references flagged as broken are excluded. A reference query is the SQL supplied as the expected answer. Each model reaches a different set of SQL questions because scoring depends on its database choices. Differences in these subsets and execution…

Cibersegurança
Benchmark
1 nov

Detecção de Bot: 9 Fornecedores Anti-Bot Avaliados

Medimos a recuperação de conteúdo em mais de 3.800 domínios rotulados usando três serviços comerciais de scraping. Agrupamos os resultados pelas empresas anti-bot identificadas nesses domínios. Cloudflare foi identificada em 73,3% dos 3.859 domínios rotulados. A taxa de bloqueio desse grupo foi 6,7%. Imperva foi identificada em 3,7% dos domínios, com uma taxa de bloqueio…

IA
Benchmark
30 out

AIM-Agentic RAG Benchmark: Roteamento entre 11 bancos de dados SQL

A precisão de roteamento é a porcentagem de perguntas pontuadas para as quais o model nomeia explicitamente o banco de dados correto em sua resposta final. O destaque usa as 184 perguntas sinalizadas como difíceis tanto pelo nosso teste de similaridade quanto por um júri de três LLMs. Declarações explícitas ausentes não recebem crédito. gemini-4-argon…

IA
Análise
26 out

Top 30+ Fabricantes de Chips de IA: NVIDIA e Seus Concorrentes

Com base na nossa experiência executando o benchmark de GPU em nuvem da AIMultiple, comparamos fabricantes de chips por produto, disponibilidade e arquitetura, cobrindo GPUs de data center, chips móveis, aceleradores de borda e fundições. Cada linha nomeia um produto representativo, seu tipo e sua disponibilidade. A disponibilidade distingue hardware oferecido para venda, serviços em…

IA Agêntica
Benchmark
23 out

Busca agêntica: Benchmark de 8 APIs de busca para agentes

A busca agêntica desempenha um papel crucial na redução da lacuna entre os mecanismos de busca tradicionais e os recursos de busca com IA. As APIs de busca são a primeira camada de uma ferramenta agêntica, e o desempenho limita a qualidade de tudo o que vem a jusante. Avaliamos 8 APIs de busca em…

IA
Comparação de Recursos
22 out

GPUs gratuitas na nuvem: modelos, limites e requisitos de acesso

GPUs gratuitas na nuvem estão disponíveis por meio de notebooks Python, demonstrações de IA e créditos mensais de computação. Compare o hardware de GPU, as franquias gratuito e os requisitos de acesso, ou verifique quais serviços se adequam à sua carga de trabalho. Duas T4s fornecem duas alocações separadas de 16 GB de memória. Executar…

Software Empresarial
Benchmark
22 out

Benchmark de software de arquivamento de e-mail

Provisionamos um locatário do Microsoft 365, o preenchemos com um corpus sintético de 10.000 e-mails e 1.700 anexos em 8 subtipos de tipo de arquivo e, em seguida, comparamos o NinjaOne SaaS Archiver, o Barracuda Cloud Archiving Service, o Acronis Cyber Protect Cloud Email Archiving e o MailPiler no mesmo locatário em 10 dimensões que…

IA
Benchmark
15 out

Benchmark de Reranker: Comparação dos 8 Principais Modelos

Avaliamos 8 modelos de reranker em ~145k avaliações da Amazon em inglês para medir o quanto uma etapa de reranking melhora a recuperação densa. Recuperamos os top-100 candidatos com multilingual-e5-base, reordenamos com cada modelo e avaliamos os top-10 resultados em relação a 300 consultas, cada uma referenciando detalhes concretos da avaliação de origem. O melhor…

IA
Benchmark
14 out

RAG Ferramentas de avaliação: W&B Weave vs Ragas vs TruLens

Avaliamos cinco ferramentas de avaliação de geração aumentada por recuperação (RAG) em 1.000+ perguntas adversariais, cada uma emparelhada com cinco passagens. A comparação mede a relevância do contexto usando GPT-4o e os prompts de avaliação padrão das ferramentas. W&B Weave teve a maior acurácia Top-1, com 94,5%. O TruLens liderou as métricas de ranqueamento, incluindo…