Ekrem Sarı
Ekrem é pesquisador de IA na AIMultiple, com foco em automação inteligente, GPUs, agentes de IA e LLMOps para frameworks RAG.
Experiência profissional
Durante sua atuação como Avaliador na Yandex, ele avaliou resultados de busca utilizando frameworks proprietários e protocolos automatizados. Implementou testes de controle de qualidade por meio de anotação de dados, pontuação de relevância e mapeamento da intenção do usuário em mais de 10.000 consultas mensais, além de conduzir avaliações técnicas, incluindo monitoramento de desempenho e detecção de spam utilizando ciclos de feedback de aprendizado de máquina.Interesse de pesquisa
Na AIMultiple, sua pesquisa se concentra no ciclo de vida de MLOps e no desempenho e benchmarking de sistemas de IA de ponta a ponta. Ele contribui para uma ampla gama de projetos, incluindo otimização de Geração Aumentada por Recuperação (RAG), benchmarking extensivo de Modelos de Linguagem Amplos (LLM) e o design de frameworks de IA para agentes. Ekrem se especializa no desenvolvimento de metodologias orientadas a dados para medir e aprimorar o desempenho da tecnologia de IA em métricas operacionais críticas, como precisão, eficiência, custo de API e escalabilidade. Sua análise abrange toda a pilha de tecnologia, desde componentes fundamentais, como modelos de incorporação e bancos de dados vetoriais, até a infraestrutura de nuvem e GPU de alto desempenho necessária para a implantação de agentes de IA.Educação
Ekrem é bacharel pela Hacettepe Üniversitesi e mestre pela Başkent Üniversitesi.Últimos artigos de Ekrem
RAG Ferramentas de Avaliação: Weights & Biases vs Ragas vs DeepEval
Quando um RAG pipeline recupera o contexto errado, o LLM gera com confiança a resposta errada. Os avaliadores de relevância do contexto são a principal defesa. Avaliamos cinco ferramentas em 1.460 perguntas e mais de 14.600 contextos pontuados sob condições idênticas: mesmo modelo juiz (GPT-4o), configurações padrão e sem prompts personalizados. Sob condições padrão, WandB,…
Navegadores Remotos: Infraestrutura Web para Agentes de IA Comparados
Agentes de IA dependem de navegadores remotos para automatizar tarefas na web sem serem bloqueados por técnicas anti-scraping. O desempenho dessa infraestrutura de navegador é crítico para o sucesso de um agente. Testamos 8 provedores quanto à taxa de sucesso, velocidade e recursos. Para isso, executamos 160 tarefas automatizadas, rodando 4 cenários distintos 5 vezes…
Principal Banco de Dados Vetorial para RAG: Qdrant vs Weaviate vs Pinecone
Bancos de dados vetoriais impulsionam a camada de recuperação em fluxos de trabalho RAG armazenando documentos e embeddings de consulta como vetores de alta dimensão. Eles permitem buscas de similaridade rápidas baseadas em distâncias vetoriais. Testamos seis provedores de banco de dados vetorial, focando em suas estruturas de preços e desempenho: Comparação de banco de…
Teste de Referência de Banco de Dados de Grafos: Neo4j vs FalkorDB vs Memgraph
Realizamos testes de referência no Neo4j, FalkorDB e Memgraph em um grafo sintético derivado de 120.000 avaliações de produtos da Amazon (381K nós, 804K arestas). Executamos 12 modelos de consulta com 1.000 medições cada, testamos a ingestão em 6 tamanhos de lote, mantivemos carga concorrente por 60 segundos com até 32 threads e medimos memória,…
Preços de Cloud GPU, Desempenho e Comparação de Provedores
Os preços de tabela de Cloud GPU para o mesmo model podem diferir várias vezes de um provedor para outro. Curamos a taxa mais baixa, provedor, faixa de mercado e mediana para mais de 40 configurações de GPU em todos os três níveis de preços, além de um benchmark de throughput por dólar em 10…
Principais 20+ Frameworks Agentic RAG
O Agentic RAG aprimora o RAG tradicional ao aumentar o desempenho do LLM e permitir maior especialização. Realizamos um benchmark para avaliar seu desempenho no roteamento entre múltiplos bancos de dados e na geração de consultas. Explore frameworks e bibliotecas agentic RAG, as principais diferenças em relação ao RAG padrão, benefícios e desafios para desbloquear…
LLM Motores de Inferência: vLLM vs LMDeploy vs SGLang
Benchmarkamos 3 principais LLM motores de inferência em NVIDIA H100: vLLM, LMDeploy e SGLang. Cada motor processou cargas de trabalho idênticas: 1.000 prompts ShareGPT usando Llama 3.1 8B-Instruct para isolar o verdadeiro impacto de desempenho de suas escolhas arquiteturais e estratégias de otimização. MotoresMelhor para vLLM-Prototipagem e experimentação em 100+ arquiteturas de modelo -Ambientes multi…
GPU Benchmark de Concorrência: H100 vs H200 vs B200 vs MI300X
Eu passei os últimos 20 anos focando na otimização de desempenho computacional em nível de sistema. Realizamos benchmarks das NVIDIA GPUs mais recentes, incluindo a NVIDIA’s H100, H200 e B200, e a AMD’s MI300X, para análise de escalabilidade de concorrência. Usando o framework vLLM com o gpt-oss-20b model, testamos como essas GPUs lidam com solicitações…
Texto-para-SQL: Comparação da Precisão de LLM
Confio em SQL para análise de dados há 18 anos, começando nos meus dias como consultor. Traduzir perguntas em linguagem natural para SQL torna os dados mais acessíveis, permitindo que qualquer pessoa, mesmo aqueles sem habilidades técnicas, trabalhe diretamente com bancos de dados. Utilizamos nossa metodologia de benchmark de texto-para-SQL em 34 modelos de linguagem…
Melhores RAG ferramentas, frameworks e bibliotecas
RAG melhora as respostas dos LLM ao fundamentá-las em dados externos, em vez de apenas no que o modelo memorizou no treinamento. Nós avaliamos os componentes de um sistema RAG e reunimos os resultados em um só lugar, com um guia prático para escolher cada parte da pilha. Veja nossos resultados de benchmark para cada…
Boletim informativo AIMultiple
Receba um e-mail gratuito por semana com as últimas notícias de tecnologia B2B e insights de especialistas para impulsionar o seu negócio.