Ekrem Sarı
Ekrem è un ricercatore di intelligenza artificiale presso AIMultiple, specializzato in automazione intelligente, GPU, agenti di IA e LLMOps per framework RAG.
Esperienza professionale
Durante il suo incarico come valutatore presso Yandex, ha analizzato i risultati di ricerca utilizzando framework proprietari e protocolli automatizzati. Ha implementato test di controllo qualità tramite annotazione dei dati, punteggio di pertinenza e mappatura dell'intento dell'utente su oltre 10.000 query al mese, conducendo al contempo valutazioni tecniche, tra cui il monitoraggio delle prestazioni e il rilevamento dello spam tramite cicli di feedback basati sull'apprendimento automatico.Capacità di ricerca
Presso AIMultiple, la sua ricerca si concentra sul ciclo di vita MLOps e sulle prestazioni e il benchmarking di sistemi di intelligenza artificiale end-to-end. Contribuisce a una vasta gamma di progetti, tra cui l'ottimizzazione del Retrieval-Augmented Generation (RAG), un ampio benchmarking di Large Language Model (LLM) e la progettazione di framework di intelligenza artificiale agentica. Ekrem è specializzato nello sviluppo di metodologie basate sui dati per misurare e migliorare le prestazioni della tecnologia IA in base a metriche operative critiche come accuratezza, efficienza, costo delle API e scalabilità. La sua analisi copre l'intero stack tecnologico, dai componenti fondamentali come i modelli di embedding e i database vettoriali fino alle GPU ad alte prestazioni e all'infrastruttura cloud necessarie per implementare agenti IA.Preparazione
Ekrem ha conseguito una laurea presso la Hacettepe Üniversitesi e un master presso la Başkent Üniversitesi.Ultimi articoli di Ekrem
RAG Strumenti di Valutazione: Weights & Biases vs Ragas vs DeepEval
Quando una pipeline RAG recupera il contesto sbagliato, l'LLM genera con sicurezza la risposta errata. I valutatori di rilevanza del contesto sono la prima linea di difesa. Abbiamo confrontato cinque strumenti su 1.460 domande e oltre 14.600 contesti valutati in condizioni identiche: stesso modello giudice (GPT-4o), configurazioni predefinite e nessun prompt personalizzato. In condizioni standard,…
Browser remoti: infrastruttura web a confronto per agenti AI
Gli agenti AI si affidano a browser remoti per automatizzare attività web senza essere bloccati da misure anti-scraping. Le prestazioni di questa infrastruttura browser sono fondamentali per il successo di un agente. Abbiamo sottoposto a benchmark 8 fornitori in base al tasso di successo, velocità e funzionalità. A tal fine, abbiamo eseguito 160 attività automatizzate,…
Miglior Database Vettoriale per RAG: Qdrant vs Weaviate vs Pinecone
I database vettoriali alimentano il livello di recupero nei flussi di lavoro RAG memorizzando embedding di documenti e query come vettori ad alta dimensionalità. Consentono ricerche di similarità rapide basate sulle distanze vettoriali. Abbiamo valutato sei fornitori di database vettoriali, concentrandoci sulle loro strutture di prezzi e sulle prestazioni: Confronto database vettoriale: Prezzi e prestazioni…
Benchmark di Database a Grafo: Neo4j vs FalkorDB vs Memgraph
Abbiamo confrontato Neo4j, FalkorDB e Memgraph su un grafo sintetico derivato da 120.000 recensioni di prodotti Amazon (381K nodi, 804K archi). Abbiamo eseguito 12 modelli di query con 1.000 misurazioni ciascuna, testato l'ingestione a 6 dimensioni di batch, sostenuto carichi concorrenti per 60 secondi fino a 32 thread e misurato memoria, avvio a freddo, carico…
Prezzi, Prestazioni e Confronto dei Provider di GPU Cloud
I prezzi di listino delle GPU cloud per lo stesso modello possono variare di diverse volte da un provider all'altro. Abbiamo selezionato il tasso più basso, il provider, la gamma di mercato e la mediana per oltre 40 configurazioni GPU in tutte e tre le fasce di prezzo, oltre a un benchmark di throughput per…
Top 20+ Framework Agentic RAG
Agentic RAG potenzia il tradizionale RAG migliorando le prestazioni del LLM e consentendo una maggiore specializzazione. Abbiamo condotto un benchmark per valutarne le prestazioni nel routing tra più database e nella generazione di query. Esplora framework e librerie agentic RAG, le differenze chiave rispetto al RAG standard, i vantaggi e le sfide per sbloccarne il…
LLM Motori di Inferenza: vLLM vs LMDeploy vs SGLang
Abbiamo confrontato 3 principali motori di inferenza LLM su hardware NVIDIA H100: vLLM, LMDeploy e SGLang. Ciascun motore ha elaborato carichi di lavoro identici: 1.000 prompt ShareGPT utilizzando Llama 3.1 8B-Instruct per isolare il reale impatto prestazionale delle loro scelte architetturali e strategie di ottimizzazione. MotoriIdeale per vLLM-Prototipazione e sperimentazione su oltre 100 architetture di…
GPU Benchmark di Concorrenza: H100 vs H200 vs B200 vs MI300X
Ho dedicato gli ultimi 20 anni al miglioramento delle prestazioni computazionali a livello di sistema. Abbiamo eseguito benchmark sulle ultime NVIDIA GPU, incluse le NVIDIA’s H100, H200 e B200, e le AMD’s MI300X, per un'analisi della scalabilità della concorrenza. Utilizzando il framework vLLM con il gpt-oss-20b model, abbiamo testato come queste GPU gestiscono le richieste…
Text-to-SQL: Confronto dell'accuratezza dei LLM
Ho fatto affidamento su SQL per l'analisi dei dati per 18 anni, iniziando ai miei tempi come consulente. Tradurre domande in linguaggio naturale in SQL rende i dati più accessibili, permettendo a chiunque, anche a chi non ha competenze tecniche, di lavorare direttamente con i database. Abbiamo utilizzato la nostra metodologia di benchmark text-to-SQL su…
Migliori RAG strumenti, framework e librerie
RAG migliora le risposte degli LLM ancorandole a dati esterni invece che solo a ciò che il modello ha memorizzato durante l'addestramento. Abbiamo valutato i componenti da cui è costruito un sistema RAG e raccolto i risultati in un unico posto, con una guida pratica per scegliere ogni parte dello stack. Consulta i nostri risultati…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.