Ekrem Sarı
Ekrem è Ricercatore AI e analista di dati presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di AI e LLM.
Esperienza professionale
Presso AIMultiple, Ekrem esegue benchmark su sistemi AI end-to-end e costruisce i flussi di lavoro relativi ai dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono model di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scalabilità multi-GPU, prezzi e provider di GPU cloud, text-to-SQL, e framework RAG e RAG agentici.
Prima di AIMultiple, ha lavorato come valutatore presso Yandex, dove ha valutato la qualità della ricerca ed etichettato grandi volumi di dati seguendo linee guida dettagliate per supportare il ranking e la qualità dei model.
Interessi di ricerca
Il lavoro di Ekrem si concentra sul ciclo di vita di MLOps e LLMOps e sulla misurazione delle prestazioni dei sistemi AI. Confronta model, framework e infrastrutture su metriche quali accuratezza, throughput, costo API e scalabilità, lungo l'intero stack, dai model di embedding e database vettoriali fino all'infrastruttura GPU e cloud. La sua tesi magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.
Formazione
Ekrem ha conseguito una laurea triennale presso l'Università Hacettepe e sta completando un Master presso l'Università Başkent.
Ultimi articoli di Ekrem
Web Scraping su Larga Scala: 7 Fornitori Confrontati
Abbiamo eseguito due benchmark su siti web live, da 5 a 5.000 richieste concorrenti. Il primo ha inviato 260.000 richieste attraverso quattro web unblocker sui primi 10.000 domini Tranco, più un test di estrazione markdown su 10.000 URL. Il secondo ha recuperato 65.000 pagine prodotto e di ricerca da ciascuno dei cinque fornitori di scraping…
Confronto dei 6 migliori servizi cloud GPU gratuiti
Il miglior tier gratuito GPU vale circa $19 al mese ai prezzi di noleggio, e otto piattaforme offrono una GPU reale senza carta di credito. Sei di esse limitano l'uso gratuito su base mensile, e le abbiamo valutate al tasso on-demand più economico attuale per ogni GPU nei nostri dati di cloud GPU prezzi. Ogni…
Calcolatore per il dimensionamento e la scelta di database vettoriali
La domanda pratica dietro un database vettoriale self-hosted per RAG è quale motore si adatta a un dato server, e quale il carico di lavoro esclude. Il calcolatore qui sotto risponde a entrambe, dal nostro benchmark di sette database vettoriali self-hosted eseguiti con recall abbinata su embedding identici. Cinque caselle di controllo nella parte superiore…
Migliori strumenti, framework e librerie RAG
RAG migliora le risposte degli LLM ancorandole a dati esterni anziché basarsi solo su ciò che il modello ha memorizzato durante l'addestramento. Abbiamo confrontato i componenti di cui è composto un sistema RAG e raccolto i risultati in un unico posto, con una guida pratica per scegliere ogni parte dello stack. Consulta i nostri risultati…
Benchmark di Database Vettoriali: 7 Motori Open-Source per RAG
Abbiamo sottoposto a benchmark sette database vettoriali open-source e self-hosted come livello di recupero di una pipeline RAG, ciascuno eseguito singolarmente sugli stessi embedding bge-m3 e su query mediche e tecniche reali, in modo che l'indice del database fosse l'unica variabile. Il carico di lavoro ha coperto MedRAG-50k, TechQA-28k e un corpus di 2.25M di…
Cloud GPU Prezzi, Prestazioni & Confronto tra Provider
I prezzi di listino delle cloud GPU per lo stesso modello possono differire anche di diverse volte da un provider all’altro. Abbiamo raccolto la tariffa più bassa, il provider, l’intervallo di mercato e la mediana per oltre 40 configurazioni di GPU in tutti e tre i livelli di prezzo, più un benchmark di throughput per…
Cloud GPU Indice dei prezzi di noleggio
Le tariffe on-demand per le GPU cloud di ultima generazione (B200, B300, MI300X, RTX 5090) sono più o meno raddoppiate nell'ultimo anno, mentre le schede mainstream (H100, H200, A100) hanno mantenuto una fascia ristretta. Compiliamo l'indice delle GPU ogni mese da 63 fornitori e 17 modelli di GPU, coprendo le fasce on-demand, spot e prenotate…
LLM Calcolatore VRAM per Auto-Hosting
Auto-ospitare un LLM significa eseguire l'inferenza su hardware controllato dall'operatore anziché tramite un'API di terze parti, il che cambia il profilo di costi, controllo dei dati e privacy. Se un modello possa essere eseguito o meno dipende dalla memoria. Il calcolatore stima la VRAM o memoria unificata necessaria per eseguire un modello in locale, basandosi…
Le migliori funzioni serverless: Vercel vs Azure vs AWS
Le funzioni serverless consentono agli sviluppatori di eseguire codice senza dover gestire un server. Ciò consente loro di concentrarsi sulla scrittura e il deployment delle applicazioni mentre il ridimensionamento e la manutenzione dell'infrastruttura sono gestiti automaticamente in background. In questo benchmark, abbiamo valutato 7 popolari fornitori di servizi cloud seguendo la nostra metodologia per testare…
RAG Strumenti di Valutazione: Weights & Biases vs Ragas vs DeepEval
Quando una pipeline RAG recupera il contesto sbagliato, l'LLM genera con sicurezza la risposta errata. I valutatori di rilevanza del contesto sono la prima linea di difesa. Abbiamo confrontato cinque strumenti su 1.460 domande e oltre 14.600 contesti valutati in condizioni identiche: stesso modello giudice (GPT-4o), configurazioni predefinite e nessun prompt personalizzato. In condizioni standard,…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.