Ekrem Sarı
Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.
Esperienza professionale
Presso AIMultiple, Ekrem esegue benchmark su sistemi di IA end-to-end e realizza i flussi di lavoro dei dati e le dashboard utilizzate per monitorare le metriche di benchmark e di prodotto. I suoi benchmark coprono modelli di embedding e reranker, database vettoriali e a grafo, motori di inference, quantizzazione, concorrenza GPU e scaling multi-GPU, prezzi e provider di GPU cloud, text-to-SQL e framework RAG e RAG agentici.
Prima di AIMultiple, ha lavorato come Data Scientist presso Yandex, dove ha interrogato e analizzato grandi dataset con SQL per valutare la qualità di ricerca e ranking rispetto a linee guida dettagliate.
Interessi di ricerca
Il lavoro di Ekrem si concentra sulla misurazione delle prestazioni pratiche dei sistemi LLM e di retrieval. Progetta il test harness, esegue i carichi di lavoro su hardware reale e confronta modelli, framework e infrastrutture in termini di accuratezza, throughput, latenza, costo e scalabilità, lungo l'intero stack dai modelli di embedding e database vettoriali ai motori di inference e all'infrastruttura GPU. La sua tesi di laurea magistrale automatizza le revisioni sistematiche della letteratura con una pipeline basata su RAG.
Formazione
Ekrem ha conseguito una laurea magistrale in Sistemi Informativi Gestionali presso la Başkent University, dove la sua tesi ha automatizzato le revisioni sistematiche della letteratura con una pipeline basata su RAG, e sta conseguendo una seconda laurea magistrale in Ingegneria dei Dati e della Conoscenza presso la Hacettepe University.
Ultimi articoli di Ekrem
Browser remoti: infrastruttura web per agenti IA a confronto
Gli agenti IA si affidano a browser remoti per automatizzare le attività web senza essere bloccati da misure anti-scraping. Le prestazioni di questa infrastruttura browser sono fondamentali per il successo di un agente. Abbiamo valutato 8 fornitori in termini di tasso di successo, velocità e funzionalità. Per farlo, abbiamo eseguito 160 attività automatizzate, eseguendo 4…
Benchmark della Video Search API: Bright Data vs YouTube
Abbiamo confrontato Bright Data Video Search con la ricerca di YouTube su 50 query in inglese in cinque tipi di query. Entrambi i motori sono stati interrogati fino all'esaurimento e un panel di visione a tre model ha valutato i fotogrammi video campionati. Le clip utilizzabili per ricerca stimano quanti video restituiti contengono il soggetto…
Modelli di embedding: 25 modelli valutati in benchmark per il retrieval
Abbiamo sottoposto a benchmark 25 modelli di embedding su 200 domande di retrieval in ambito finanziario, contratti legali, supporto tecnico e letteratura medica. I quattro corpora contenevano in totale 341.040 brani di testo. Ogni query ha effettuato la ricerca nel proprio dominio. nDCG@10 misura quanto in alto appaiono i brani pertinenti registrati nei primi dieci…
Benchmark del software DLP
Abbiamo confrontato Acronis DeviceLock DLP e ManageEngine DLP Plus su macchine virtuali Windows Server 2022 identiche con 28 scenari: 23 test di fuga di dati (inclusi 12 file di elusione avversariale), 3 test di sicurezza dell'agente e 2 test sotto elevato consumo di CPU e memoria. Per gli altri prodotti DLP, Netwrix Endpoint Protector, Sophos…
Web Scraping su Larga Scala: 7 Fornitori Confrontati
Abbiamo eseguito due benchmark su siti web live, da 5 a 5.000 richieste concorrenti. Il primo ha inviato 260.000 richieste attraverso quattro web unblocker sui primi 10.000 domini Tranco, più un test di estrazione markdown su 10.000 URL. Il secondo ha recuperato 65.000 pagine prodotto e di ricerca da ciascuno dei cinque fornitori di scraping…
Scraper per e-commerce: 4 fornitori a confronto
Abbiamo confrontato quattro fornitori di dati web su 100 domini e-commerce, recuperando 65.000 pagine prodotto e di ricerca con livelli da 5 a 5.000 richieste concorrenti. In media tra i livelli di concorrenza, Bright Data ha raggiunto il tasso di successo più alto (76%) con un tempo mediano di 16 secondi. Apify ha registrato il…
Open Source Embedding Models: 11 Models sottoposti a benchmark per il retrieval
nDCG@10 misura la posizione dei passaggi pertinenti registrati tra i primi dieci risultati di ricerca. Un punteggio pari a 1 rappresenta il ranking ideale per i positivi registrati. I passaggi più vicini alla cima ricevono più peso. PPLX Embed v1 4B ha guidato il confronto con 0.741 nDCG@10, seguito da PPLX Embed v1 0.6B con…
Benchmark del software di backup: Acronis vs NinjaOne vs Comet vs MSP360
Abbiamo confrontato NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup e MSP360 Managed Backup su un'infrastruttura AWS identica. Ogni fornitore ha eseguito un backup in modalità file dello stesso carico di lavoro da 625.946 file / 50 GB e un backup completo dell'immagine del disco di sistema, quindi ha ripristinato la sottodirectory media da…
Indice dei prezzi di noleggio di GPU cloud
Ultimi rilasci registrano il maggiore aumento di prezzo tra i tre gruppi. La sua mediana on-demand è passata da $2,12 per GPU-ora nell'ottobre 2024 a $4,72 nel settembre 2026. Nello stesso periodo, il gruppo Moderno è passato da $1,35 a $1,45, mentre Legacy è sceso da $1,77 a $0.95. Ogni mediana utilizza le inserzioni presenti…
I migliori 70+ fornitori di Cloud GPU
I fornitori di Cloud GPU si dividono in tre livelli. Gli hyperscaler gestiscono ampie piattaforme cloud con il noleggio di GPU come un prodotto tra molti. I neocloud specializzati si concentrano su GPU e infrastruttura IA come prodotto principale. I marketplace comunitari aggregano l'inventario di molti piccoli operatori, spesso al minimo della fascia di prezzo…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.