Ekrem Sarı
Ekrem è un ricercatore di intelligenza artificiale presso AIMultiple, specializzato in automazione intelligente, GPU, agenti di IA e LLMOps per framework RAG.
Esperienza professionale
Durante il suo incarico come valutatore presso Yandex, ha analizzato i risultati di ricerca utilizzando framework proprietari e protocolli automatizzati. Ha implementato test di controllo qualità tramite annotazione dei dati, punteggio di pertinenza e mappatura dell'intento dell'utente su oltre 10.000 query al mese, conducendo al contempo valutazioni tecniche, tra cui il monitoraggio delle prestazioni e il rilevamento dello spam tramite cicli di feedback basati sull'apprendimento automatico.Capacità di ricerca
Presso AIMultiple, la sua ricerca si concentra sul ciclo di vita MLOps e sulle prestazioni e il benchmarking di sistemi di intelligenza artificiale end-to-end. Contribuisce a una vasta gamma di progetti, tra cui l'ottimizzazione del Retrieval-Augmented Generation (RAG), un ampio benchmarking di Large Language Model (LLM) e la progettazione di framework di intelligenza artificiale agentica. Ekrem è specializzato nello sviluppo di metodologie basate sui dati per misurare e migliorare le prestazioni della tecnologia IA in base a metriche operative critiche come accuratezza, efficienza, costo delle API e scalabilità. La sua analisi copre l'intero stack tecnologico, dai componenti fondamentali come i modelli di embedding e i database vettoriali fino alle GPU ad alte prestazioni e all'infrastruttura cloud necessarie per implementare agenti IA.Preparazione
Ekrem ha conseguito una laurea presso la Hacettepe Üniversitesi e un master presso la Başkent Üniversitesi.Ultimi articoli di Ekrem
I 10 migliori modelli di embedding multilingue per RAG
Abbiamo testato 10 modelli di embedding multilingue su ~606k recensioni Amazon in 6 lingue (tedesco, inglese, spagnolo, francese, giapponese, cinese). Abbiamo generato 1.800 query (300 per lingua), ciascuna con riferimenti a dettagli concreti della recensione di origine. I modelli addestrati per la ricerca (separazione query vs documento) superano modelli più grandi addestrati per la similarità…
Benchmark Multi-GPU: B200 vs H200 vs H100 vs MI300X
Per oltre due decenni, l'ottimizzazione delle prestazioni di calcolo è stata una pietra angolare del mio lavoro. Abbiamo eseguito benchmark sulle NVIDIA B200, H200, H100 e sulle AMD MI300X per valutare la loro scalabilità nell'inferenza dei Large Language Model (LLM). Utilizzando il framework vLLM con il modello meta-llama/Llama-3.1-8B-Instruct, abbiamo eseguito test su 1, 2, 4…
Modelli di embedding: OpenAI vs Gemini vs Voyage
Abbiamo eseguito benchmark su 15 modelli di embedding di testo in inglese e su una baseline BM25 su oltre 500 query curate manualmente in tre domini di recupero: contratti legali (CUAD), assistenza clienti (IBM TechQA) e sanità (MedRAG PubMed). Voyage-3.5 si classifica primo in assoluto. Perplexity Embed V1 0.6b raggiunge il livello medio-alto al prezzo…
RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
Abbiamo confrontato 5 RAG frameworks: LangChain, LangGraph, LlamaIndex, Haystack e DSPy, costruendo lo stesso workflow RAG agentic con componenti standardizzati: modelli identici (GPT-4.1-mini), embedding (BGE-small), retriever (Qdrant) e strumenti (ricerca web Tavily). Questo isola il vero overhead e l'efficienza dei token di ciascun framework. Risultati del benchmark dei framework RAG Il benchmark è consistito in…
Benchmark Reranker: 8 Modelli Principali Confrontati
Abbiamo eseguito benchmark su 8 modelli reranker su circa 145k recensioni Amazon in inglese per misurare quanto una fase di riclassificazione migliori il recupero denso. Abbiamo recuperato i primi 100 candidati con multilingual-e5-base, li abbiamo riclassificati con ciascun modello e abbiamo valutato i primi 10 risultati rispetto a 300 query, ciascuna che fa riferimento a…
Ricerca Agente: Benchmark di 8 Search API per Agenti
La ricerca agente svolge un ruolo cruciale nel colmare il divario tra i motori di ricerca tradizionali e le capacità di ricerca dell'IA. Questi sistemi permettono agli agenti di IA di trovare, recuperare e strutturare autonomamente le informazioni pertinenti, alimentando applicazioni che vanno dall'assistenza alla ricerca al monitoraggio in tempo reale e al ragionamento multi-step.…
Indice dei prezzi di noleggio cloud GPU
Le tariffe on-demand per le GPU cloud di ultima generazione (B200, B300, MI300X, RTX 5090) sono circa raddoppiate nell'ultimo anno, mentre le schede mainstream (H100, H200, A100) si sono mantenute in una fascia ristretta. Compiliamo l'indice GPU mensilmente a partire da 63 fornitori e 17 modelli GPU, coprendo le fasce on-demand, spot e riservate a…
Confronto Benchmark Software DLP
Abbiamo confrontato Acronis DeviceLock DLP e ManageEngine DLP Plus su identiche VM Windows Server 2022 con 28 scenari: 23 test di perdita di dati (inclusi 12 file di evasione avversariale), 3 test di sicurezza dell'agente e 2 test sotto alto consumo di CPU e memoria. Per gli altri prodotti DLP, Netwrix Endpoint Protector, Sophos Intercept…
LLM Quantizzazione: BF16 vs FP8 vs INT4
Abbiamo benchmarkato Qwen3-32B a 4 livelli di precisione (BF16, FP8, GPTQ-Int8, GPTQ-Int4) su una singola NVIDIA H100 80GB GPU. Ogni configurazione è stata valutata su 2 benchmark (~12,2K domande) che coprono conoscenza e generazione di codice, oltre a oltre 2.000 esecuzioni di inferenza per misurare il throughput. Int4 è 2,7x più veloce di BF16 pur…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.