Ekrem Sarı
Ekrem ist KI-Forscher bei AIMultiple und konzentriert sich auf intelligente Automatisierung, GPUs, KI-Agenten und LLMOps für RAG-Frameworks.
Berufserfahrung
Während seiner Tätigkeit als Assessor bei Yandex bewertete er Suchergebnisse mithilfe firmeneigener Frameworks und automatisierter Protokolle. Er implementierte Qualitätssicherungstests durch Datenannotation, Relevanzbewertung und Nutzerintention-Mapping für monatlich über 10.000 Suchanfragen und führte gleichzeitig technische Bewertungen durch, darunter Leistungsüberwachung und Spam-Erkennung mithilfe von ML-Feedbackschleifen.Forschungsinteresse
Bei AIMultiple konzentriert sich seine Forschung auf den MLOps-Lebenszyklus sowie die Leistungsfähigkeit und das Benchmarking von End-to-End-KI-Systemen. Er wirkt an einer Vielzahl von Projekten mit, darunter die Optimierung von Retrieval-Augmented Generation (RAG), umfassende Benchmarking-Studien für große Sprachmodelle (LLM) und die Entwicklung agentenbasierter KI-Frameworks. Ekrem ist spezialisiert auf die Entwicklung datengetriebener Methoden zur Messung und Verbesserung der Leistungsfähigkeit von KI-Technologien anhand kritischer Kennzahlen wie Genauigkeit, Effizienz, API-Kosten und Skalierbarkeit. Seine Analysen umfassen den gesamten Technologie-Stack, von grundlegenden Komponenten wie Einbettungsmodellen und Vektordatenbanken bis hin zur leistungsstarken GPU- und Cloud-Infrastruktur, die für den Einsatz von KI-Agenten erforderlich ist.Ausbildung
Ekrem hat einen Bachelor-Abschluss der Hacettepe Üniversitesi und einen Master-Abschluss der Başkent Üniversitesi.Neueste Artikel von Ekrem
Top 10 mehrsprachige Embedding-Modelle für RAG
Wir haben 10 mehrsprachige Embedding-Modelle an ~606k Amazon-Bewertungen in 6 Sprachen (Deutsch, Englisch, Spanisch, Französisch, Japanisch, Chinesisch) getestet. Wir generierten 1.800 Abfragen (300 pro Sprache), die jeweils konkrete Details aus ihrer Quellbewertung referenzieren. Modelle, die für die Suche trainiert wurden (Trennung von Abfrage und Dokument), übertreffen größere Modelle, die für allgemeine Textähnlichkeit trainiert wurden: e5_base…
Mehr-GPU-Benchmark: B200 vs H200 vs H100 vs MI300X
Seit über zwei Jahrzehnten ist die Optimierung der Rechenleistung ein Eckpfeiler meiner Arbeit. Wir haben die GPUs von NVIDIA (B200, H200, H100) und AMD (MI300X) getestet, um zu bewerten, wie gut sie sich für die Inferenz von Large Language Models (LLM) skalieren lassen. Mit dem vLLM-Framework und dem Modell meta-llama/Llama-3.1-8B-Instruct führten wir Tests mit 1,…
Embedding-Modelle: OpenAI vs Gemini vs Voyage
Wir haben 15 englische Text-Embedding-Modelle und eine BM25-Baseline an über 500 manuell kuratierten Abfragen in drei Abrufdomänen getestet: rechtliche Verträge (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed). Voyage-3.5 rangiert insgesamt an erster Stelle. Perplexity Embed V1 0.6b erreicht in unserem Benchmark die obere Mittelschicht zum niedrigsten Preisniveau. Ergebnisse des Embedding-Modelle-Benchmarks Erklärung der Metriken nDCG@3:…
RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
Wir haben 5 RAG-Frameworks getestet: LangChain, LangGraph, LlamaIndex, Haystack und DSPy, indem wir denselben agentic RAG-Workflow mit standardisierten Komponenten erstellt haben: identische Modelle (GPT-4.1-mini), Embeddings (BGE-small), Retriever (Qdrant) und Tools (Tavily-Websuche). Dies isoliert den tatsächlichen Overhead und die Token-Effizienz jedes Frameworks. RAG-Framework-Benchmark-Ergebnisse Der Benchmark bestand aus 100 Abfragen, wobei jedes Framework den gesamten Satz 100-mal…
Reranker-Benchmark: Top 8 Modelle verglichen
Wir haben 8 Reranker-Modelle an ~145k englischen Amazon-Bewertungen getestet, um zu messen, wie stark eine Reranking-Phase die dichte Suche verbessert. Wir haben die Top-100-Kandidaten mit multilingual-e5-base abgerufen, sie mit jedem Modell neu sortiert und die Top-10-Ergebnisse an 300 Abfragen evaluiert, die sich jeweils auf konkrete Details aus ihrer Quellbewertung bezogen. Der beste Reranker hob Hit@1…
Agentic Search: Benchmark 8 SuchAPIs für Agenten
Agentic Search spielt eine entscheidende Rolle bei der Überbrückung der Lücke zwischen herkömmlichen Suchmaschinen und den Fähigkeiten der KI-Suche. Diese Systeme ermöglichen es KI-Agenten, autonom relevante Informationen zu finden, abzurufen und zu strukturieren, und unterstützen Anwendungen von der Forschungsunterstützung bis hin zur Echtzeitüberwachung und mehrstufigen Schlussfolgerung. SuchAPIs bilden die erste Ebene eines agentic-Suchwerkzeugs, wobei die…
Cloud GPU-Mietpreisindex
On-Demand-Preise für Cloud-GPUs der neuesten Generation (B200, B300, MI300X, RTX 5090) haben sich im vergangenen Jahr etwa verdoppelt, während Mainstream-Karten (H100, H200, A100) in einem engen Korridor blieben. Wir stellen den GPU-Index monatlich aus 63 Anbietern und 17 GPU-Modellen zusammen und decken On-Demand-, Spot- und 1-Jahres-Reservierungsstufen ab. Preistrends nach GPU-Generation Die Grafik zeigt den monatlichen…
DLP-Software-Benchmark
Wir haben Acronis DeviceLock DLP und ManageEngine DLP Plus auf identischen Windows Server 2022 VMs mit 28 Szenarien getestet: 23 Datenleck-Tests (einschließlich 12 adversarialer Umgehungsdateien), 3 Agentensicherheitstests und 2 Tests unter hoher CPU- und Speicherauslastung. Für die anderen DLP-Produkte, Netwrix Endpoint Protector, Sophos Intercept X, Teramind DLP und Trellix DLP, haben wir deren Funktionen überprüft.…
LLM Quantisierung: BF16 vs FP8 vs INT4
Wir haben Qwen3-32B auf 4 Genauigkeitsstufen (BF16, FP8, GPTQ-Int8, GPTQ-Int4) auf einer einzelnen NVIDIA H100 80GB GPU getestet. Jede Konfiguration wurde auf 2 Benchmarks (~12,2K Fragen) bewertet, die Wissen und Code-Generierung abdecken, sowie auf 2.000+ Inferenzläufen zur Messung des Durchsatzes. Int4 ist 2,7-mal schneller als BF16, verliert jedoch weniger als 2 Punkte auf MMLU-Pro, während…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.