Ekrem Sarı
Ekrem ist KI-Forscher bei AIMultiple und konzentriert sich auf intelligente Automatisierung, GPUs, KI-Agenten und LLMOps für RAG-Frameworks.
Berufserfahrung
Während seiner Tätigkeit als Assessor bei Yandex bewertete er Suchergebnisse mithilfe firmeneigener Frameworks und automatisierter Protokolle. Er implementierte Qualitätssicherungstests durch Datenannotation, Relevanzbewertung und Nutzerintention-Mapping für monatlich über 10.000 Suchanfragen und führte gleichzeitig technische Bewertungen durch, darunter Leistungsüberwachung und Spam-Erkennung mithilfe von ML-Feedbackschleifen.Forschungsinteresse
Bei AIMultiple konzentriert sich seine Forschung auf den MLOps-Lebenszyklus sowie die Leistungsfähigkeit und das Benchmarking von End-to-End-KI-Systemen. Er wirkt an einer Vielzahl von Projekten mit, darunter die Optimierung von Retrieval-Augmented Generation (RAG), umfassende Benchmarking-Studien für große Sprachmodelle (LLM) und die Entwicklung agentenbasierter KI-Frameworks. Ekrem ist spezialisiert auf die Entwicklung datengetriebener Methoden zur Messung und Verbesserung der Leistungsfähigkeit von KI-Technologien anhand kritischer Kennzahlen wie Genauigkeit, Effizienz, API-Kosten und Skalierbarkeit. Seine Analysen umfassen den gesamten Technologie-Stack, von grundlegenden Komponenten wie Einbettungsmodellen und Vektordatenbanken bis hin zur leistungsstarken GPU- und Cloud-Infrastruktur, die für den Einsatz von KI-Agenten erforderlich ist.Ausbildung
Ekrem hat einen Bachelor-Abschluss der Hacettepe Üniversitesi und einen Master-Abschluss der Başkent Üniversitesi.Neueste Artikel von Ekrem
RAG Evaluierungstools: Weights & Biases vs Ragas vs DeepEval
Wenn eine RAG Pipeline den falschen Kontext abruft, generiert der LLM selbstbewusst die falsche Antwort. Kontext-Relevanz-Score sind die primäre Verteidigung. Wir haben fünf Tools unter identischen Bedingungen getestet: 1.460 Fragen und über 14.600 bewertete Kontexte, derselbe Judge-Modell (GPT-4o), Standardkonfigurationen und keine benutzerdefinierten Prompts. Unter Standardbedingungen schnitten WandB, TruLens und Ragas am besten ab. Unter adversarischem…
Remote-Browser: Webinfrastruktur für KI-Agenten im Vergleich
KI-Agenten sind auf Remote-Browser angewiesen, um Webaufgaben automatisch auszuführen, ohne durch Anti-Scraping-Maßnahmen blockiert zu werden. Die Leistung dieser Browserinfrastruktur ist entscheidend für den Erfolg eines Agents. Wir haben 8 Anbieter hinsichtlich Erfolgsquote, Geschwindigkeit und Funktionen getestet. Dazu haben wir 160 automatisierte Aufgaben ausgeführt, wobei wir für jeden Dienst fünfmal vier unterschiedliche Szenarien durchliefen, um die…
Top Vector Database für RAG: Qdrant vs Weaviate vs Pinecone
Vektordatenbanken unterstützen die Abrufschicht in RAG-Workflows, indem sie Dokument- und Query-Embeddings als hochdimensionale Vektoren speichern. Sie ermöglichen schnelle Ähnlichkeitssuchen basierend auf Vektorabständen. Wir haben sechs Anbieter von Vektordatenbanken getestet, wobei wir uns auf ihre Preisstrukturen und Leistungen konzentriert haben: Vektordatenbank-Vergleich: Preisgestaltung & Leistung In diesem Benchmark haben wir verwendet: 1 Million Vektoren-Datensatz von Cohere, wobei…
Graph-Datenbank-Benchmark: Neo4j vs FalkorDB vs Memgraph
Wir haben Neo4j, FalkorDB und Memgraph an einem synthetischen Graphen getestet, der von 120.000 Amazon-Produktbewertungen abgeleitet ist (381K Knoten, 804K Kanten). Wir führten 12 Abfragevorlagen mit jeweils 1.000 Messungen aus, testeten die Ingestion bei 6 Batch-Größen, hielten eine gleichzeitige Last für 60 Sekunden bei bis zu 32 Threads aufrecht und maßen Speicher, Cold Start, gemischte…
Cloud GPU Preisgestaltung, Leistung & Anbietervergleich
Die Listenpreise für Cloud GPU desselben Modells können je nach Anbieter um ein Vielfaches variieren. Wir haben den niedrigsten Tarif, den Anbieter, die Marktbreite und den Median für 40+ GPU-Konfigurationen über alle drei Preisklassen hinweg sowie einen Durchsatz-pro-Dollar-Benchmark für 10 Modelle zusammengestellt. Cloud GPU Preis pro Durchsatz Sehen Sie sich die kosteneffizienteste GPU für Ihren…
Die 20+ besten Agentic RAG-Frameworks
Agentic RAG verbessert traditionelles RAG, indem es die Leistung von LLMs steigert und eine stärkere Spezialisierung ermöglicht. Wir haben einen Benchmark durchgeführt, um die Leistung bei der Weiterleitung zwischen mehreren Datenbanken und der Abfragegenerierung zu bewerten. Entdecken Sie Agentic RAG-Frameworks und -Bibliotheken, die wichtigsten Unterschiede zu Standard-RAG, Vorteile und Herausforderungen, um deren volles Potenzial auszuschöpfen.…
LLM Inferenz-Engines: vLLM vs LMDeploy vs SGLang
Wir haben 3 führende LLM-Inferenz-Engines auf NVIDIA H100 getestet: vLLM, LMDeploy und SGLang. Jede Engine verarbeitete identische Workloads: 1.000 ShareGPT-Prompts mit Llama 3.1 8B-Instruct, um den tatsächlichen Leistungseinfluss ihrer architektonischen Entscheidungen und Optimierungsstrategien zu isolieren. EnginesAm besten geeignet für vLLM-Prototyping und Experimente mit über 100 Modellarchitekturen -Multi GPU-Umgebungen (NVIDIA, AMD, Intel) LMDeploy-Produktionseinsätze, die H100-Leistung mit…
GPU Parallelitäts-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre darauf verwendet, mich auf die Optimierung der systemweiten Rechenleistung zu konzentrieren. Wir haben die neuesten NVIDIA GPUs getestet, einschließlich der NVIDIA’s H100, H200 und B200 sowie der AMD’s MI300X, für eine Analyse der Parallelitäts-Skalierung. Mit dem vLLM-Framework und dem gpt-oss-20b model haben wir getestet, wie diese GPUs parallele Anfragen…
Text-to-SQL: Vergleich der LLM-Genauigkeit
Ich setze seit 18 Jahren SQL für die Datenanalyse ein, beginnend in meiner Zeit als Berater. Die Übersetzung von Fragen in natürlicher Sprache in SQL macht Daten zugänglicher und ermöglicht es jedem, auch Personen ohne technische Fähigkeiten, direkt mit Datenbanken zu arbeiten. Wir haben unsere Text-to-SQL-Benchmark-Methodik auf 34 große Sprachmodelle (LLMs) angewendet, um ihre Leistung…
Beste RAG Tools, Frameworks und Bibliotheken
RAG verbessert LLM-Antworten, indem es sie auf externe Daten stützt, anstatt nur auf das, was das Modell im Training auswendig gelernt hat. Wir haben die Komponenten, aus denen ein RAG-System aufgebaut ist, benchmarkt und die Ergebnisse an einem Ort zusammengefasst, mit einer praktischen Anleitung zur Auswahl jedes Teils des Stacks. Sehen Sie sich unsere Benchmark-Ergebnisse…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.