Ekrem Sarı
Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.
Berufserfahrung
Bei AIMultiple führt Ekrem Benchmarks für End-to-End-KI-Systeme durch und erstellt die Daten-Workflows und Dashboards, die zur Verfolgung von Benchmark- und Produktmetriken verwendet werden. Seine Benchmarks decken Embedding- und Reranker-Models, Vektor- und Graphdatenbanken, Inference-Engines, Quantisierung, GPU-Parallelität und Multi-GPU-Skalierung, Cloud-GPU-Preise und -Anbieter, Text-zu-SQL sowie RAG- und agentische RAG-Frameworks ab.
Vor AIMultiple arbeitete er als Datenwissenschaftler bei Yandex, wo er große Datensätze mit SQL abfragte und analysierte, um die Such- und Rankingqualität anhand detaillierter Richtlinien zu bewerten.
Forschungsinteresse
Ekrems Arbeit konzentriert sich darauf zu messen, wie LLM- und Retrieval-Systeme in der Praxis funktionieren. Er entwirft das Test-Harness, führt die Workloads auf echter Hardware aus und vergleicht Models, Frameworks und Infrastruktur hinsichtlich Genauigkeit, Durchsatz, Latenz, Kosten und Skalierbarkeit – über den gesamten Stack von Embedding-Models und Vektordatenbanken bis hin zu Inference-Engines und GPU-Infrastruktur. Seine MSc-Arbeit automatisiert systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline.
Ausbildung
Ekrem hat einen MSc in Management-Informationssystemen von der Başkent University, wo seine Abschlussarbeit systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline automatisierte, und strebt einen zweiten MSc in Daten- und Wissensengineering an der Hacettepe University an.
Neueste Artikel von Ekrem
Remote-Browser: Web-Infrastruktur für KI-Agenten im Vergleich
KI-Agenten sind auf Remote-Browser angewiesen, um Web-Aufgaben zu automatisieren, ohne von Anti-Scraping-Maßnahmen blockiert zu werden. Die Leistung dieser Browser-Infrastruktur ist entscheidend für den Erfolg eines Agenten. Wir haben 8 Anbieter hinsichtlich Erfolgsquote, Geschwindigkeit und Funktionen einem Benchmark unterzogen. Dafür führten wir 160 automatisierte Aufgaben aus, wobei wir 4 unterschiedliche Szenarien 5 Mal pro Dienst durchliefen,…
Videosuch-API-Benchmark: Bright Data vs. YouTube
Wir haben Bright Data Video Search mit der YouTube-Suche anhand von 50 englischen Suchanfragen aus fünf Anfragetypen verglichen. Beide Suchmaschinen wurden bis zur Erschöpfung abgefragt, und ein Panel aus drei Models bewertete ausgewählte Videoframes. Die nutzbaren Clips pro Suche schätzen, wie viele zurückgegebene Videos das gesuchte Motiv oder die gesuchte Handlung enthalten. Der Wert kombiniert…
Embedding-Models: 25 Models für Retrieval gebenchmarkt
Wir haben 25 Embedding-Models anhand von 200 Retrieval-Fragen aus den Bereichen Finanzen, Rechtsverträge, technischer Support und medizinische Literatur gebenchmarkt. Die vier Korpora enthielten insgesamt 341.040 Textpassagen. Jede Query durchsuchte ihre eigene Domäne. nDCG@10 misst, wie weit oben die erfassten relevanten Passagen in den ersten zehn Ergebnissen erscheinen. Die Scores reichen von 0 bis 1; höhere…
DLP-Software-Benchmark
Wir haben Acronis DeviceLock DLP und ManageEngine DLP Plus auf identischen Windows Server 2022 VMs einem Benchmark mit 28 Szenarien unterzogen: 23 Datenleck-Tests (einschließlich 12 Adversarial-Evasion-Dateien), 3 Agentensicherheitstests und 2 Tests unter hoher CPU- und Speicherauslastung. Für die anderen DLP-Produkte, Netwrix Endpoint Protector, Sophos Intercept X, Teramind DLP und Trellix DLP, haben wir deren Funktionen…
Großangelegtes Web Scraping: 7 Anbieter im Benchmark
Wir führten zwei Benchmarks gegen Live-Websites durch, von 5 bis 5.000 gleichzeitigen Anfragen. Der erste schickte 260.000 Anfragen durch vier Web Unblocker über die Tranco-Top-10.000-Domains sowie einen Markdown-Extraktionstest auf 10.000 URLs. Der zweite holte 65.000 Produkt- und Suchseiten von jedem der fünf Scraping-Anbieter über 100 E-Commerce-Domains. Erklärung der Metriken Inhaltlich verifizierte Erfolgsquote: der Anteil der…
E-Commerce-Scraper: 4 Anbieter im Benchmark
Wir haben vier Webdaten-Anbieter über 100 E-Commerce-Domains hinweg einem Benchmark unterzogen und dabei jeweils 65.000 Produkt- und Suchseiten mit 5 bis 5.000 gleichzeitigen Anfragen abgerufen. Über die Parallelitätsstufen gemittelt erreichte Bright Data die höchste Erfolgsrate (76 %) bei einem Median von 16 Sekunden. Apify verzeichnete die höchste mediane Antwortzeit mit 46 Sekunden. Die Antwortzeit wird als…
Open Source Embedding Models: 11 Models im Retrieval-Benchmark
Der nDCG@10 bewertet die Platzierung der aufgezeichneten relevanten Passagen innerhalb der ersten zehn Suchergebnisse. Ein Wert von 1 repräsentiert das ideale Ranking für die aufgezeichneten Positivtreffer. Passagen, die weiter oben stehen, erhalten mehr Gewicht. PPLX Embed v1 4B führte den Vergleich mit 0.741 nDCG@10 an, gefolgt von PPLX Embed v1 0.6B mit 0.698. Multilingual E5…
Backup-Software-Benchmark: Acronis vs NinjaOne vs Comet vs MSP360
Wir haben NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup und MSP360 Managed Backup auf identischer AWS-Infrastruktur einem Benchmark unterzogen. Jeder Anbieter führte ein dateibasiertes Backup derselben Workload mit 625.946 Dateien / 50 GB sowie ein vollständiges Image-Backup der Systemfestplatte durch und stellte anschließend das mittlere Unterverzeichnis mit 15 GB wieder her. Hier sind…
Cloud-GPU-Mietpreisindex
Die Gruppe „Zuletzt veröffentlicht“ verzeichnet den größten Preisanstieg unter den drei Gruppen. Ihr On-Demand-Median stieg von $2,12 pro GPU-Stunde im Oktober 2024 auf $4,72 im September 2026. Im selben Zeitraum bewegte sich die Gruppe „Modern“ von $1,35 auf $1,45, während Legacy von $1,77 auf $0,95 fiel. Jeder Median verwendet die in dem jeweiligen Monat vorhandenen…
Top 70+ Cloud-GPU-Anbieter
Cloud-GPU-Anbieter lassen sich in drei Stufen einteilen. Hyperscaler betreiben breite Cloud-Plattformen, bei denen die GPU-Vermietung ein Produkt unter vielen ist. Spezialisierte Neoclouds konzentrieren sich auf GPU- und KI-Infrastruktur als Kernprodukt. Community-Marktplätze bündeln Inventar von vielen kleinen Betreibern, oft am unteren Ende der veröffentlichten Preisspanne. Spaltendefinitionen: Ranking: Abonnenten sind oben in der Tabelle verlinkt und hervorgehoben.…
AIMultiple Newsletter
1 kostenlose E-Mail pro Woche mit den neuesten B2B-Technachrichten und Experten Einblicken.