Premium
Dienstleistungen
Premium
Ekrem Sarı

Ekrem Sarı

KI-Forscher
37 Artikel
Bleiben Sie über B2B-Technologie auf dem Laufenden

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Berufserfahrung

Bei AIMultiple führt Ekrem Benchmarks für End-to-End-KI-Systeme durch und erstellt die Daten-Workflows und Dashboards, die zur Verfolgung von Benchmark- und Produktmetriken verwendet werden. Seine Benchmarks decken Embedding- und Reranker-Models, Vektor- und Graphdatenbanken, Inference-Engines, Quantisierung, GPU-Parallelität und Multi-GPU-Skalierung, Cloud-GPU-Preise und -Anbieter, Text-zu-SQL sowie RAG- und agentische RAG-Frameworks ab.

Vor AIMultiple arbeitete er als Datenwissenschaftler bei Yandex, wo er große Datensätze mit SQL abfragte und analysierte, um die Such- und Rankingqualität anhand detaillierter Richtlinien zu bewerten.

Forschungsinteresse

Ekrems Arbeit konzentriert sich darauf zu messen, wie LLM- und Retrieval-Systeme in der Praxis funktionieren. Er entwirft das Test-Harness, führt die Workloads auf echter Hardware aus und vergleicht Models, Frameworks und Infrastruktur hinsichtlich Genauigkeit, Durchsatz, Latenz, Kosten und Skalierbarkeit – über den gesamten Stack von Embedding-Models und Vektordatenbanken bis hin zu Inference-Engines und GPU-Infrastruktur. Seine MSc-Arbeit automatisiert systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline.

Ausbildung

Ekrem hat einen MSc in Management-Informationssystemen von der Başkent University, wo seine Abschlussarbeit systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline automatisierte, und strebt einen zweiten MSc in Daten- und Wissensengineering an der Hacettepe University an.

Neueste Artikel von Ekrem

KI
Benchmark
23. Sep

Agentic RAG-Benchmark: Multidatenbank-Routing über 36 LLMs

Wir haben 36 große Sprachmodelle beim Cross-Database-Routing getestet. Jedes Modell erhält eine natürlichsprachliche Frage und 11 SQL-Datenbanken, die auf Absatzebene beschrieben sind, und muss dann entscheiden, welche Datenbank die Antwort enthält, bevor es SQL schreibt. Die 11 Datenbanken wurden aus 80 BIRD-SQL-Kandidaten ausgewählt, indem ihre Beschreibungseinbettungen geclustert wurden, sodass die Kandidaten semantisch nahe beieinander liegen…

Cybersicherheit
Benchmark
22. Sep

Backup-Software-Benchmark: Acronis vs NinjaOne vs Comet vs MSP360

Wir haben NinjaOne Backup, Acronis Cyber Protect Cloud Backup, Comet Backup und MSP360 Managed Backup auf identischer AWS-Infrastruktur einem Benchmark unterzogen. Jeder Anbieter führte ein dateibasiertes Backup derselben Workload mit 625.946 Dateien / 50 GB sowie ein vollständiges Image-Backup der Systemfestplatte durch und stellte anschließend das mittlere Unterverzeichnis mit 15 GB wieder her. Hier sind…

KI
Benchmark
22. Sep

Text-zu-SQL: Vergleich der LLM-Genauigkeit

Wir haben 36 große Sprachmodelle über 759 Fragen aus BIRD-SQL ausgeführt, wobei jedes Modell SQL gegen eine Datenbank schrieb, die es selbst aus 11 Kandidaten identifizieren musste. Jede parsebare Abfrage wurde gegen die echte Datenbank ausgeführt und ihre Ergebnismenge mit der Ergebnismenge der Gold-Abfrage von BIRD verglichen. Fehlende, fehlerhafte und bei der Ausführung fehlgeschlagene Abfragen…

KI
Funktionsvergleich
22. Sep

Cloud GPU-Mietpreisindex

Wir verfolgen veröffentlichte Cloud-GPU-Mietpreise für 17 Models bei 75 Anbietern und decken On-Demand-, Spot- und Reservierungstarife ab. Zuletzt veröffentlicht weist den größten Preisanstieg unter den drei Gruppen auf. Sein On-Demand-Median stieg von $2,12 pro GPU-Stunde im Oktober 2024 auf $4,72 im September 2026. Im selben Zeitraum bewegte sich die Gruppe Modern von $1,35 auf $1,45,…

KI
Benchmark
22. Sep

Reranker-Benchmark: Top 8 Modelle im Vergleich

Wir haben 8 Reranker-Modelle auf ~145k englischen Amazon-Rezensionen getestet, um zu messen, wie stark eine Reranking-Stufe das Dense Retrieval verbessert. Wir haben Top-100-Kandidaten mit multilingual-e5-base abgerufen, sie mit jedem Modell neu gerankt und die Top-10-Ergebnisse anhand von 300 Anfragen bewertet, von denen sich jede auf konkrete Details aus ihrer Quell-Rezension bezieht. Der beste Reranker erhöhte…

KI
Funktionsvergleich
21. Sep

Top 30+ KI-Chip-Hersteller: NVIDIA & seine Konkurrenten

Basierend auf unserer Erfahrung mit dem AIMultiple-Cloud-GPU-Benchmark vergleichen wir Chip-Hersteller nach Produkt, Verfügbarkeit und Architektur, einschließlich Rechenzentrums-GPUs, Mobil-Chips, Edge-Beschleunigern und Foundries. Jede Zeile nennt ein repräsentatives Produkt, seinen Typ und seine Verfügbarkeit. Die Verfügbarkeit unterscheidet zwischen Hardware zum Verkauf, Cloud-Diensten, internen Bereitstellungen und angekündigten Produkten. Daten beziehen sich auf dokumentierte Meilensteine. Zukünftige Auslieferungstermine bleiben Zielwerte.…

Cybersicherheit
Benchmark
21. Sep

Bot-Erkennung: 9 Anti-Bot-Anbieter im Benchmark

Wir haben zwei Benchmarks gegen Live-Websites ausgeführt, dann das Anti-Bot-Unternehmen vor jeder Domain identifiziert und gemessen, wie oft die Domains jedes Unternehmens den angeforderten Inhalt zurückgaben. Das umfasst über 3.800 gekennzeichnete Domains und über 50.000 Anfragen. Der erste Benchmark lud Produkt- und Suchseiten auf 100 E-Commerce-Domains, jeweils 50 URLs. Der zweite lud 10.000 allgemeine Web-URLs,…

Daten
Benchmark
21. Sep

Remote Browser: Web-Infrastruktur für KI-Agenten im Vergleich

KI-Agenten sind auf Remote-Browser angewiesen, um Web-Aufgaben zu automatisieren, ohne von Anti-Scraping-Maßnahmen blockiert zu werden. Die Leistung dieser Browser-Infrastruktur ist entscheidend für den Erfolg eines Agenten. Wir haben 8 Anbieter hinsichtlich Erfolgsrate, Geschwindigkeit und Funktionen einem Benchmark unterzogen. Dazu haben wir 160 automatisierte Aufgaben ausgeführt und 4 verschiedene Szenarien jeweils 5 Mal pro Dienst durchlaufen,…

Daten
Benchmark
21. Sep

Großangelegtes Web Scraping: 7 Anbieter im Benchmark

Wir führten zwei Benchmarks gegen Live-Websites durch, von 5 bis 5.000 gleichzeitigen Anfragen. Der erste schickte 260.000 Anfragen durch vier Web Unblocker über die Tranco-Top-10.000-Domains sowie einen Markdown-Extraktionstest auf 10.000 URLs. Der zweite holte 65.000 Produkt- und Suchseiten von jedem der fünf Scraping-Anbieter über 100 E-Commerce-Domains. Erklärung der Metriken Inhaltlich verifizierte Erfolgsquote: der Anteil der…

Daten
Benchmark
21. Sep

E-Commerce-Scraper: 4 Anbieter im Benchmark

Wir haben vier Webdaten-Anbieter über 100 E-Commerce-Domains hinweg einem Benchmark unterzogen und dabei jeweils 65.000 Produkt- und Suchseiten mit 5 bis 5.000 gleichzeitigen Anfragen abgerufen. Über die Parallelitätsstufen gemittelt erreichte Bright Data die höchste Erfolgsrate (76 %) bei einem Median von 16 Sekunden. Apify verzeichnete die höchste mediane Antwortzeit mit 46 Sekunden. Die Antwortzeit wird als…