Premium
Dienstleistungen
Premium
Ekrem Sarı

Ekrem Sarı

KI-Forscher
37 Artikel
Bleiben Sie über B2B-Technologie auf dem Laufenden

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Berufserfahrung

Bei AIMultiple führt Ekrem Benchmarks für End-to-End-KI-Systeme durch und erstellt die Daten-Workflows und Dashboards, die zur Verfolgung von Benchmark- und Produktmetriken verwendet werden. Seine Benchmarks decken Embedding- und Reranker-Models, Vektor- und Graphdatenbanken, Inference-Engines, Quantisierung, GPU-Parallelität und Multi-GPU-Skalierung, Cloud-GPU-Preise und -Anbieter, Text-zu-SQL sowie RAG- und agentische RAG-Frameworks ab.

Vor AIMultiple arbeitete er als Datenwissenschaftler bei Yandex, wo er große Datensätze mit SQL abfragte und analysierte, um die Such- und Rankingqualität anhand detaillierter Richtlinien zu bewerten.

Forschungsinteresse

Ekrems Arbeit konzentriert sich darauf zu messen, wie LLM- und Retrieval-Systeme in der Praxis funktionieren. Er entwirft das Test-Harness, führt die Workloads auf echter Hardware aus und vergleicht Models, Frameworks und Infrastruktur hinsichtlich Genauigkeit, Durchsatz, Latenz, Kosten und Skalierbarkeit – über den gesamten Stack von Embedding-Models und Vektordatenbanken bis hin zu Inference-Engines und GPU-Infrastruktur. Seine MSc-Arbeit automatisiert systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline.

Ausbildung

Ekrem hat einen MSc in Management-Informationssystemen von der Başkent University, wo seine Abschlussarbeit systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline automatisierte, und strebt einen zweiten MSc in Daten- und Wissensengineering an der Hacettepe University an.

Neueste Artikel von Ekrem

KI
Benchmark
14. Okt

RAG-Evaluierungstools: W&B Weave vs Ragas vs TruLens

Wir haben fünf Evaluierungstools für Retrieval-Augmented Generation (RAG) mit 1.000+ adversariellen Fragen getestet, die jeweils mit fünf Passagen gepaart wurden. Der Vergleich misst die Kontextrelevanz mithilfe von GPT-4o und den Standard-Evaluierungsprompts der Tools. W&B Weave erzielte die höchste Top-1-Genauigkeit mit 94,5 %. TruLens führte bei den Ranking-Metriken, einschließlich NDCG@5 mit 0.932. Ihre Platzierungen hängen davon ab,…

Daten
Benchmark
14. Okt

Remote-Browser: Web-Infrastruktur für KI-Agenten im Vergleich

KI-Agenten sind auf Remote-Browser angewiesen, um Web-Aufgaben zu automatisieren, ohne von Anti-Scraping-Maßnahmen blockiert zu werden. Die Leistung dieser Browser-Infrastruktur ist entscheidend für den Erfolg eines Agenten. Wir haben 8 Anbieter hinsichtlich Erfolgsquote, Geschwindigkeit und Funktionen einem Benchmark unterzogen. Dafür führten wir 160 automatisierte Aufgaben aus, wobei wir 4 unterschiedliche Szenarien 5 Mal pro Dienst durchliefen,…

KI
Benchmark
14. Okt

AIM-Text-to-SQL Benchmark: SQL-Genauigkeit bei über 70 LLMs

SQL-Genauigkeit ist der Prozentsatz der bewerteten Abfragen, die das Referenzergebnis zurückgeben. Falsche Routen und als fehlerhaft markierte Referenzen werden ausgeschlossen. Eine Referenzabfrage ist das SQL, das als erwartete Antwort bereitgestellt wird. Jedes Modell erreicht eine andere Menge an SQL-Fragen, da die Bewertung von seinen Datenbankentscheidungen abhängt. Unterschiede in diesen Teilmengen und im Ausführungsaufbau schränken Vergleiche…

KI
Benchmark
14. Okt

AIM-Agentic RAG Benchmark: Routing über 11 SQL-Datenbanken

Die Routing-Genauigkeit ist der Prozentsatz der bewerteten Fragen, bei denen das Model in seiner endgültigen Antwort explizit die richtige Datenbank nennt. Die Hauptkennzahl verwendet die 184 Fragen, die sowohl von unserem Ähnlichkeitstest als auch von einer Jury aus drei LLMs als schwierig eingestuft wurden. Fehlende explizite Angaben werden nicht gewertet. gemini-4-argon wählte bei 173 von…

KI
Benchmark
14. Okt

Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon

Der Testsatz ist die schwierige Teilmenge des FinanceReasoning-Benchmarks (Tang et al.) mit 238 Fragen. Die Genauigkeit ist der Prozentsatz der korrekt beantworteten Fragen. Numerische Antworten erhalten eine relative Toleranz von 0,2 %. Output-Tokens sind die Tokens, die über die 238 Antworten hinweg generiert wurden. Eingabetokens werden bei der Kostenberechnung separat gezählt. Die Kosten sind die berechneten…

KI
Funktionsvergleich
13. Okt

Top 30+ KI-Chip-Hersteller: NVIDIA & seine Konkurrenten

Basierend auf unserer Erfahrung mit dem AIMultiple-Cloud-GPU-Benchmark vergleichen wir Chip-Hersteller nach Produkt, Verfügbarkeit und Architektur, einschließlich Rechenzentrums-GPUs, Mobile-Chips, Edge-Beschleunigern und Foundries. Jede Zeile nennt ein repräsentatives Produkt, dessen Typ und dessen Verfügbarkeit. Die Verfügbarkeit unterscheidet Hardware, die zum Verkauf angeboten wird, Cloud-Dienste, interne Bereitstellungen und angekündigte Produkte. Datumsangaben beziehen sich auf dokumentierte Meilensteine. Künftige Liefertermine…

Agentische KI
Benchmark
9. Okt

Videosuch-API-Benchmark: Bright Data vs. YouTube

Wir haben Bright Data Video Search mit der YouTube-Suche anhand von 50 englischen Suchanfragen aus fünf Anfragetypen verglichen. Beide Suchmaschinen wurden bis zur Erschöpfung abgefragt, und ein Panel aus drei Models bewertete ausgewählte Videoframes. Die nutzbaren Clips pro Suche schätzen, wie viele zurückgegebene Videos das gesuchte Motiv oder die gesuchte Handlung enthalten. Der Wert kombiniert…

KI
Benchmark
1. Okt

Embedding-Models: 25 Models für Retrieval gebenchmarkt

Wir haben 25 Embedding-Models anhand von 200 Retrieval-Fragen aus den Bereichen Finanzen, Rechtsverträge, technischer Support und medizinische Literatur gebenchmarkt. Die vier Korpora enthielten insgesamt 341.040 Textpassagen. Jede Query durchsuchte ihre eigene Domäne. nDCG@10 misst, wie weit oben die erfassten relevanten Passagen in den ersten zehn Ergebnissen erscheinen. Die Scores reichen von 0 bis 1; höhere…

Cybersicherheit
Benchmark
29. Sep

Bot-Erkennung: 9 Anti-Bot-Anbieter im Benchmark

Wir haben das Anti-Bot-Unternehmen identifiziert, das die Top-~3.800 Domains schützt, und gemessen, wie oft jede Domain unsere Bots bei 50.000 Anfragen blockiert hat. Cloudflare schützt 73,3 % der 3.859 Domains und verzeichnete eine Blockrate von 6,7 %. Imperva schützt 3,7 % und verzeichnete 46,6 %. Die beiden Messgrößen ordnen die neun Unternehmen in nahezu entgegengesetzter Reihenfolge ein. Erläuterung der…

Cybersicherheit
Benchmark
29. Sep

DLP-Software-Benchmark

Wir haben Acronis DeviceLock DLP und ManageEngine DLP Plus auf identischen Windows Server 2022 VMs einem Benchmark mit 28 Szenarien unterzogen: 23 Datenleck-Tests (einschließlich 12 Adversarial-Evasion-Dateien), 3 Agentensicherheitstests und 2 Tests unter hoher CPU- und Speicherauslastung. Für die anderen DLP-Produkte, Netwrix Endpoint Protector, Sophos Intercept X, Teramind DLP und Trellix DLP, haben wir deren Funktionen…