Premium
Dienstleistungen
Premium
Ekrem Sarı

Ekrem Sarı

KI-Forscher
37 Artikel
Bleiben Sie über B2B-Technologie auf dem Laufenden

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Berufserfahrung

Bei AIMultiple führt Ekrem Benchmarks für End-to-End-KI-Systeme durch und erstellt die Daten-Workflows und Dashboards, die zur Verfolgung von Benchmark- und Produktmetriken verwendet werden. Seine Benchmarks decken Embedding- und Reranker-Models, Vektor- und Graphdatenbanken, Inference-Engines, Quantisierung, GPU-Parallelität und Multi-GPU-Skalierung, Cloud-GPU-Preise und -Anbieter, Text-zu-SQL sowie RAG- und agentische RAG-Frameworks ab.

Vor AIMultiple arbeitete er als Datenwissenschaftler bei Yandex, wo er große Datensätze mit SQL abfragte und analysierte, um die Such- und Rankingqualität anhand detaillierter Richtlinien zu bewerten.

Forschungsinteresse

Ekrems Arbeit konzentriert sich darauf zu messen, wie LLM- und Retrieval-Systeme in der Praxis funktionieren. Er entwirft das Test-Harness, führt die Workloads auf echter Hardware aus und vergleicht Models, Frameworks und Infrastruktur hinsichtlich Genauigkeit, Durchsatz, Latenz, Kosten und Skalierbarkeit – über den gesamten Stack von Embedding-Models und Vektordatenbanken bis hin zu Inference-Engines und GPU-Infrastruktur. Seine MSc-Arbeit automatisiert systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline.

Ausbildung

Ekrem hat einen MSc in Management-Informationssystemen von der Başkent University, wo seine Abschlussarbeit systematische Literaturrecherchen mit einer auf RAG basierenden Pipeline automatisierte, und strebt einen zweiten MSc in Daten- und Wissensengineering an der Hacettepe University an.

Neueste Artikel von Ekrem

KI
Benchmark
3. Nov

Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon

Das Testset ist die schwere Teilmenge des FinanceReasoning-Benchmarks (Tang et al.) mit 238 Fragen. Die Genauigkeit ist der Prozentsatz der korrekt beantworteten Fragen. Numerische Antworten erhalten eine relative Toleranz von 0,2 %. Output-Tokens sind die Tokens, die über die 238 Antworten hinweg generiert wurden. Input-Tokens werden bei der Kostenberechnung separat gezählt. Die Kosten sind die berechneten…

KI
Benchmark
3. Nov

AIM-Text-to-SQL-Benchmark: SQL-Genauigkeit über 70+ LLMs

SQL-Genauigkeit ist der Prozentsatz der bewerteten Abfragen, die das Referenzergebnis zurückgeben. Falsche Routen und als fehlerhaft markierte Referenzen werden ausgeschlossen. Eine Referenzabfrage ist die SQL, die als erwartete Antwort angegeben wird. Jedes Modell erreicht eine andere Menge von SQL-Fragen, da die Bewertung von seinen Datenbankentscheidungen abhängt. Unterschiede in diesen Teilmengen und im Ausführungssetup schränken Vergleiche…

Cybersicherheit
Benchmark
1. Nov

Bot-Erkennung: 9 Anti-Bot-Anbieter im Benchmark

Wir haben den Inhaltsabruf über mehr als 3.800 gekennzeichnete Domains mit drei kommerziellen Scraping-Diensten gemessen. Wir haben die Ergebnisse nach den Anti-Bot-Unternehmen gruppiert, die auf diesen Domains identifiziert wurden. Cloudflare wurde auf 73,3 % der 3.859 gekennzeichneten Domains identifiziert. Die Blockrate dieser Gruppe lag bei 6,7 %. Imperva wurde auf 3,7 % der Domains identifiziert, mit einer Blockrate…

KI
Benchmark
30. Okt

AIM-Agentic RAG Benchmark: Routing über 11 SQL-Datenbanken

Die Routing-Genauigkeit ist der Prozentsatz der bewerteten Fragen, bei denen das Modell in seiner endgültigen Antwort die richtige Datenbank explizit nennt. Die Headline verwendet die 184 Fragen, die sowohl von unserem Ähnlichkeitstest als auch von einer Jury aus drei LLMs als schwierig markiert wurden. Fehlende explizite Angaben erhalten keine Punkte. gemini-4-argon wählte bei 173 von…

KI
Einblick
26. Okt

Top 30+ KI-Chip-Hersteller: NVIDIA & seine Konkurrenten

Basierend auf unserer Erfahrung mit dem AIMultiple-Cloud-GPU-Benchmark vergleichen wir Chip-Hersteller nach Produkt, Verfügbarkeit und Architektur, einschließlich Rechenzentrums-GPUs, Mobile-Chips, Edge-Beschleunigern und Foundries. Jede Zeile nennt ein repräsentatives Produkt, dessen Typ und dessen Verfügbarkeit. Die Verfügbarkeit unterscheidet Hardware, die zum Verkauf angeboten wird, Cloud-Dienste, interne Bereitstellungen und angekündigte Produkte. Datumsangaben beziehen sich auf dokumentierte Meilensteine. Künftige Liefertermine…

Agentische KI
Benchmark
23. Okt

Agentische Suche: Benchmark von 8 Such-APIs für Agenten

Agentische Suche spielt eine entscheidende Rolle, wenn es darum geht, die Lücke zwischen herkömmlichen Suchmaschinen und KI-Suchfunktionen zu überbrücken. Such-APIs sind die erste Schicht eines agentischen Tools, bei der die Leistung die Qualität von allem nachgelagerten begrenzt. Wir haben 8 Such-APIs über 100 reale KI-/LLM-Anfragen hinweg einem Benchmark unterzogen und 4.000 abgerufene Ergebnisse mit einem…

KI
Funktionsvergleich
22. Okt

Kostenlose Cloud-GPUs: Modelle, Limits und Zugriffsanforderungen

Kostenlose Cloud-GPUs sind über Python-Notebooks, KI-Demos und monatliche Compute-Guthaben verfügbar. Vergleichen Sie GPU-Hardware, free-Kontingente und Zugriffsanforderungen oder prüfen Sie, welche Dienste zu Ihrer Arbeitslast passen. Zwei T4s bieten zwei getrennte 16-GB-Speicherzuweisungen. Das Ausführen eines Modells über beide hinweg erfordert Software, die Arbeitslast verteilt. Die kombinierte Kapazität macht aus keiner der beiden GPUs ein 32-GB-Gerät.…

Unternehmenssoftware
Benchmark
22. Okt

E-Mail-Archivierungssoftware-Benchmark

Wir haben einen Microsoft 365 Mandanten bereitgestellt, ihn mit einem synthetischen Korpus aus 10.000 E-Mails und 1.700 Anhängen über 8 Dateityp-Untertypen befüllt und anschließend NinjaOne SaaS Archiver, Barracuda Cloud Archiving Service, Acronis Cyber Protect Cloud Email Archiving und MailPiler auf demselben Mandanten anhand von 10 Dimensionen einem Benchmark unterzogen, die Erfassung, Suche, Anhangs-Wiederauffindung, Export, Unveränderbarkeit,…

KI
Benchmark
15. Okt

Reranker-Benchmark: Top 8 Modelle im Vergleich

Wir haben 8 Reranker-Modelle auf ~145k englischen Amazon-Rezensionen getestet, um zu messen, wie stark eine Reranking-Stufe das Dense Retrieval verbessert. Wir haben Top-100-Kandidaten mit multilingual-e5-base abgerufen, sie mit jedem Modell neu gerankt und die Top-10-Ergebnisse anhand von 300 Anfragen bewertet, von denen sich jede auf konkrete Details aus ihrer Quell-Rezension bezieht. Der beste Reranker erhöhte…

KI
Benchmark
14. Okt

RAG-Evaluierungstools: W&B Weave vs Ragas vs TruLens

Wir haben fünf Evaluierungstools für Retrieval-Augmented Generation (RAG) mit 1.000+ adversariellen Fragen getestet, die jeweils mit fünf Passagen gepaart wurden. Der Vergleich misst die Kontextrelevanz mithilfe von GPT-4o und den Standard-Evaluierungsprompts der Tools. W&B Weave erzielte die höchste Top-1-Genauigkeit mit 94,5 %. TruLens führte bei den Ranking-Metriken, einschließlich NDCG@5 mit 0.932. Ihre Platzierungen hängen davon ab,…