Künstliche Intelligenz
Entdecken Sie praxisnahe Einblicke, Forschungsergebnisse und Benchmarks im Bereich der künstlichen Intelligenz, darunter generative KI, große Sprachmodelle, RAG, Governance-Frameworks, MLOps-Praktiken und KI-Hardware. Verschaffen Sie sich ein Verständnis für wichtige Werkzeuge, Implementierungsstrategien und Anwendungsfälle in Unternehmen, die KI-Landschaft prägen.
Künstliche Intelligenz erkunden
- LLMEinblick21. Sep
LLM VRAM-Rechner für Self-Hosting
Self-Hosting eines LLMs bedeutet, Inferenz auf Hardware auszuführen, die der Betreiber kontrolliert, statt über eine API eines Drittanbieters, was Kosten, Datenkontrolle und Datenschutzprofil verändert. Ob ein Modell überhaupt läuft, hängt vom Speicher ab. Der Rechner schätzt den VRAM oder Unified Memory, den ein Modell lokal benötigt, basierend auf dem Modell, seiner Präzision, der Kontextlänge und…
- KI-HardwareBenchmark21. Sep
Multi-GPU-Benchmark: B200 vs. H200 vs. H100 vs. MI300X
Seit über zwei Jahrzehnten ist die Optimierung der Rechenleistung ein Eckpfeiler meiner Arbeit. Wir haben die B200, H200, H100 von NVIDIA und die MI300X von AMD einem Benchmark unterzogen, um zu bewerten, wie gut sie für die Large Language Model (LLM)-Inferenz skalieren. Mit dem vLLM-Framework und dem Modell meta-llama/Llama-3.1-8B-Instruct führten wir Tests auf 1, 2,…
- KI-HardwareBenchmark21. Sep
GPU Parallelitäts-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre auf die Optimierung der Rechenleistung auf Systemebene konzentriert. Wir haben die neuesten NVIDIA-GPUs getestet, einschließlich der NVIDIA’s H100, H200 und B200 sowie der AMD’s MI300X, um die Parallelitätsskalierung zu analysieren. Unter Verwendung des vLLM-Framework mit dem gpt-oss-20b model haben wir getestet, wie diese GPUs gleichzeitige Anfragen von 1 bis…
- LLMBenchmark18. Sep
Agentic IT: Können KI-Agenten einen Benchmark entwerfen
Wir haben 16 Models anhand eines Benchmark-Entwurfs in Text-zu-SQL und Tool-Calling getestet. Jedes Model erstellte einen Benchmark pro Thema, insgesamt 32 Einreichungen. Keine Einreichung erfüllte jedes Rubrik-Kriterium. Die Agenten konnten Tests erstellen und ausführen, aber keiner führte sowohl einen Leerantwort-Test als auch einen Richtigantwort-Test des eigenen Scorers vor. Text-zu-SQL wandelt eine Frage in natürlicher Sprache…
- LLMBenchmark17. Sep
AIM Enterprise: Agentischer Unternehmens-Benchmark
Unternehmen nutzen LLMs jeden Tag für ihre regulären Aufgaben. Um die kosteneffizientesten LLMs zu finden, haben wir AIM Enterprise entwickelt, einen agentischen Unternehmens-Benchmark, bei dem wir 69 reale Unternehmensaufgaben aus Strategie, Marketing, HR, Vertrieb und Betrieb verwendet haben. Zwei Bewerter-Models bewerteten jede Datei, die Prüfungen bestand. Bei 32,7 % der Einzelbewertungen wichen die beiden um…
- KI-HardwareBenchmark17. Sep
DGX Spark Alternativen: RTX, Ryzen KI Halo und Mac Studio
Wir vergleichen veröffentlichte Inference-Benchmarks für DGX Spark, RTX und Ryzen KI Halo, einschließlich Prompt-Verarbeitung, Token-Generierung und längeren Kontexten. Zu den Alternativen gehören Framework Desktop, Mac Studio und GB10-Systeme anderer Hersteller. Die Decode-Geschwindigkeit misst die pro Sekunde generierten Output-Tokens. Höhere Werte bedeuten eine schnellere Antwortgenerierung. Alle sechs Ergebnisse verwenden GPT-OSS 20B MXFP4 in Ollama bei Batchgröße…
- KI-HardwareOpen-World-Bewertung16. Sep
Kostenlose Cloud-GPUs: Modelle, Limits und Zugriffsanforderungen
Kostenlose Cloud-GPUs sind über Python-Notebooks, KI-Demos und monatliche Compute-Guthaben verfügbar. Vergleichen Sie GPU-Hardware, free-Kontingente und Zugriffsanforderungen oder prüfen Sie, welche Dienste zu Ihrer Arbeitslast passen. Zwei T4s bieten zwei getrennte 16-GB-Speicherzuweisungen. Das Ausführen eines Modells über beide hinweg erfordert Software, die Arbeitslast verteilt. Die kombinierte Kapazität macht aus keiner der beiden GPUs ein 32-GB-Gerät.…
- ChatbotsEinblick15. Sep
Wu Dao 3.0: Chinas Version von GPT-5
Als die USA den Zugang Chinas zu fortschrittlichen Chips unterbrachen, stand die Beijing Academy of Artificial Intelligence vor einer Wahl: sich über Einschränkungen beschweren oder Wege finden, sie zu umgehen. Sie wählten die zweite Option. Wu Dao 3.0, das im Juli 2023 veröffentlicht wurde, verwirft das alte Spielbuch. Keine riesigen Modelle mit Billionen von Parametern,…