Modèles d'IA
Les modèles d'IA prédisent des résultats à partir de leurs données d'entraînement. Ils peuvent fonctionner dans tous les domaines, tels que les nombres, le texte ou le multimédia.
Comparer 9 grands modèles de langage dans le domaine de la santé
LLMComparaison des Fonctionnalités3 novNous avons évalué 9 LLMs à l'aide du dataset MedQA, un benchmark d'examen clinique de niveau universitaire dérivé des questions de l'USMLE. Chaque modèle a répondu aux mêmes scénarios cliniques à choix multiples à l'aide d'un prompt standardisé, permettant une comparaison directe de la précision. Nous avons également enregistré la latence par question en divisant…
- LLMBenchmark3 nov
Benchmark de 90+ LLMs en finance: Claude Opus 5.5 & Gemini 4 Argon
Le jeu de test est le sous-ensemble difficile du benchmark FinanceReasoning (Tang et al.), avec 238 questions. La précision correspond au pourcentage de questions ayant obtenu une réponse correcte. Les réponses numériques reçoivent une tolérance relative de 0,2 %. Les tokens de sortie correspondent aux tokens générés sur l’ensemble des 238 réponses. Les tokens d’entrée sont…
- LLMBenchmark3 nov
Benchmark AIM-Text-to-SQL: précision SQL sur plus de 70 LLMs
La précision SQL est le pourcentage de requêtes notées qui renvoient le résultat de référence. Les routages incorrects et les références signalées comme défectueuses sont exclus. Une requête de référence est le SQL fourni comme réponse attendue. Chaque modèle atteint un ensemble différent de questions SQL car la notation dépend de ses choix de base…
- LLMAnalyse2 nov
LLM Paramètres: types, mise à l'échelle, guide du fine-tuning
Le nombre de paramètres est l’une des spécifications les plus citées d’un LLM, mais il ne détermine pas les performances d’un modèle ni combien il coûte à exécuter. Le graphique ci-dessous compare 31 modèles selon leur score à l’indice LLM et leur coût moyen par tâche sur sept benchmarks. Quatre modèles forment la ligne de…
- Modèles d'IA29 oct
Benchmark de classification de séries temporelles: Foundation Models contre méthodes classiques
Nous avons benchmarké 13 méthodes de classification de séries temporelles, des foundation models de séries temporelles préentraînés à une baseline de 22 caractéristiques de 2019, sur 33 datasets UCR/UEA sous un protocole figé unique. Cela représente 14 638 cellules méthode-dataset-resample enregistrées, dont 11 874 notées. Le graphique compare 12 méthodes sur les 15 datasets univariés que chacune…
- LLMAnalyse28 oct
L'avenir des grands modèles de langage
Découvrez l'avenir des grands modèles de langage en comparant des approches, telles que l'auto-entraînement, la vérification des faits et l'expertise parcimonieuse, qui pourraient remédier aux limites des LLM. LLMs accèdent à des sources externes pendant les conversations au lieu de s'appuyer sur les données d'entraînement. Le modèle interroge des bases de données externes, récupère les…
- System OneBenchmark27 oct
AIM-Decision: Jev vs Clef vs LLMs
Les modèles de décision, aussi appelés modèles System One, évaluent un ensemble fixe d’options au lieu de générer du texte token par token. Nous avons testé 59 modèles de décision sur 1 655 questions de classification, comme l’évaluation de la gravité d’une faille de sécurité ou d’un rappel de produit, et avons exécuté 46 d’entre eux…
- LLMBenchmark27 oct
Passerelles IA pour OpenAI: alternatives à OpenRouter
Nous avons benchmarké OpenRouter, SambaNova, TogetherAI, Groq et IA/ML API selon trois indicateurs (latence du premier token, latence totale et nombre de tokens de sortie), avec 300 tests utilisant des prompts courts (environ 18 tokens) et des prompts longs (environ 203 tokens) pour la latence totale. Si vous envisagez d’utiliser l’une de ces passerelles IA,…