Agents d'utilisation d'ordinateur: Benchmark et architecture
Les agents d'utilisation d'ordinateur opèrent sur de vrais bureaux et applications web. Leurs conceptions, limites et compromis sont souvent peu clairs. Nous décomposons le fonctionnement des principaux systèmes, leur manière d'apprendre et les différences entre leurs architectures. Nous faisons également référence à un benchmark ciblé de grounding UI sur 100 captures d'écran de bureau, couvrant 4 types de tâches et 5 essais par échantillon. Il isole la qualité de la perception visuelle et montre pourquoi des modèles vision-langage performants sont importants, même pour les agents composés.
Résultats du benchmark de grounding UI
Pour les détails méthodologiques du benchmark, consultez les détails du benchmark.
- Les modèles Qwen3-VL atteignent une précision d'environ 90 %, avec une faible erreur (≈7–9 px).
- Les modèles spécialisés UI comme UI-TARS obtiennent de moins bons résultats (précision d'environ 38 %) et présentent une forte variance et de grandes erreurs, en particulier sur les interfaces dépendantes de l'état et denses.
- Les interfaces dépendantes de l'état et les UI denses sont les cas les plus difficiles pour la plupart des modèles.
Principaux agents d'utilisation d'ordinateur
Consultez la section fonctionnalités pour les caractéristiques du tableau, et examinez la section approches architecturales pour les détails de l'architecture des agents d'utilisation d'ordinateur.
Aperçu Computer Use d'OpenAI
L'aperçu Computer Use d'OpenAI est un modèle spécialisé conçu pour comprendre et exécuter des tâches informatiques via l'API Responses. Il se concentre sur les entrées et sorties textuelles, avec une entrée d'image optionnelle, mais ne prend pas en charge l'audio ou la vidéo.
Anthropic Claude Computer Use
Claude Computer Use est une fonctionnalité bêta qui permet à Claude d'interagir avec un environnement de bureau ou de fenêtres, comme le ferait une personne. Il fonctionne en voyant l'écran, en déplaçant la souris et en tapant au clavier.
Claude ne peut pas agir seul sans la configuration d'un développeur. Il n'accède pas automatiquement à votre véritable ordinateur ; il interagit avec la sandbox que vous fournissez.
Open Interpreter (mode OS)
Open Interpreter est un agent de terminal open source. Il exécute du code et interagit avec le système d'exploitation. Open Interpreter s'exécute sur la machine locale, il peut donc accéder directement aux fichiers, programmes et navigateur locaux. L'utilisateur donne des instructions en langage naturel, et l'agent les transforme en code. Avant toute exécution de code, Open Interpreter affiche la commande prévue et attend une approbation.
Simular Agent S/S3
Simular Agent S3 est un agent d'utilisation d'ordinateur qui fonctionne en observant les écrans, en planifiant des actions et en contrôlant la souris et le clavier pour accomplir des tâches complexes. Il fait partie du framework open source Agent S pour l'interaction GUI autonome.
Le Behavior Best-of-N (bBoN) est une méthode fondamentale qui permet à Agent S3 de générer plusieurs séquences d'actions possibles (« rollouts »), plutôt qu'une seule exécution. Il transforme chaque rollout en un récit de comportement, qui est un résumé simple de ce qui s'est passé. Une étape de jugement distincte choisit ensuite la meilleure exécution.
Cua IA
Cua IA est un framework open source qui permet de construire, d'exécuter et de tester des agents IA d'utilisation d'ordinateur sur des environnements de bureau en réunissant des modèles de vision, des modèles de raisonnement et des environnements de système d'exploitation sandboxés en un seul système. Cua peut exécuter des agents dans le cloud en utilisant des sandboxes distantes. Il vous permet également de les exécuter localement si vous souhaitez plus de contrôle ou de confidentialité.
Cua vous aide également à générer des captures d'écran UI et des journaux d'actions d'agent. Vous pouvez enregistrer des interactions en plusieurs étapes, créer des données d'entraînement et exécuter des benchmarks pour voir les performances des agents.
Claude Cowork
Claude Cowork apporte la conception agentique de Claude Code aux personnes qui n'écrivent pas de code. Il s'exécute dans l'application de bureau Claude, dans un onglet à côté de Chat et Code. L'utilisateur le dirige vers un dossier, et Claude y lit, édite et crée des fichiers pour accomplir une tâche.
Cowork suit un ordre clair : connecteur d'abord, navigateur ensuite, écran en dernier. Il utilise un connecteur MCP comme Slack ou Google Drive lorsqu'il en existe un. Il se replie sur Claude dans Chrome pour les pages web sans API. Il contrôle l'écran directement quand aucune autre voie ne fonctionne. Le contrôle d'écran est un aperçu de recherche et demande une permission avant chaque application.
Cowork peut diviser une tâche entre des sous-agents qui s'exécutent en parallèle, puis fusionner les résultats. Il peut également exécuter des tâches planifiées à une cadence définie, comme un brouillon de statut hebdomadaire enregistré dans un dossier.
Portée et limites :
- Disponible sur macOS et Windows sur les forfaits payants, après un aperçu de recherche en janvier 2026.
- Sonnet 4.6 est le modèle par défaut. Opus reste sélectionnable pour les tâches plus difficiles.
- Les sessions restent sur la machine locale. Le partage de chat, le partage d'artefacts et la Mémoire ne fonctionnent pas dans Cowork.
- Un fil de discussion unique et persistant sur iOS et Android peut assigner du travail au bureau, qui doit rester éveillé.
Benchmark OSWorld
Résultats pour l'IA agentique d'utilisation d'ordinateur
Avertissement : Le même modèle peut apparaître à différents rangs car OSWorld répertorie les résultats par configuration d'évaluation complète (framework agent, modèle de grounding ou de planification, paramètre Best-of-N, nombre d'essais et limite d'étapes), et même de petits changements dans ces paramètres sont traités comme des entrées distinctes avec des résultats de performance différents.
Méthodologie
Le benchmark comprend 369 tâches du monde réel (ou 361 en excluant les tâches Google Drive qui nécessitent une configuration manuelle). Les tâches couvrent les applications web et de bureau, les opérations sur les fichiers du système d'exploitation et les flux de travail multi-applications. Chaque tâche part d'un état initial reproductible et est associée à un script d'évaluation personnalisé basé sur l'exécution, garantissant une notation fiable.
Processus d'évaluation
Les agents interagissent avec un environnement de système d'exploitation en direct. Le succès est mesuré par ce que l'agent fait réellement, et non par les sorties textuelles. Les environnements prennent en charge l'exécution parallèle et sans interface graphique, permettant des tests évolutifs.
Portée du benchmark
OSWorld prend en charge les tâches ouvertes sur des applications arbitraires, les entrées multimodales, les flux de travail inter-applications et les états de départ intermédiaires. Par rapport aux benchmarks précédents, il offre une couverture plus large et des conditions plus réalistes.
Références et analyse
Le benchmark évalue des modèles généraux, des modèles spécialisés et des frameworks agentiques à travers les familles de LLM et de VLM. Les résultats montrent un écart important entre la performance humaine (~72 %) et les agents actuels, soulignant les défis du grounding GUI et des connaissances opérationnelles. OSWorld permet également une analyse détaillée par type de tâche, complexité UI, entrées et systèmes d'exploitation.
Deux approches architecturales pour les modèles d'utilisation d'ordinateur
Aujourd'hui, la plupart des agents d'utilisation d'ordinateur appartiennent à l'un des deux modèles de conception :
- Agents de bout en bout (E2E)
- Agents composés
Les deux visent à accomplir des tâches sur un ordinateur. Ils diffèrent dans la manière dont ils répartissent la perception, le raisonnement et l'action.
Agents de bout en bout (E2E)
Les agents de bout en bout utilisent un seul modèle vision-langage pour gérer l'ensemble de la boucle. Le modèle reçoit une capture d'écran et une description de tâche. Il produit ensuite directement l'action suivante.
Il n'y a pas de frontière claire entre voir, raisonner et agir. Ces processus sont appris ensemble au sein du même modèle.
Fonctionnement des agents E2E
Capture d'écran + Tâche → Représentation unifiée → Action
Le modèle raisonne directement sur les pixels et le texte. Il ne construit pas de liste explicite de boutons ou de champs. Au lieu de cela, il apprend des associations entre les motifs visuels et les actions pendant l'entraînement.
Forces
- Conception de système plus simple
- Moins de points d'intégration où des erreurs peuvent survenir
- Souvent plus stable sur les longues tâches
Limites
- Visibilité limitée sur les raisons du choix d'une action
- Plus difficile à déboguer en cas de problème
- Moins de contrôle sur les étapes de raisonnement intermédiaires
Implications pratiques
Comme la perception et la planification sont étroitement liées, les petites erreurs visuelles sont moins susceptibles de se transformer en échecs complets. Lorsqu'une action ne fonctionne pas, l'agent peut réévaluer l'écran mis à jour et s'adapter.
Compromis : Il est difficile d'inspecter les décisions intermédiaires ou d'isoler la source des échecs.
Agents composés
Les agents composés divisent la boucle d'interaction en étapes distinctes. Chaque étape est gérée par un modèle ou un sous-système différent.
Fonctionnement des agents IA composés
Un pipeline typique ressemble à ceci :
- Grounding : Détecter les éléments de l'interface utilisateur graphique à partir de la capture d'écran
- Planification : Décider de la prochaine action à entreprendre
- Exécution : Effectuer les tâches sur le système
Cette conception rend chaque étape explicite.
Forces
- Séparation claire des responsabilités
- Plus facile d'inspecter les sorties intermédiaires
- Mieux adapté à la recherche et aux expériences contrôlées
Limites
- Complexité du système plus élevée
- Les erreurs peuvent se propager entre les composants
- Souvent moins fiable dans les environnements de bureau réels
Implications pratiques
Les agents composés s'appuient sur des représentations structurées de l'écran, telles que des boutons ou des champs de texte détectés. Cela améliore la transparence mais ajoute de la fragilité. Si le grounding est inexact, les décisions de planification sont susceptibles d'échouer.
Compromis : Les longues tâches sont particulièrement difficiles. De petits décalages entre l'état perçu et l'état réel de l'écran peuvent s'accumuler.
Blocs de construction fondamentaux des agents d'utilisation d'ordinateur (CUA)
Les agents d'utilisation d'ordinateur modernes sont construits à l'aide de trois composants principaux :
1. Modèles vision-langage (VLM)
Les VLM uniques forment le cœur de la plupart des agents de bout en bout. Ils traitent les captures d'écran et les instructions ensemble et produisent des actions directement.
Capture d'écran + Tâche → Espace vision-langage conjoint → Action
Le modèle encode les entrées visuelles et textuelles dans un espace interne partagé. Dans cet espace, il apprend comment les motifs visuels sont liés aux actions sans étiquettes explicites.
Il n'y a pas d'étape de grounding séparée. La compréhension de l'UI et la planification des tâches se produisent implicitement et simultanément.
Implications pratiques : Les VLM uniques réduisent la complexité architecturale et limitent la propagation des erreurs. Ils privilégient la robustesse et la simplicité au détriment de la transparence et du contrôle fin.
2. Modèles de grounding
Les modèles de grounding se concentrent uniquement sur la perception et jouent un rôle crucial dans les agents composés. Leur travail consiste à traduire des captures d'écran brutes en descriptions structurées de l'interface informatique. Ils ne raisonnent pas sur les objectifs et ne sélectionnent pas d'actions.
Capture d'écran → Modèle de grounding → Représentation structurée de l'UI
Les sorties incluent souvent :
- Éléments UI détectés
- Emplacements spatiaux (boîtes englobantes)
- Étiquettes sémantiques (bouton, champ de saisie, texte)
- Texte extrait
Cette représentation est transmise à un modèle de planification.
Forces
- Perception claire et inspectable
- Plus facile de journaliser et d'analyser les échecs
- Transparence améliorée
Limites
- Les erreurs se propagent en aval
- Sensible aux changements visuels et aux mises en page dynamiques
- Difficile de maintenir la cohérence sur de nombreuses étapes
Implications pratiques : Le grounding est souvent le maillon faible des systèmes composés. Des éléments manquants ou obsolètes peuvent induire en erreur les modèles de planification et provoquer des échecs répétés.
Benchmark de grounding UI : Pourquoi la qualité de la vision est importante
Pour isoler le rôle de la perception visuelle, nous faisons référence à un benchmark de grounding UI ciblé qui évalue dans quelle mesure les modèles identifient l'emplacement exact en pixels d'un élément UI à partir d'une instruction en langage naturel.
Configuration du benchmark
- 100 captures d'écran de bureau
- 4 types de tâches : simple, relationnelle, dépendante de l'état, UI dense
- 5 essais par échantillon pour mesurer la cohérence
- Résolution fixe : 2560×1440
Pour un ensemble de données et une méthodologie plus détaillés, visitez AIMultiple UI Grounding sur HuggingFace.
Point clé
Un grounding UI précis reste un goulot d'étranglement majeur. Les preuves actuelles montrent qu'une perception visuelle robuste et une compréhension implicite de l'UI importent plus qu'une spécialisation UI étroite, en particulier pour des agents d'utilisation d'ordinateur fiables opérant sur de vrais bureaux.
Modèles de planification
Les modèles de planification déterminent les prochaines étapes. Ils travaillent avec des données UI structurées, des objectifs de tâche et l'historique des interactions. Ils ne traitent pas d'images brutes. Ces modèles jouent un rôle crucial dans l'architecture des agents composés.
UI structurée + Objectif de tâche → Modèle de planification → Action suivante
Les modèles de planification peuvent :
- Décomposer les tâches en étapes
- Suivre la progression
- Appliquer des règles ou des heuristiques
- Journaliser le raisonnement explicitement
Défis dans la pratique
- Haute sensibilité aux erreurs d'entrée
Un grounding incorrect entraîne des plans erronés. - Dérive d'état au fil du temps
Les changements d'UI peuvent invalider les hypothèses antérieures. - Récupération d'échec limitée
Sans retour d'information solide, les planificateurs peuvent boucler ou bloquer. - Décalages d'exécution
Les erreurs de timing, de focus ou de coordination peuvent briser les plans.
Implications pratiques : Les modèles de planification ajoutent de la structure et de la transparence, mais leur efficacité dépend fortement d'une perception précise et d'une exécution fiable.
Ajouter comme source préféréeExplication des fonctionnalités clés des agents d'utilisation d'ordinateur
Environnement d'exécution
Il définit où l'agent d'utilisation d'ordinateur s'exécute et comment il contrôle système d'exploitation (VM cloud, machine locale ou runtime basé sur des conteneurs).
Accès au système local
Cela indique si l'agent peut lire ou écrire des fichiers sur la machine réelle de l'utilisateur, et non dans une sandbox distante. L'accès local est utile pour les flux de travail personnels mais soulève des préoccupations de sécurité plus élevées.
Comment les agents accèdent à l'ordinateur : écran vs terminal
L'utilisation d'ordinateur se divise maintenant selon une deuxième ligne : la manière dont l'agent accède au système.
Les agents de grounding d'écran lisent l'écran comme une image. Ils localisent les boutons et les champs, puis cliquent et tapent à des coordonnées spécifiques. OpenAI Computer Use, Claude Computer Use, Simular Agent S3 et UI-TARS fonctionnent de cette manière. La force est une large portée, puisque l'agent peut piloter n'importe quelle application qu'une personne peut voir. La faiblesse est le grounding. Un élément mal lu casse l'étape, et les longues tâches dérivent à mesure que l'écran change.
Les agents de terminal et de connecteur ignorent l'écran lorsqu'un chemin plus propre existe. Ils exécutent des commandes shell, appellent des API via des connecteurs et éditent des fichiers directement. OpenClaw, Open Interpreter et Claude Cowork se situent ici. Cowork énonce l'ordre clairement : connecteur d'abord, navigateur ensuite, écran en dernier. La force est la fiabilité, car une commande ou un appel API ne dépend pas de la détection de pixels. La faiblesse est la couverture, car une application sans API ni ligne de commande nécessite toujours un contrôle d'écran.
De nombreux systèmes combinent désormais les deux. Ils préfèrent les connecteurs et les commandes pour la vitesse et la précision, puis se replient sur le grounding d'écran pour les applications qui n'exposent aucune autre interface.
Quel est le compromis global entre les agents E2E et les agents composés ?
Les agents de bout en bout sont actuellement plus fiables pour une utilisation directe sur des ordinateurs personnels. Leur conception unifiée réduit les problèmes de coordination et les points de défaillance.
Les agents composés ne sont pas intrinsèquement plus faibles. Ils offrent une plus grande flexibilité, personnalisation et interprétabilité. Cependant, ils nécessitent un grounding plus solide, une gestion d'état plus stricte et une intégration soignée pour bien fonctionner dans des environnements réels.
Le compromis fondamental n'est pas la capacité, mais la robustesse contre le contrôle.
Que sont les agents d'utilisation d'ordinateur ?
Les agents d'utilisation d'ordinateur sont des systèmes conçus pour faire fonctionner un ordinateur d'une manière similaire à un humain. Ils regardent l'écran, décident quoi faire et interagissent par des actions telles que cliquer, taper et faire défiler.
À première vue, cela semble simple. En pratique, c'est difficile. Les environnements de bureau sont dynamiques. Les interfaces changent souvent. Il n'y a pas d'API fixes ou de structures stables sur lesquelles s'appuyer. Ces agents doivent travailler à partir de ce qu'ils voient à l'écran et raisonner à ce sujet en temps réel.
Malgré des implémentations différentes, la plupart des agents d'utilisation d'ordinateur suivent la même boucle de base :
Observer → Interpréter → Décider → Exécuter
La manière dont cette boucle est implémentée détermine la stabilité, la flexibilité et la fiabilité d'un agent en utilisation réelle.
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{phd2026,
author = {PhD., Ezgi Arslan, and Kalelioğlu, Berk},
title = {{Agents d'utilisation d'ordinateur: Benchmark et architecture}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Consulté le 22 Juin 2026}
}
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.