Agents IA locaux : Goose, Observer AI, AnythingLLM

Les agents d'IA locaux sont souvent décrits comme étant hors ligne, embarqués ou entièrement locaux. Nous avons consacré trois jours à cartographier l'écosystème des agents d'IA locaux qui fonctionnent de manière autonome sur du matériel personnel, sans dépendre d'API externes ni de services cloud.

Notre analyse catégorise les principales solutions en trois domaines clés, sur la base de tests pratiques réalisés sur des agents de développement, des outils d'automatisation et des assistants de productivité.

catégorisation des agents d'IA locaux

Voir les descriptions des catégories .

1. Développeurs et agents système

*Types d'exécution :

• Entièrement local : l’outil s’exécute nativement sur le matériel personnel à l’aide d’environnements d’exécution locaux. Outils capables de fonctionner entièrement hors ligne.
• Hybride local : L'exécution du modèle principal ou des tâches se déroule localement, mais certaines fonctionnalités, telles que l'intégration IDE, l'indexation du contexte, la synchronisation ou le raisonnement, reposent toujours sur des services cloud ou des API.

** Explication de la colonne « sur machine » :

• Entièrement sur l'appareil : l'inférence, le raisonnement et l'exécution complets des opérations hors ligne s'effectuent localement.
• Inférence locale, assistée par le cloud : le modèle principal s’exécute localement, mais les fonctionnalités IDE ou de gestion utilisent des services en ligne.
• Exécution locale, raisonnement à distance : le code s’exécute localement, mais les API externes prennent en charge les étapes de raisonnement ou de planification.

Oie

Goose est un agent de développement open source conçu pour fonctionner entièrement sur du matériel local. ¹

Capacités principales :

• Utilise des environnements d'exécution LLM locaux pour le raisonnement et la génération de code
• Exécute des tâches en plusieurs étapes telles que l'écriture, le test et le débogage de code.
• Interagit directement avec le système de fichiers local et les outils de développement
• Ne nécessite pas de connexion réseau lorsqu'il est configuré avec des modèles locaux.

Goose répond à une définition stricte d'agent autonome local, car l'observation, le raisonnement et l'action se déroulent sur l'appareil.

Roo Code(Mode Boomerang)

Roo Code est un assistant de codage intégré à l'IDE qui met l'accent sur le raffinement itératif.

• Le mode Boomerang permet l'exécution locale d'actions
• Le raisonnement s'appuie généralement sur des modèles basés sur le cloud.
• Les fonctionnalités de coordination et de gestion de l'IDE ne sont pas entièrement locales.

En conséquence, Roo Code devrait être classé comme un agent de développement hybride avec intervention humaine, plutôt que comme un système entièrement local.

Configuration de l'agent d'IA local dans Roo Code :

Roo Code permet aux développeurs de créer des profils de configuration personnalisés qui définissent comment il se connecte à différents modèles d'IA, y compris les LLM hébergés localement.

Dans Paramètres → Fournisseurs, vous pouvez ajouter des profils via OpenRouter ou d'autres fournisseurs pris en charge, puis choisir un modèle local exécuté via Ollama ou LM Studio.

Chaque profil de configuration peut stocker ses propres paramètres, notamment la température, la profondeur de raisonnement et les limites de jetons. Cela permet de basculer entre des modèles cloud légers et des environnements d'exécution entièrement locaux pour l'inférence sur l'appareil.

Curseur

Cursor permet l'utilisation de LLM locaux pour l'inférence, mais reste dépendant des services cloud pour :

• Indexation du code
• Modifier l'application
• Coordination des flux de travail

Par conséquent, Cursor prend en charge l'inférence locale, mais pas une boucle d'agent entièrement locale, et ne peut pas fonctionner hors ligne.

Comment utiliser un LLM local dans Cursor :

Source : Logan Hallucinates ²

Aide

Aider est un assistant de programmation IA open source, fonctionnant en ligne de commande et conçu pour interagir directement avec les dépôts Git locaux. Il modifie le code en générant des correctifs et des commits, sans passer par une interface IDE.

Aider est souvent utilisé avec des modèles hébergés dans le cloud, mais :

• L'outil lui-même s'exécute localement.
• Associé à un environnement d'exécution de modèle local, il peut fonctionner entièrement sur l'appareil.

La fonctionnalité hors ligne dépend donc du choix du modèle et n'est pas intrinsèque à l'outil.

2. Agents locaux d'automatisation et de contrôle

IA observatrice

Observer AI est un framework d'agent d'automatisation locale open source.

Fonctionnalités principales :

• Exécute des agents utilisant des LLM locaux
• Observe l'état de l'écran via la reconnaissance optique de caractères (OCR) ou des captures d'écran.
• Exécute du code Python via un environnement d'exécution embarqué
• Ne nécessite aucune connexion au cloud

L'IA observatrice fournit l'infrastructure nécessaire au comportement des agents plutôt qu'une politique d'agent fixe, et se décrit le mieux comme un cadre de boucle de contrôle locale.

Utilisation du navigateur

Browser-Use permet une interaction avec le navigateur pilotée par l'IA via Playwright.

• Les actions du navigateur sont exécutées localement.
• Le raisonnement peut être effectué à l'aide de modèles locaux ou distants.
• Le fonctionnement hors ligne n'est possible qu'avec une inférence locale.

Cela place par défaut Browser-Use dans la catégorie des automatisations hybrides.

Comment utiliser un LLM local dans un navigateur :

Une méthode d'installation consiste à utiliser la commande pip install browser-use, qui configure à la fois l'interface Python et le contrôle du navigateur local sur la même machine.

Lorsqu'il est exécuté ultérieurement (par exemple avec python -m browser_use), il ouvrira et contrôlera une instance de navigateur localement, exécutant des actions et un raisonnement soit via un LLM local (par exemple, via Ollama), soit via des API connectées :

Configuration du navigateur - Utilisation locale ³

Pour ceux qui souhaitent voir la configuration complète en action, voici un guide vidéo étape par étape montrant comment installer et exécuter Browser-Use sur une machine locale :

Ce guide couvre tout, de l'installation des dépendances comme Playwright et LangChain à la connexion de Browser-Use avec un modèle local via Ollama. ⁴

Pour en savoir plus, consultez notre analyse comparative des capacités d'utilisation des outils de navigation .

3. Agents de connaissance et de productivité

AnythingLLM (Bureau)

Lorsqu'il est configuré avec des modèles locaux, AnythingLLM Desktop :

• Effectue l'indexation locale des documents
• Exécute le raisonnement de l'agent sur l'appareil
• Prend en charge des fonctionnalités d'action limitées (par exemple, l'écriture de fichiers).
• Ne nécessite pas de connexion au cloud

Bien que son autonomie soit limitée par rapport aux agents du système, elle peut être qualifiée d'agent de productivité locale dans le cadre d'une définition de tâche restreinte.

Un exemple d'utilisation d'un agent d'IA local

Nous avons testé AnythingLLM Desktop pour voir comment fonctionne un agent local, installé sur l'appareil, de la configuration au résultat final.

1. Aménagement de l'espace de travail

Nous avons ouvert les paramètres de l'espace de travail et accédé à la configuration de l'agent.
Là, nous avons choisi un fournisseur LLM et sélectionné le modèle mistral-medium-2505.
Après avoir cliqué sur « Mettre à jour l'agent d'espace de travail », l'espace de travail a confirmé que l'installation était terminée.

2. Développement des compétences des agents

Ensuite, nous avons ouvert le panneau Configurer les compétences de l'agent.
Ce menu vous permet d'activer les fonctionnalités intégrées de l'agent en un seul clic. Aucune programmation n'est requise.

3. Tester la compétence « Sauvegarder les fichiers »

Nous avons activé la fonctionnalité « Enregistrer les fichiers », permettant à l'agent d'écrire les résultats directement sur la machine locale.
Après l'avoir allumé et avoir enregistré la modification, l'agent était prêt.

Pour le tester, nous sommes retournés à la fenêtre de discussion et avons utilisé l'une des invites d'exemple de la documentation.
Cela a confirmé que l'agent pouvait générer un fichier et le préparer pour un enregistrement local.

4. Exécution de l'agent dans le chat

Nous avons demandé à l'agent de résumer un sujet historique et l'avons invoqué en utilisant @agent.
Nous avons modifié la commande pour enregistrer le résultat sous forme de simple fichier texte au lieu d'un PDF.

Le système a confirmé que le mode de discussion avec l'agent était actif et a indiqué comment sortir de la boucle.
L'agent a établi le résumé et préparé le fichier pour l'enregistrement.

5. Enregistrement local du fichier

Pour enregistrer le résultat, nous avons utilisé la commande d'exemple tirée de la documentation AnythingLLM :
« @agent peut-il enregistrer ces informations au format PDF dans mon dossier bureau ? »
Nous avons utilisé la même structure dans le chat, mais pour un fichier texte.

Une fenêtre de l'explorateur de fichiers s'est ouverte et nous avons enregistré le résultat sur l'appareil.
Le fichier est apparu dans le dossier Téléchargements, indiquant que l'intégralité du processus, du raisonnement, de l'exécution et de l'enregistrement avait été réalisée entièrement sur l'appareil.

Descriptions des catégories d'agents d'IA locaux

• Agents de développement et système (couche d'action) : agents qui s'exécutent directement sur votre appareil pour effectuer localement des tâches de codage, de système et d'automatisation des flux de travail.
• Agents d'automatisation et de contrôle locaux : agents qui automatisent les actions du monde réel sur votre machine en contrôlant le navigateur, l'interface utilisateur ou le système d'exploitation.
• Agents de connaissances et de productivité : assistants locaux pour la discussion, la synthèse et la gestion de documents sans envoi de données vers le cloud.

Couches architecturales dans la pile d'agents locaux

• Couche d'action (agents) : Systèmes qui observent l'état, invoquent des outils et agissent sur l'environnement local.
• Couche de raisonnement et d'orchestration (frameworks) : Bibliothèques telles que LangGraph ou LlamaIndex qui prennent en charge la planification, la mémoire et la coordination. Ce ne sont pas des agents en soi.
• Couche d'exécution (environnements d'exécution locaux) : Environnements d'exécution de modèles tels que Ollama ou LM Studio qui permettent l'inférence locale.

Conseils pratiques

Les systèmes d'IA locaux devraient être assemblés progressivement :

1. Commencez par un environnement d'exécution local si une inférence hors ligne est requise.
2. N'ajoutez une couche de connaissances que lorsque la compréhension du document est nécessaire.
3. Introduisez des agents d'automatisation ou de contrôle lorsque des actions concrètes sont nécessaires.
4. N’utilisez les frameworks d’orchestration que pour les flux de travail complexes et à plusieurs étapes.

Dans la plupart des cas, une pile entièrement multicouche est inutile.

Comment aborder la pile d'agents d'IA locale

Commencez par le minimum de couches requis par votre cas d'utilisation. Si votre agent a besoin d'un raisonnement hors ligne, optez pour un environnement d'exécution local comme Ollama ou LM Studio. S'il doit comprendre vos fichiers, ajoutez une couche de connaissances telle que AnythingLLM ou LocalGPT. Pour les agents qui doivent effectuer des actions (ouvrir des applications, contrôler le navigateur, gérer des fichiers), ajoutez une couche d'automatisation locale. N'utilisez des frameworks comme LangGraph ou LlamaIndex que si vous avez besoin de flux de travail à plusieurs étapes, de boucles de planification ou de chaînes d'outils complexes.

FAQ

Liens de référence

1.

GitHub - aaif-goose/goose: an open source, extensible AI agent that goes beyond code suggestions - install, execute, edit, and test with any LLM · GitHub

2.

Bevor Sie zu YouTube weitergehen

3.

Install Browser Use Locally to Integrate AI Agents with Websites - YouTube

4.

Install Browser Use Locally to Integrate AI Agents with Websites - YouTube

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire