Agenti IA locali: Goose, Observer AI, AnythingLLM

Gli agenti di intelligenza artificiale locali vengono spesso descritti come offline, on-device o completamente locali. Abbiamo dedicato tre giorni alla mappatura dell'ecosistema degli agenti di intelligenza artificiale locali che funzionano autonomamente su hardware personale senza dipendere da API esterne o servizi cloud.

La nostra analisi classifica le soluzioni leader in tre aree chiave, sulla base di test pratici condotti su agenti per sviluppatori, strumenti di automazione e assistenti per la produttività.

Categorizzazione degli agenti di IA locali

Vedi le descrizioni delle categorie .

1. Sviluppatori e agenti di sistema

*Tipi di esecuzione:

• Completamente locale : lo strumento viene eseguito in modo nativo sull'hardware personale utilizzando runtime locali. Strumenti in grado di funzionare interamente offline.
• Ibrido locale : il modello principale o l'esecuzione delle attività avviene localmente, ma alcune funzionalità, come l'integrazione con l'IDE, l'indicizzazione del contesto, la sincronizzazione o il ragionamento, si basano ancora su servizi cloud o API.

** Spiegazione della colonna "in macchina":

• Interamente sul dispositivo: l'intera operazione offline, dall'inferenza al ragionamento, fino all'esecuzione, viene eseguita localmente.
• Inferenza locale, assistita dal cloud: il modello principale viene eseguito localmente, ma le funzionalità dell'IDE o di gestione utilizzano servizi online.
• Esecuzione locale, ragionamento remoto: il codice viene eseguito localmente, ma le API esterne alimentano le fasi di ragionamento o pianificazione.

Oca

Goose è un agente di sviluppo open-source progettato per funzionare interamente su hardware locale. ¹

Competenze principali:

• Utilizza runtime LLM locali per il ragionamento e la generazione del codice.
• Esegue attività in più fasi come la scrittura, il test e il debug del codice.
• Interagisce direttamente con il file system locale e con gli strumenti di sviluppo.
• Non richiede connettività di rete se configurato con modelli locali.

Goose soddisfa una definizione rigorosa di agente autonomo locale, poiché l'osservazione, il ragionamento e l'azione avvengono sul dispositivo.

Roo Code(Modalità Boomerang)

Roo Code è un assistente di programmazione integrato nell'IDE che pone l'accento sul perfezionamento iterativo.

• La modalità Boomerang consente l'esecuzione locale delle azioni
• Il ragionamento si basa comunemente su modelli basati sul cloud.
• Le funzionalità di coordinamento e gestione dell'IDE non sono completamente locali

Di conseguenza, Roo Code dovrebbe essere classificato come un agente di sviluppo ibrido con intervento umano, piuttosto che come un sistema completamente locale.

Configurazione dell'agente AI locale in Roo Code:

Roo Code consente agli sviluppatori di creare profili di configurazione personalizzati che definiscono come si connette a diversi modelli di intelligenza artificiale, inclusi i modelli LLM ospitati localmente.

Da Impostazioni → Provider, puoi aggiungere profili tramite OpenRouter o altri provider supportati, quindi scegliere un modello locale in esecuzione tramite Ollama o LM Studio.

Ogni profilo di configurazione può memorizzare i propri parametri, tra cui temperatura, profondità di ragionamento e limiti dei token. Ciò consente di passare da modelli cloud leggeri a runtime completamente locali per l'inferenza sul dispositivo.

Cursore

Cursor consente l'utilizzo di LLM locali per l'inferenza, ma rimane dipendente dai servizi cloud per:

• Indicizzazione del codice
• Modifica applicazione
• Coordinamento del flusso di lavoro

Pertanto, Cursor supporta l'inferenza locale, ma non un ciclo di agenti completamente locale e non può funzionare offline.

Come utilizzare un LLM locale all'interno di Cursor:

Fonte: Logan ha delle allucinazioni ²

Aider

Aider è un assistente di programmazione basato sull'intelligenza artificiale, open-source e operante da riga di comando, progettato per funzionare direttamente con repository Git locali. Modifica il codice generando patch e commit, anziché operare tramite un'interfaccia IDE.

Aider viene spesso utilizzato con modelli ospitati nel cloud, ma:

• Lo strumento stesso viene eseguito localmente
• Se abbinato a un runtime del modello locale, può funzionare completamente sul dispositivo.

La funzionalità offline dipende quindi dalla scelta del modello, non è intrinseca allo strumento.

2. Agenti di automazione e controllo locali

IA osservatrice

Observer AI è un framework open-source per agenti di automazione locale.

Caratteristiche principali:

• Esegue agenti utilizzando LLM locali
• Monitora lo stato dello schermo tramite OCR o screenshot.
• Esegue codice Python tramite un ambiente di esecuzione integrato.
• Non richiede connettività cloud

L'IA Observer fornisce l'infrastruttura per il comportamento dell'agente anziché una politica fissa per l'agente, ed è meglio descritta come un framework di controllo locale a ciclo chiuso.

Utilizzo del browser

Browser-Use consente l'interazione con il browser tramite l'intelligenza artificiale attraverso Playwright.

• Le azioni del browser vengono eseguite localmente
• Il ragionamento può essere eseguito utilizzando modelli locali o remoti.
• Il funzionamento offline è possibile solo se abbinato all'inferenza locale.

Questo colloca Browser-Use a pieno titolo nella categoria dell'automazione ibrida per impostazione predefinita.

Come utilizzare un LLM locale all'interno di Browser-Use:

Un metodo per installarlo consiste nell'utilizzare il comando pip install browser-use, che configura sia l'interfaccia Python che il controllo del browser locale sulla stessa macchina.

Se eseguito successivamente (ad esempio, con python -m browser_use), aprirà e controllerà un'istanza del browser in locale, eseguendo azioni e ragionamenti tramite un LLM locale (ad esempio, tramite Ollama) o tramite API connesse:

Impostazioni del browser - Utilizza localmente ³

Per chi desidera vedere l'intera procedura di installazione in azione, ecco una video guida passo passo che mostra come installare ed eseguire Browser-Use su un computer locale:

La guida illustra tutto, dall'installazione di dipendenze come Playwright e LangChain alla connessione di Browser-Use con un modello locale tramite Ollama. ⁴

Per maggiori informazioni, consulta il nostro benchmark sulle funzionalità degli strumenti di utilizzo del browser .

3. Agenti della conoscenza e della produttività

AnythingLLM (Desktop)

Quando configurato con modelli locali, AnythingLLM Desktop:

• Esegue l'indicizzazione dei documenti in locale
• Esegue il ragionamento dell'agente sul dispositivo
• Supporta funzionalità limitate (ad esempio, scrittura di file).
• Non richiede connettività cloud

Sebbene la sua autonomia sia limitata rispetto a quella degli agenti di sistema, si qualifica come agente di produttività locale in base a una definizione ristretta del compito.

Un esempio di utilizzo di un agente di intelligenza artificiale locale

Abbiamo testato AnythingLLM Desktop per verificare il funzionamento di un agente locale installato sul dispositivo, dalla configurazione all'output finale.

1. Allestimento dell'area di lavoro

Abbiamo aperto le impostazioni dell'area di lavoro e siamo andati su Configurazione agente.
Lì abbiamo scelto un fornitore LLM e selezionato il modello mistral-medium-2505.
Dopo aver fatto clic su Aggiorna agente dell'area di lavoro, l'area di lavoro ha confermato che la configurazione era completa.

2. Abilitare le competenze dell'agente

In seguito, abbiamo aperto il pannello Configura competenze agente.
Questo menu consente di abilitare le funzionalità integrate dell'agente con un solo clic. Non è richiesta alcuna programmazione.

3. Test della funzionalità “Salva file”

Abbiamo abilitato la funzionalità "Salva file", consentendo all'agente di scrivere gli output direttamente sul computer locale.
Dopo averlo acceso e aver salvato il resto, l'agente era pronto.

Per testarlo, siamo tornati alla finestra della chat e abbiamo utilizzato uno dei messaggi di esempio presenti nella documentazione.
Ciò ha confermato che l'agente era in grado di generare un file e prepararlo per il salvataggio locale.

4. Esecuzione dell'agente nella chat

Abbiamo chiesto all'agente di riassumere un argomento storico e lo abbiamo richiamato utilizzando @agent.
Abbiamo modificato il comando per salvare l'output come un semplice file di testo anziché come un PDF.

Il sistema ha confermato che la modalità di chat con l'agente era attiva e ha mostrato come uscire dal ciclo.
L'agente ha redatto il riepilogo e preparato il file per il salvataggio.

5. Salvataggio del file in locale

Per salvare l'output, abbiamo utilizzato il comando di esempio presente nella documentazione di AnythingLLM:
"@agente, puoi salvare queste informazioni come PDF nella cartella del mio desktop?"
Abbiamo utilizzato la stessa struttura in chat, ma per un file di testo.

Si è aperta una finestra di esplorazione file e abbiamo salvato l'output sul dispositivo.
Il file è apparso nella cartella Download, a indicare che l'intero processo, dal ragionamento all'esecuzione e al salvataggio, è stato effettuato interamente sul dispositivo.

Descrizioni delle categorie degli agenti IA locali

• Agenti di sviluppo e di sistema (livello di azione): agenti che vengono eseguiti direttamente sul dispositivo per svolgere localmente attività di programmazione, di sistema e di automazione dei flussi di lavoro.
• Agenti di automazione e controllo locali: agenti che automatizzano azioni reali sul tuo computer controllando il browser, l'interfaccia utente o il sistema operativo.
• Agenti per la conoscenza e la produttività: assistenti locali per chat, riassunti e gestione di documenti senza inviare dati al cloud.

Livelli architetturali nello stack dell'agente locale

• Livello di azione (agenti) : sistemi che osservano lo stato, richiamano strumenti e agiscono sull'ambiente locale.
• Livello di ragionamento e orchestrazione (framework) : librerie come LangGraph o LlamaIndex che supportano la pianificazione, la memoria e il coordinamento. Queste non sono agenti in sé.
• Livello di esecuzione (runtime locali) : runtime del modello come Ollam o LM Studio che consentono l'inferenza locale.

Guida pratica

I sistemi di intelligenza artificiale locali dovrebbero essere assemblati in modo incrementale:

1. Se è necessaria l'inferenza offline, si può iniziare con un ambiente di runtime locale.
2. Aggiungi un livello di conoscenza solo quando è necessaria la comprensione del documento.
3. Introduci sistemi di automazione o agenti di controllo quando sono necessarie azioni concrete.
4. Utilizzate i framework di orchestrazione solo per flussi di lavoro complessi e a più fasi.

Nella maggior parte dei casi, una struttura a strati completa non è necessaria.

Come approcciare lo stack locale di agenti IA

Iniziate con il set minimo di livelli necessario al vostro caso d'uso. Se il vostro agente necessita di ragionamento offline, iniziate con un runtime locale come Ollama o LM Studio. Se deve comprendere i vostri file, aggiungete un livello di conoscenza come AnythingLLM o LocalGPT. Per gli agenti che devono eseguire azioni (aprire app, controllare il browser, gestire file), aggiungete un livello di automazione locale. Utilizzate framework come LangGraph o LlamaIndex solo quando avete bisogno di flussi di lavoro a più fasi, cicli di pianificazione o toolchain complesse.

FAQ

Collegamenti di riferimento

1.

GitHub - aaif-goose/goose: an open source, extensible AI agent that goes beyond code suggestions - install, execute, edit, and test with any LLM · GitHub

2.

Bevor Sie zu YouTube weitergehen

3.

Install Browser Use Locally to Integrate AI Agents with Websites - YouTube

4.

Install Browser Use Locally to Integrate AI Agents with Websites - YouTube

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento