Berk Kalelioğlu

18 ott

Benchmark dei modelli tabulari: prestazioni su 19 dataset

Abbiamo confrontato 13 modelli di apprendimento tabulare su 19 dataset reali per un totale di circa 272.000 campioni, con dimensioni dei dataset da 435 a 48.800 righe. Ogni modello è stato eseguito con convalida incrociata a 5 pieghe su suddivisioni identiche. Ogni dataset è un girone all'italiana di sfide dirette tra modelli, decise dalla metrica…

AIM-Decision: Jev contro Clef contro LLMs

I modelli decisionali, chiamati anche modelli System One, valutano un insieme fisso di opzioni invece di generare testo token per token. Abbiamo testato 50 modelli decisionali su 1.655 domande di classificazione, come valutare una falla di sicurezza o un richiamo di prodotto, e ne abbiamo eseguiti 47 su 50 attività browser. Vedi AIM System One…

Benchmark Web Agentico AIM

Gli agenti si affidano alle interfacce web per completare le attività web. Per confrontare il completamento delle attività tra le interfacce web, abbiamo creato il Benchmark Web Agentico AIM e abbiamo eseguito 100 attività attraverso 8 interfacce, 5 volte ciascuna, per 4.000 risultati valutati. Bright Data CLI e Bright Data MCP hanno completato 3.6 e…

Benchmark di Marketing Agentic di AIM

Presentiamo il Benchmark di Marketing Agentic di AIM, che misura le prestazioni degli agenti su tre flussi di lavoro di marketing: analisi del gap competitivo, preparazione della lista di target ABM e un deck di vendita personalizzato. Abbiamo anche eseguito un audit separato della reputazione del sito web in cui gli agenti hanno esaminato i…

MCP Gateway Benchmark: latenza e sicurezza di 6 gateway

Un gateway MCP si colloca tra un agente IA e gli strumenti che chiama, e i fornitori lo posizionano come livello di sicurezza per quel traffico. Abbiamo confrontato sei gateway MCP con un backend strumentato su una singola macchina, misurando latenza aggiunta, autorizzazione per singolo strumento, protezione dei contenuti e completezza dell'audit. Un prodotto compare…

13 ott

A-CODE-CLI Bench: Benchmark dei CLI agentici

Gli strumenti CLI agentici sono strumenti di codifica IA in grado di creare ed eliminare file, eseguire comandi, pianificare ed eseguire la codifica dell'intero progetto. Abbiamo confrontato i principali strumenti in 10 scenari reali di sviluppo web, eseguendo circa 600 controlli di validazione atomici per agente e più di circa 5.000 esecuzioni di test automatizzate…

Confronto delle Funzionalità

30 set

Agenti sempre attivi: Dots vs Grok Bot vs Muse

Gli agenti sempre attivi continuano a lavorare dopo che chiudi l'app. Ognuno gira su un computer che conserva i propri file e la memoria, avvia attività in base a una pianificazione o quando succede qualcosa, e ti scrive quando ha bisogno di una decisione. Abbiamo confrontato cinque di loro: OpenAI Dots, Grok Bot, Meta Muse,…

18 set

IT agentico: gli agenti IA possono progettare un benchmark

Abbiamo testato 16 modelli sulla progettazione di un benchmark in text-to-SQL e tool calling. Ogni modello ha creato un benchmark per argomento, per un totale di 32 proposte. Nessuna proposta ha superato ogni criterio della rubrica. Gli agenti sono riusciti a creare ed eseguire test, ma nessuno ha dimostrato sia un test con risposta vuota…

17 set

AIM Enterprise: benchmark aziendale agentico

Le aziende usano gli LLM ogni giorno per le loro attività regolari. Per trovare gli LLM più convenienti, abbiamo progettato AIM Enterprise, un benchmark aziendale agentico, in cui abbiamo utilizzato 69 attività aziendali reali tra strategia, marketing, HR, vendite e operazioni. Due modelli giudici hanno valutato ogni file che ha superato i controlli. Nel 32,7%…