Intelligenza Artificiale
Esplora approfondimenti pratici, ricerche e benchmark sull'intelligenza artificiale, tra cui l'IA generativa, i modelli linguistici di grandi dimensioni, RAG, i framework di governance, le pratiche MLOps e l'hardware per l'IA. Acquisisci una comprensione degli strumenti chiave, delle strategie di implementazione e dei casi d'uso aziendali che stanno plasmando il panorama dell'IA.
Esplora Intelligenza Artificiale
- Programmazione IABenchmark22 set
Benchmark degli strumenti di revisione del codice IA
Con il crescente utilizzo di strumenti di codifica IA, le codebase sono diventate più soggette a vulnerabilità, il che ha aumentato la necessità di revisioni del codice efficaci. Per affrontare questo, introduciamo RevEval (AI Code Review Eval), che confronta i quattro principali strumenti di revisione del codice IA su 309 pull request provenienti da repository…
- LLMApprofondimento21 set
LLM Calcolatore VRAM per il self-hosting
Il self-hosting di un LLM significa eseguire l'inferenza su hardware controllato dall'operatore anziché tramite un'API di terze parti, il che cambia il profilo di costi, controllo dei dati e privacy. Il fatto che un modello possa girare dipende interamente dalla memoria. Il calcolatore stima la VRAM o la memoria unificata necessaria a un modello per…
- Hardware per l'IABenchmark21 set
Benchmark multi-GPU: B200 vs H200 vs H100 vs MI300X
Da oltre due decenni, l'ottimizzazione delle prestazioni di calcolo è stata una pietra angolare del mio lavoro. Abbiamo confrontato NVIDIA B200, H200, H100 e AMD MI300X per valutare quanto scalano bene per l'inferenza di Large Language Model (LLM). Utilizzando il framework vLLM con il modello meta-llama/Llama-3.1-8B-Instruct, abbiamo eseguito test su 1, 2, 4 e 8…
- Hardware per l'IABenchmark21 set
GPU Benchmark di concorrenza: H100 vs H200 vs B200 vs MI300X
Ho trascorso gli ultimi 20 anni concentrandomi sull'ottimizzazione delle prestazioni computazionali a livello di sistema. Abbiamo sottoposto a benchmark le più recenti NVIDIA GPU, tra cui la NVIDIA H100, H200 e B200, e la AMD MI300X, per l'analisi della scalabilità della concorrenza. Utilizzando il framework vLLM con il gpt-oss-20b model, abbiamo testato come queste GPU…
- LLMBenchmark18 set
IT agentico: gli agenti IA possono progettare un benchmark
Abbiamo testato 16 modelli sulla progettazione di un benchmark in text-to-SQL e tool calling. Ogni modello ha creato un benchmark per argomento, per un totale di 32 proposte. Nessuna proposta ha superato ogni criterio della rubrica. Gli agenti sono riusciti a creare ed eseguire test, ma nessuno ha dimostrato sia un test con risposta vuota…
- LLMBenchmark17 set
AIM Enterprise: benchmark aziendale agentico
Le aziende usano gli LLM ogni giorno per le loro attività regolari. Per trovare gli LLM più convenienti, abbiamo progettato AIM Enterprise, un benchmark aziendale agentico, in cui abbiamo utilizzato 69 attività aziendali reali tra strategia, marketing, HR, vendite e operazioni. Due modelli giudici hanno valutato ogni file che ha superato i controlli. Nel 32,7%…
- Hardware per l'IABenchmark17 set
Alternative a DGX Spark: RTX, Ryzen IA Halo e Mac Studio
Confrontiamo i benchmark di inference pubblicati di DGX Spark, RTX e Ryzen IA Halo, coprendo l'elaborazione dei prompt, la generazione dei token e contesti più lunghi. Le alternative includono Framework Desktop, Mac Studio e sistemi GB10 di altri produttori. La velocità di decodifica misura i token di output generati al secondo. Valori più alti indicano…
- Modelli di IAApprofondimento15 set
World Foundation Models: 10 Casi d'Uso
Addestrare robot e veicoli autonomi (AV) nel mondo fisico può essere costoso, dispendioso in termini di tempo e rischioso. I World Foundation Models offrono un'alternativa scalabile consentendo simulazioni realistiche degli ambienti del mondo reale. Questi modelli accelerano lo sviluppo e la distribuzione nella robotica, nei veicoli autonomi e in altri settori, riducendo la dipendenza dai…