Intelligenza Artificiale
Esplora approfondimenti pratici, ricerche e benchmark sull'intelligenza artificiale, tra cui l'IA generativa, i modelli linguistici di grandi dimensioni, RAG, i framework di governance, le pratiche MLOps e l'hardware per l'IA. Acquisisci una comprensione degli strumenti chiave, delle strategie di implementazione e dei casi d'uso aziendali che stanno plasmando il panorama dell'IA.
Esplora Intelligenza Artificiale
- LLMApprofondimento21 set
LLM Calcolatore VRAM per il self-hosting
Il self-hosting di un LLM significa eseguire l'inferenza su hardware controllato dall'operatore anziché tramite un'API di terze parti, il che cambia il profilo di costi, controllo dei dati e privacy. Il fatto che un modello possa girare dipende interamente dalla memoria. Il calcolatore stima la VRAM o la memoria unificata necessaria a un modello per…
- Hardware per l'IABenchmark21 set
Benchmark multi-GPU: B200 vs H200 vs H100 vs MI300X
Da oltre due decenni, l'ottimizzazione delle prestazioni di calcolo è stata una pietra angolare del mio lavoro. Abbiamo confrontato NVIDIA B200, H200, H100 e AMD MI300X per valutare quanto scalano bene per l'inferenza di Large Language Model (LLM). Utilizzando il framework vLLM con il modello meta-llama/Llama-3.1-8B-Instruct, abbiamo eseguito test su 1, 2, 4 e 8…
- Hardware per l'IABenchmark21 set
GPU Benchmark di concorrenza: H100 vs H200 vs B200 vs MI300X
Ho trascorso gli ultimi 20 anni concentrandomi sull'ottimizzazione delle prestazioni computazionali a livello di sistema. Abbiamo sottoposto a benchmark le più recenti NVIDIA GPU, tra cui la NVIDIA H100, H200 e B200, e la AMD MI300X, per l'analisi della scalabilità della concorrenza. Utilizzando il framework vLLM con il gpt-oss-20b model, abbiamo testato come queste GPU…
- LLMBenchmark18 set
IT agentico: gli agenti IA possono progettare un benchmark
Abbiamo testato 16 modelli sulla progettazione di un benchmark in text-to-SQL e tool calling. Ogni modello ha creato un benchmark per argomento, per un totale di 32 proposte. Nessuna proposta ha superato ogni criterio della rubrica. Gli agenti sono riusciti a creare ed eseguire test, ma nessuno ha dimostrato sia un test con risposta vuota…
- LLMBenchmark17 set
AIM Enterprise: benchmark aziendale agentico
Le aziende usano gli LLM ogni giorno per le loro attività regolari. Per trovare gli LLM più convenienti, abbiamo progettato AIM Enterprise, un benchmark aziendale agentico, in cui abbiamo utilizzato 69 attività aziendali reali tra strategia, marketing, HR, vendite e operazioni. Due modelli giudici hanno valutato ogni file che ha superato i controlli. Nel 32,7%…
- Hardware per l'IABenchmark17 set
Alternative a DGX Spark: RTX, Ryzen IA Halo e Mac Studio
Confrontiamo i benchmark di inferenza pubblicati di DGX Spark, RTX e Ryzen IA Halo, coprendo l'elaborazione dei prompt, la generazione di token e i contesti più lunghi. Le alternative includono Framework Desktop, Mac Studio e i sistemi GB10 di altri produttori. La velocità di decodifica misura i token in output generati al secondo. Valori più…
- Hardware per l'IAValutazione in Mondo Aperto16 set
GPU cloud gratuite: modelli, limiti e requisiti di accesso
Le GPU cloud gratuite sono disponibili tramite notebook Python, demo IA e crediti di calcolo mensili. Confronta l'hardware GPU, le quote gratuito e i requisiti di accesso, oppure verifica quali servizi si adattano al tuo carico di lavoro. Due T4 forniscono due allocazioni separate di memoria da 16 GB. Eseguire un modello su entrambe richiede…
- ChatbotApprofondimento15 set
Wu Dao 3.0: La versione cinese di GPT-5
Quando gli Stati Uniti hanno tagliato l'accesso della Cina ai chip avanzati, l'Accademia di Intelligenza Artificiale di Pechino si è trovata di fronte a una scelta: lamentarsi delle restrizioni o aggirarle. Hanno scelto la seconda opzione. Wu Dao 3.0, lanciato nel luglio 2023, butta via il copione. Nessun modello massiccio con trilioni di parametri che…