Şevval Alper
Interessi di ricerca
Şevval si concentra su strumenti di programmazione IA, agenti IA e tecnologie quantistiche.Fa parte del team benchmark di AIMultiple, conducendo valutazioni e fornendo approfondimenti per aiutare i lettori a comprendere varie tecnologie emergenti e le loro applicazioni.
Esperienza professionale
Ha contribuito all'organizzazione e alla guida dei partecipanti in tre eventi “CERN International Masterclasses - hands-on particle physics” in Turchia, collaborando con il corpo docente per facilitare l'apprendimento.Formazione
Şevval ha conseguito una laurea triennale in Fisica presso la Middle East Technical University.Ultimi articoli di Şevval
Ricottura quantistica: calcolo quantistico pratico
La ricottura quantistica è una promettente tecnologia quantistica per le aziende con urgenti problemi di ottimizzazione che i computer tradizionali non possono risolvere rapidamente. Può essere utilizzata per risolvere problemi di ottimizzazione in modo più efficace rispetto ai computer tradizionali. Tuttavia, è ancora utilizzata principalmente in ambito accademico e sono necessarie più attività di R&S…
HALC-Bench: Allucinazione degli LLM nel benchmark di recupero a contesto lungo
HALC-Bench (Allucinazione degli LLM nel benchmark di recupero a contesto lungo) misura la resistenza di un modello linguistico di grandi dimensioni a fabbricare prove per una metrica che non esiste nel documento di destinazione, utilizzando 3 pagliai posizionati all'inizio, al centro e alla fine della finestra di contesto del modello, con 204 domande. claude-fable-5 ha…
Benchmark di codifica IA: Claude Code vs Cursor
Nella codifica IA, il mercato si è frammentato in due categorie: strumenti CLI agentici ed editor di codice IA integrati negli IDE. Ciascuno afferma di automatizzare lo sviluppo. Pochi confronti mostrano come differiscano sotto carichi di lavoro identici. Abbiamo sottoposto a benchmark ciascun agente su 10 attività di sviluppo web full-stack, eseguendo circa 600 controlli…
Esecuzione di codice con MCP: un nuovo approccio all'efficienza degli agenti IA
Anthropic ha introdotto un metodo in cui gli agenti IA interagiscono con Model Context Protocol (MCP) server scrivendo codice eseguibile piuttosto che effettuare chiamate dirette agli strumenti. L'agente tratta gli strumenti come file su un computer, trova ciò di cui ha bisogno e li utilizza direttamente con il codice, così i dati intermedi non devono…
VELC-Bench: Verifica su Benchmark a Contesto Lungo
La capacità del modello di individuare una metrica specifica nel contesto, confrontare il suo valore con un'affermazione e confermarla o respingerla. Questo testa il confronto preciso di valori in condizioni di contesto lungo. Il modello deve sia recuperare il valore sia eseguire un confronto preciso. I modelli sono testati nelle seguenti finestre di contesto: claude-fable-5…
AIM-Code Bench: benchmark di codifica agentica
Valutare gli LLM senza i loro harness di coding agent non riflette pienamente come vengono utilizzati nella pratica. Lo sviluppo reale comporta anche estendere il lavoro esistente, prendere in carico codice non familiare e lasciare implementazioni su cui altri possano costruire. Introduciamo AIM-Code Bench per valutare i modelli insieme ai loro harness di coding agent…
Benchmark degli strumenti di revisione del codice IA
Con il crescente utilizzo di strumenti di codifica IA, le codebase sono diventate più soggette a vulnerabilità, il che ha aumentato la necessità di revisioni del codice efficaci. Per affrontare questo, introduciamo RevEval (AI Code Review Eval), che confronta i quattro principali strumenti di revisione del codice IA su 309 pull request provenienti da repository…
Benchmark sugli agenti
Benchmark sugli agenti
IT agentico: gli agenti IA possono progettare un benchmark
Abbiamo testato 16 modelli sulla progettazione di un benchmark in text-to-SQL e tool calling. Ogni modello ha creato un benchmark per argomento, per un totale di 32 proposte. Nessuna proposta ha superato ogni criterio della rubrica. Gli agenti sono riusciti a creare ed eseguire test, ma nessuno ha dimostrato sia un test con risposta vuota…
RELC-Bench: benchmark di retrieval su contesto lungo
RELC-Bench (RELC-Bench: benchmark di retrieval su contesto lungo) mira a misurare la capacità di un model di trovare ed estrarre un valore numerico specifico da uno o più documenti presenti nel proprio contesto. Verifica se il model riesce a ricordare e recuperare un fatto specifico appena visto nell'input. claude-fable-5 ottiene 97,0% nei 100 elementi di…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.