Şevval Alper
Interessi di ricerca
Şevval si concentra su strumenti di programmazione IA, agenti IA e tecnologie quantistiche.Fa parte del team benchmark di AIMultiple, conducendo valutazioni e fornendo approfondimenti per aiutare i lettori a comprendere varie tecnologie emergenti e le loro applicazioni.
Esperienza professionale
Ha contribuito all'organizzazione e alla guida dei partecipanti in tre eventi “CERN International Masterclasses - hands-on particle physics” in Turchia, collaborando con il corpo docente per facilitare l'apprendimento.Formazione
Şevval ha conseguito una laurea triennale in Fisica presso la Middle East Technical University.Ultimi articoli di Şevval
Confronta i modelli GPT-5: ragionamento, velocità e costo
Esploriamo le differenze tra la famiglia di OpenAI GPT-5 (ad es., GPT-5, GPT-5-mini e GPT-5-nano) raccogliendo le prestazioni dei benchmark e i costi per eseguire i benchmark. Abbiamo utilizzato la famiglia GPT-5 nella nostra analisi. Abbiamo utilizzato sei benchmark in diverse aree, tra cui ragionamento, programmazione, rispetto delle istruzioni e matematica. La nostra analisi ha…
AIM-Code Bench: benchmark di codifica agentica
Valutare gli LLM senza i loro harness di coding agent non riflette pienamente come vengono utilizzati nella pratica. Lo sviluppo reale comporta anche estendere il lavoro esistente, prendere in carico codice non familiare e lasciare implementazioni su cui altri possano costruire. Introduciamo AIM-Code Bench per valutare i modelli insieme ai loro harness di coding agent…
Benchmark degli strumenti di revisione del codice IA
Con il crescente utilizzo di strumenti di codifica IA, le codebase sono diventate più soggette a vulnerabilità, il che ha aumentato la necessità di revisioni del codice efficaci. Per affrontare questo, introduciamo RevEval (AI Code Review Eval), che confronta i quattro principali strumenti di revisione del codice IA su 309 pull request provenienti da repository…
Benchmark sugli agenti
Benchmark sugli agenti
IT agentico: gli agenti IA possono progettare un benchmark
Abbiamo testato 16 modelli sulla progettazione di un benchmark in text-to-SQL e tool calling. Ogni modello ha creato un benchmark per argomento, per un totale di 32 proposte. Nessuna proposta ha superato ogni criterio della rubrica. Gli agenti sono riusciti a creare ed eseguire test, ma nessuno ha dimostrato sia un test con risposta vuota…
Benchmark di codifica IA: Claude Code vs Cursor
Nella codifica IA, il mercato si è frammentato in due categorie: strumenti CLI agentici e editor di codice IA integrati negli IDE. Ognuno afferma di automatizzare lo sviluppo. Pochi confronti mostrano come differiscono sotto carichi di lavoro identici. Abbiamo confrontato ciascun agente su 10 attività di sviluppo web full-stack, eseguendo ~600 controlli di validazione atomica…
VELC-Bench: Verifica su Benchmark a Contesto Lungo
La capacità del modello di individuare una metrica specifica nel contesto, confrontare il suo valore con un'affermazione e confermarla o respingerla. Questo testa il confronto preciso di valori in condizioni di contesto lungo. Il modello deve sia recuperare il valore sia eseguire un confronto preciso. I modelli sono testati nelle seguenti finestre di contesto: claude-fable-5…
RELC-Bench: benchmark di retrieval su contesto lungo
RELC-Bench (RELC-Bench: benchmark di retrieval su contesto lungo) mira a misurare la capacità di un model di trovare ed estrarre un valore numerico specifico da uno o più documenti presenti nel proprio contesto. Verifica se il model riesce a ricordare e recuperare un fatto specifico appena visto nell'input. claude-fable-5 ottiene 97,0% nei 100 elementi di…
Simulazione del pubblico: gli LLM possono prevedere il comportamento umano?
Nel marketing, valutare con quanta precisione gli LLM prevedono il comportamento umano è fondamentale per valutare la loro efficacia nell'anticipare le esigenze del pubblico e riconoscere i rischi di disallineamento, comunicazione inefficace o influenza non intenzionale. La simulazione del pubblico con gli LLM consente la modellazione di pubblici virtuali, aiutando le organizzazioni ad anticipare le…
HALC-Bench: Allucinazione degli LLM nel benchmark di recupero a contesto lungo
HALC-Bench (Allucinazione degli LLM nel benchmark di recupero a contesto lungo) misura la resistenza di un modello linguistico di grandi dimensioni a fabbricare prove per una metrica che non esiste nel documento di destinazione, utilizzando 3 pagliai posizionati all'inizio, al centro e alla fine della finestra di contesto del modello, con 204 domande. claude-fable-5 ha…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.