Berk Kalelioğlu
Interessi di ricerca
Berk si concentra su apprendimento automatico, strumenti di IA agentica e modelli linguistici grandi e piccoli (LLM e SLM).Fa parte del team benchmark di AIMultiple, conducendo valutazioni e fornendo approfondimenti per aiutare i lettori a comprendere le tecnologie emergenti e le loro applicazioni nel mondo reale.
Esperienza professionale
Ha iniziato la carriera come Responsabile di progetto tecnico presso ODTU IVME-R, dove ha guidato un progetto per realizzare generatori quantistici fisici e di numeri pseudocasuali.Dopo l'esperienza presso IVME-R, ha cofondato una società di sviluppo di videogiochi e ha pubblicato un gioco su Steam.
In seguito ha orientato la sua carriera verso l'IA ed è entrato in AIMultiple come ricercatore.
Formazione
Berk ha conseguito una laurea triennale in Matematica presso Ankara University.Ultimi articoli di Berk
Agenti sempre attivi: Claude Duet vs Dots vs Grok Bot
Gli agenti sempre attivi continuano a lavorare dopo aver chiuso l'app. Ognuno viene eseguito su un computer che conserva i propri file e la memoria, avvia le attività in base a una pianificazione o quando succede qualcosa e ti invia un messaggio quando serve una decisione. Ne abbiamo confrontati sei: OpenAI Dots, Grok Bot, Meta…
Benchmark VPS: Hetzner vs Digital Ocean
Abbiamo confrontato 6 fornitori di server privati virtuali (VPS) eseguendo circa 1.200 test automatizzati per server su CPU, memoria, I/O del disco e velocità di rete utilizzando sysbench, fio e speedtest-cli. Abbiamo inoltre documentato l'intera esperienza dalla registrazione all'accesso SSH per ciascun fornitore. Abbiamo utilizzato piani da 4 vCPU (condivise) / 8 GB di ciascun…
AIM-Decision: Jev contro Clef contro LLM
I modelli decisionali, chiamati anche modelli System One, valutano un insieme fisso di opzioni invece di generare testo token per token. Abbiamo testato 62 modelli decisionali su 1.655 domande di classificazione, come valutare una falla di sicurezza o un richiamo di prodotto, e ne abbiamo eseguiti 49 su 50 attività del browser. Vedi AIM System…
Benchmark sulla classificazione delle serie temporali: modelli di fondazione vs metodi classici
Abbiamo confrontato 13 metodi di classificazione di serie temporali, dai modelli di fondazione per serie temporali pre-addestrati a una baseline a 22 feature del 2019, su 33 dataset UCR/UEA, con un unico protocollo congelato. Si tratta di 14.638 celle registrate metodo-dataset-ricampionamento, di cui 11.874 valutate. Il grafico confronta 12 metodi sui 15 dataset univariati completati…
MCP Gateway Benchmark: latenza e sicurezza di 6 gateway
Un gateway MCP si colloca tra un agente IA e gli strumenti che chiama, e i fornitori lo posizionano come livello di sicurezza per quel traffico. Abbiamo confrontato sei gateway MCP con un backend strumentato su una singola macchina, misurando latenza aggiunta, autorizzazione per singolo strumento, protezione dei contenuti e completezza dell'audit. Un prodotto compare…
Tabular Models Benchmark: Prestazioni su 19 Dataset
Abbiamo testato 13 tabular learning model su 19 dataset reali con circa 272.000 campioni, da 435 a 48.800 righe. Ogni model è stato eseguito con cross-validation 5-fold su split identici. I risultati alimentano anche l'AIM Tabular Index, che li combina con le classifiche pubbliche TabArena e BeyondArena. Ogni dataset consiste in un round-robin di confronti…
Benchmark Web Agentico AIM
Gli agenti si affidano alle interfacce web per completare le attività web. Per confrontare il completamento delle attività tra le interfacce web, abbiamo creato il Benchmark Web Agentico AIM e abbiamo eseguito 100 attività attraverso 8 interfacce, 5 volte ciascuna, per 4.000 risultati valutati. Bright Data CLI e Bright Data MCP hanno completato 3.6 e…
Benchmark di Marketing Agentic di AIM
Presentiamo il Benchmark di Marketing Agentic di AIM, che misura le prestazioni degli agenti su tre flussi di lavoro di marketing: analisi del gap competitivo, preparazione della lista di target ABM e un deck di vendita personalizzato. Abbiamo anche eseguito un audit separato della reputazione del sito web in cui gli agenti hanno esaminato i…
A-CODE-CLI Bench: Benchmark dei CLI agentici
Gli strumenti CLI agentici sono strumenti di codifica IA in grado di creare ed eliminare file, eseguire comandi, pianificare ed eseguire la codifica dell'intero progetto. Abbiamo confrontato i principali strumenti in 10 scenari reali di sviluppo web, eseguendo circa 600 controlli di validazione atomici per agente e più di circa 5.000 esecuzioni di test automatizzate…
IT agentico: gli agenti IA possono progettare un benchmark
Abbiamo testato 16 modelli sulla progettazione di un benchmark in text-to-SQL e tool calling. Ogni modello ha creato un benchmark per argomento, per un totale di 32 proposte. Nessuna proposta ha superato ogni criterio della rubrica. Gli agenti sono riusciti a creare ed eseguire test, ma nessuno ha dimostrato sia un test con risposta vuota…
Newsletter AI Multiple
Una email gratuita a settimana con le ultime notizie tecnologiche B2B e approfondimenti di esperti per dare impulso alla tua azienda.