Şevval Alper
Interesses de pesquisa
Şevval se concentra em ferramentas de codificação de IA, agentes de IA e tecnologias quânticas.Ela faz parte da equipe de benchmark da AIMultiple, conduzindo avaliações e fornecendo percepções para ajudar os leitores a entender várias tecnologias emergentes e suas aplicações.
Experiência profissional
Ela contribuiu para a organização e orientação de participantes em três eventos “CERN International Masterclasses - hands-on particle physics” na Türkiye, trabalhando junto ao corpo docente para facilitar o aprendizado.Educação
Şevval possui bacharelado em Física pela Middle East Technical University.Últimos artigos de Şevval
Compare GPT-5 Models: Raciocínio, Velocidade e Custo
Exploramos as diferenças entre a OpenAI e a família GPT-5 (por exemplo, GPT-5, GPT-5-mini e GPT-5-nano) reunindo o desempenho dos benchmarks e os custos para executar os benchmarks. Utilizamos a família GPT-5 na nossa análise. Utilizamos seis benchmarks em várias áreas, incluindo raciocínio, programação, seguimento de instruções e matemática. A nossa análise revelou: Os três…
AIM-Code Bench: Benchmark de Programação Agêntica
Avaliar LLMs sem seus arcabouços de agente de programação não reflete plenamente como são usados na prática. O desenvolvimento real também envolve estender trabalhos existentes, assumir código desconhecido e deixar implementações que outros possam aproveitar. Apresentamos o AIM-Code Bench para avaliar models em conjunto com seus arcabouços de agente de programação em tarefas de software…
Benchmark de Ferramentas de Revisão de Código com IA
Com o aumento do uso de ferramentas de codificação com IA, as bases de código se tornaram mais propensas a vulnerabilidades, o que aumentou a necessidade de revisões de código eficazes. Para resolver isso, apresentamos o RevEval (Avaliação de Revisão de Código com IA), que avalia comparativamente as quatro principais ferramentas de revisão de código…
Benchmarks de agentes
Benchmark de agentes
TI Agêntica: Podem os Agentes de IA Conceber um Benchmark
Testámos 16 models na conceção de um benchmark em text-to-SQL e chamada de ferramentas. Cada model criou um benchmark por tópico, num total de 32 submissões. Nenhuma submissão passou em todos os critérios da rubrica. Os agentes conseguiram criar e executar testes, mas nenhum demonstrou simultaneamente um teste de resposta em branco e um teste…
Benchmark de Codificação de IA: Claude Code vs Cursor
Na codificação com IA, o mercado se fragmentou em duas categorias: ferramentas de CLI agêntica e editores de código de IA incorporados em IDEs. Cada uma afirma automatizar o desenvolvimento. Poucas comparações mostram como elas diferem sob cargas de trabalho idênticas. Avaliamos cada agente em 10 tarefas de desenvolvimento web full-stack, realizando ~600 verificações de…
VELC-Bench: Verificação em Benchmark de Contexto Longo
A capacidade do modelo de localizar uma métrica específica no contexto, comparar seu valor com uma afirmação e confirmá-la ou rejeitá-la. Isso testa a correspondência precisa de valores em condições de contexto longo. O modelo deve tanto recuperar o valor quanto realizar uma comparação precisa. Os modelos são testados nas seguintes janelas de contexto: claude-fable-5…
RELC-Bench: Benchmark de Recuperação em Contexto Longo
O RELC-Bench (RELC-Bench: Benchmark de Recuperação em Contexto Longo) visa medir a capacidade de um model de encontrar e extrair um valor numérico específico de um ou mais documentos dentro de seu contexto. Ele testa se o model consegue lembrar e recuperar um fato específico que acabou de ver na entrada. claude-fable-5 pontua 97,0% nos…
Simulação de Audiência: LLMs Podem Prever o Comportamento Humano?
Em marketing, avaliar com que precisão os LLMs preveem o comportamento humano é crucial para avaliar sua eficácia em antecipar as necessidades do público e reconhecer os riscos de desalinhamento, comunicação ineficaz ou influência não intencional. A simulação de audiência com LLMs permite a modelagem de públicos virtuais, ajudando as organizações a antecipar reações a…
HALC-Bench: LLM Alucinação em Benchmark de Recuperação de Contexto Longo
HALC-Bench (LLM Alucinação em Benchmark de Recuperação de Contexto Longo) mede a resistência de um grande modelo de linguagem em fabricar evidências para uma métrica que não existe no documento alvo usando 3 palheiros posicionados no início, no meio e no fim da janela de contexto do modelo, com 204 perguntas. claude-fable-5 respondeu corretamente a…
Boletim informativo AIMultiple
Receba um e-mail gratuito por semana com as últimas notícias de tecnologia B2B e insights de especialistas para impulsionar o seu negócio.