Şevval Alper
Interesses de pesquisa
Şevval se concentra em ferramentas de codificação de IA, agentes de IA e tecnologias quânticas.Ela faz parte da equipe de benchmark da AIMultiple, conduzindo avaliações e fornecendo percepções para ajudar os leitores a entender várias tecnologias emergentes e suas aplicações.
Experiência profissional
Ela contribuiu para a organização e orientação de participantes em três eventos “CERN International Masterclasses - hands-on particle physics” na Türkiye, trabalhando junto ao corpo docente para facilitar o aprendizado.Educação
Şevval possui bacharelado em Física pela Middle East Technical University.Últimos artigos de Şevval
HALC-Bench: LLM Alucinação em Benchmark de Recuperação de Contexto Longo
HALC-Bench (LLM Alucinação em Benchmark de Recuperação de Contexto Longo) mede a resistência de um grande modelo de linguagem em fabricar evidências para uma métrica que não existe no documento alvo usando 3 palheiros posicionados no início, no meio e no fim da janela de contexto do modelo, com 204 perguntas. claude-fable-5 respondeu corretamente a…
Benchmark de Codificação de IA: Claude Code vs Cursor
Na codificação de IA, o mercado se fragmentou em duas categorias: ferramentas de CLI agêntica e editores de código de IA integrados em IDEs. Cada uma afirma automatizar o desenvolvimento. Poucas comparações mostram como eles diferem sob cargas de trabalho idênticas. Avaliamos cada agente em 10 tarefas de desenvolvimento web full-stack, realizando ~600 verificações atômicas…
Execução de Código com MCP: Uma Nova Abordagem para a Eficiência de Agentes de IA
Anthropic introduziu um método em que os agentes de IA interagem com Model Context Protocol (MCP) servidores escrevendo código executável em vez de fazer chamadas diretas a ferramentas. O agente trata as ferramentas como arquivos em um computador, encontra o que precisa e as utiliza diretamente com código, de modo que os dados intermediários não…
VELC-Bench: Verificação em Benchmark de Contexto Longo
A capacidade do modelo de localizar uma métrica específica no contexto, comparar seu valor com uma afirmação e confirmá-la ou rejeitá-la. Isso testa a correspondência precisa de valores em condições de contexto longo. O modelo deve tanto recuperar o valor quanto realizar uma comparação precisa. Os modelos são testados nas seguintes janelas de contexto: claude-fable-5…
AIM-Code Bench: Benchmark de Programação Agêntica
Avaliar LLMs sem seus arcabouços de agente de programação não reflete plenamente como são usados na prática. O desenvolvimento real também envolve estender trabalhos existentes, assumir código desconhecido e deixar implementações que outros possam aproveitar. Apresentamos o AIM-Code Bench para avaliar models em conjunto com seus arcabouços de agente de programação em tarefas de software…
Benchmark de Ferramentas de Revisão de Código com IA
Com o aumento do uso de ferramentas de codificação com IA, as bases de código se tornaram mais propensas a vulnerabilidades, o que aumentou a necessidade de revisões de código eficazes. Para resolver isso, apresentamos o RevEval (Avaliação de Revisão de Código com IA), que avalia comparativamente as quatro principais ferramentas de revisão de código…
Benchmarks de agentes
Benchmark de agentes
TI Agêntica: Podem os Agentes de IA Conceber um Benchmark
Testámos 16 models na conceção de um benchmark em text-to-SQL e chamada de ferramentas. Cada model criou um benchmark por tópico, num total de 32 submissões. Nenhuma submissão passou em todos os critérios da rubrica. Os agentes conseguiram criar e executar testes, mas nenhum demonstrou simultaneamente um teste de resposta em branco e um teste…
RELC-Bench: Benchmark de Recuperação em Contexto Longo
O RELC-Bench (RELC-Bench: Benchmark de Recuperação em Contexto Longo) visa medir a capacidade de um model de encontrar e extrair um valor numérico específico de um ou mais documentos dentro de seu contexto. Ele testa se o model consegue lembrar e recuperar um fato específico que acabou de ver na entrada. claude-fable-5 pontua 97,0% nos…
Simulação de Audiência: LLMs Podem Prever o Comportamento Humano?
Em marketing, avaliar com que precisão os LLMs preveem o comportamento humano é crucial para avaliar sua eficácia em antecipar as necessidades do público e reconhecer os riscos de desalinhamento, comunicação ineficaz ou influência não intencional. A simulação de audiência com LLMs permite a modelagem de públicos virtuais, ajudando as organizações a antecipar reações a…
Boletim informativo AIMultiple
Receba um e-mail gratuito por semana com as últimas notícias de tecnologia B2B e insights de especialistas para impulsionar o seu negócio.