AIM-Decision: Jev frente a Kev frente a LLMs
Los modelos de decisión, también llamados modelos System One,1 eligen la siguiente acción de un agente en una sola pasada en lugar de generar texto token por token. Para ver si pueden hacer que la automatización del navegador sea más barata que los LLMs, ejecutamos tres modelos de decisión y dos LLMs, Gemini 3.8 Flash y GPT-6 Astra, en las mismas 50 tareas de navegador, para 250 intentos en total.
Tasas de éxito de los modelos de decisión
Kev-9B completó 20 de las 50 tareas y Jev 1.13 completó 17. Laya no completó ninguna en nuestra integración, que se ejecutó por encima de sus límites de entrada publicados.
Luego ejecutamos las mismas 50 tareas con un LLM eligiendo cada acción. GPT-6 Astra completó 47 y Gemini 3.8 Flash 42, ambos con el ajuste de bajo esfuerzo de razonamiento de su API. Astra también completó todas las tareas que completaron Jev o Kev.
Consulta 10 tareas de ejemplo y el resultado de cada modelo en Hugging Face, y cómo ejecutamos el benchmark en metodología.
Modelos de decisión frente a LLMs
La mayoría de los LLMs escriben su respuesta token a token, y cada token cuesta cómputo y tiempo. En la mayoría de los pasos del navegador, el agente solo elige una operación y un control de la página.
Un modelo de decisión lee la página y las opciones, puntúa cada opción y devuelve la más probable. Devuelve una probabilidad para cada opción en lugar de texto generado, por lo que un paso no necesita una salida larga. Si los modelos de decisión se vuelven lo suficientemente precisos, la misma automatización podría ejecutarse mucho más rápido y a una fracción del costo de LLM.
Los tres modelos de decisión no pueden escribir texto, por lo que un modelo de texto separado, Mercury 2.5,2 escribe los valores que se introducen en los campos de formulario. Lo llamamos el asistente de texto y estaba disponible para todos los modelos.
Ejecutamos los cinco modelos en el entorno de ejecución de código abierto jev-ultrafast de browser-use,3 que se creó para Jev. Los tres modelos de decisión son Jev 1.13 de TypeSafe,4 Kev-9B5 y Laya typed-decisions.6 GPT-6 Astra sirve como referencia de LLM de gama alta y Gemini 3.8 Flash como uno de bajo costo.
Cinco modelos en la misma tarea
En Wikipedia, todos los modelos excepto Laya escribieron en el cuadro de búsqueda, el asistente de texto escribió «Ada Lovelace» y el modelo eligió la sugerencia correcta. Jev llegó al artículo en 8,1 segundos, Gemini en 11.0, Astra en 18.9 y Kev en 43.8. Laya declaró la tarea como terminada en la página principal sin realizar ninguna acción.
La tarea de filtro necesita dos menús desplegables y un botón de búsqueda. Jev, Gemini y Astra siguieron los mismos cuatro pasos y terminaron en 4.6, 10.7 y 20,3 segundos. Laya hizo clic en el logotipo del sitio y declaró la tarea terminada. Kev falló esta tarea en el benchmark y, en la demo, seguía haciendo clic después de 11 minutos, por lo que se le excluye de este clip.
Los subtítulos muestran la operación y el objetivo elegidos por cada modelo, y en el caso de los modelos de decisión la probabilidad de esa operación. Los clips provienen de una ejecución de demostración independiente a velocidad 1×, no del benchmark puntuado, y cada página final se comprobó con el evaluador del benchmark.
Resultados de los modelos de decisión
Las tareas que completaron tanto Jev como Kev incluyen búsquedas en Wikipedia, una selección de menú desplegable, ordenación de productos y una pestaña de producto. Ambos completaron las dos tareas de Wikipedia y la tarea de menú desplegable de Web Scraper, al igual que ambos LLMs.
Cada tarea de Books to Scrape requería pasar de una lista de categorías a una página de producto. Jev no completó ninguna de las seis y Kev tres.
Together, Jev y Kev completaron 26 tareas distintas.
Patrones de fallo
- Jev declaró la tarea bloqueada en 24 de sus 33 fallos, 16 veces antes de realizar cualquier acción.
- Kev realizó una mediana de 9.5 acciones en las tareas fallidas, frente a 3 en las tareas que completó. Diez intentos alcanzaron el límite de acciones o de llamadas de decisión, y cinco más se detuvieron después de que tres acciones seguidas dejaran la página sin cambios.
- Laya declaró la tarea terminada antes de cumplir el objetivo en 33 intentos, 17 veces antes de realizar cualquier acción. Ocho intentos más se detuvieron después de tres acciones sin cambios. Nueve intentos fallaron cuando nuestro conector, el código que pasa cada solicitud a Laya, rechazó una pregunta u opción más larga que los límites de entrada de Laya.
Por qué Laya obtuvo 0/50
Probamos dos cambios en la integración de Laya. En 24 solicitudes de prueba, enviar cada pregunta por separado en lugar de en un único lote produjo salidas idénticas. Con una pregunta separada de sí/no para «¿ya se ha cumplido el objetivo?», Laya superó como máximo 3 de 12 escenarios que requerían primero la acción correcta y después una señal de terminado.
En los 12 escenarios, Laya puntuó más alto la página terminada que la sin terminar, pero los rangos de puntuación se solapaban de un escenario a otro. Ocho de sus 11 objetivos incorrectos repetían el valor o la página que ya estaba en pantalla.
La versión de Laya que usamos fue entrenada para tareas de juicio como tickets de soporte, facturas y revisión de rastros de agentes, no para la navegación de navegador.6 Después de hacer fine-tuning en tareas de navegador, Laya completó como máximo 3 de 50, frente a 0 para la Laya original el mismo día (p = 0.25).
Resultados de LLM
GPT-6 Astra falló 3 tareas. Marcó una tarea de categoría de ScrapeMe como bloqueada. En un formulario de calculadora siguió escribiendo en el mismo campo y se detuvo después de que tres acciones dejaran la página sin cambios. La tercera terminó en un error del asistente de texto.
Gemini 3.8 Flash falló 8. Cuatro de esas llegaron a la página correcta pero no terminaron. Dos se detuvieron por nuestro salvaguarda de costes cuando OpenRouter no informó de una tarifa, una alcanzó el límite de acciones y una terminó en un error del asistente de texto.
Ambos LLMs fallaron la tarea de formulario T02. Ambos rellenaron y enviaron el formulario, y ambos intentos terminaron cuando el asistente de texto no devolvió un valor válido.
Éxito por sitio web
Jev y Kev fueron fuertes en sitios diferentes. Kev completó 6 de 8 tareas de Web Scraper y 3 de 6 en Books to Scrape, donde Jev no completó ninguna. A Jev le fue mejor en Quotes to Scrape (4 de 8) y en Scrape This Site (3 de 6).
TestPages tenía las cuatro tareas de formulario y el menor número de tareas completadas. Kev completó una y Jev ninguna. A modo de comparación, GPT-6 Astra completó todas las tareas en siete de los nueve sitios web y dos de las cuatro tareas de formulario.
Cada sitio web tiene entre dos y ocho tareas, por lo que estos recuentos solo se aplican a este conjunto de tareas.
Velocidad y éxito
Jev fue el más rápido, con una mediana de 4,2 segundos por intento, pero parte de esa velocidad se debe a que se detiene pronto. Dieciséis de sus fallos terminaron antes de cualquier acción. En las 17 tareas que completó Jev, promedió 5,4 segundos frente a 12.5 de GPT-6 Astra en las mismas tareas.
Gemini (12,7 segundos, 84 %) y Astra (17,4 segundos, 94 %) fueron rápidos y precisos. Laya tardó 15,1 segundos por intento y no completó ninguna tarea.
Kev tardó una mediana de 38,3 segundos por intento, por dos razones. Cada decisión de Kev tardó una mediana de 3,7 segundos de tiempo de GPU, frente a aproximadamente 1 segundo para una llamada completa a la API de Jev. Ejecutamos Kev con el código de referencia del productor en precisión completa de 32 bits, y no se instalaron dos paquetes de kernel opcionales que aceleran su modelo base, por lo que el modelo recurrió a kernels de referencia más lentos. La red añadió aproximadamente medio segundo.
Kev también tomó muchas más decisiones, una media de 26 por intento frente a aproximadamente 4 de Jev, y el 90 % de ellas se produjeron en intentos fallidos. No probamos una configuración más rápida de GPU.
Añadir como fuente preferidaCosto
Astra, Gemini y Jev usaron cada uno entre 3.150 y 3.470 tokens de entrada por decisión. Por lo tanto, el precio por token, no la cantidad leída, establece la brecha de costo. El precio de entrada de Astra es aproximadamente 240 veces el de Jev.78
Con razonamiento bajo, Astra produjo 6.599 tokens de salida en 307 decisiones, frente a 968.376 tokens de entrada. El precio de salida de Jev es de $0.
Con el precio de entrada de Jev, los 968.376 tokens de entrada de decisión de Astra habrían costado aproximadamente $0,04 en lugar de $9.68. Un modelo de decisión que igualara la tasa de éxito de Astra al precio de Jev ejecutaría la misma automatización por una pequeña fracción del costo de LLM.
Kev y Laya no tuvieron ninguna tarifa de API por decisión. El alquiler de la A100 para Kev costó un estimado de $5,31 (3.32 horas a $1,60 por hora), incluido el tiempo de configuración fuera de las ejecuciones puntuadas. No estimamos un costo para el Mac que ejecutó Laya. Una tarifa de Jev y dos tarifas de Gemini no se registraron y faltan en la tabla.
Entrenamiento de modelos de decisión
Hicimos fine-tuning de Kev-9B y Laya con las decisiones que GLM-5.3-Flash, el modelo de etiquetado, tomó en tareas de navegador de ocho sitios web fuera del benchmark. Luego volvimos a ejecutar las 50 tareas. Cada modelo fine-tuned se compara con su versión original, ejecutada el mismo día y en el mismo hardware.
El Kev fine-tuned y ambas versiones de Laya están en Hugging Face.
p proviene de una prueba pareada en las mismas 50 tareas (McNemar exacto), y una p inferior a 0.05 se considera significativa. El Kev original completó 21 tareas ese día, una más que en el benchmark principal. Una de las 12 ganancias de Kev, C02, fue un tiempo de espera del navegador en la ejecución original, no un fallo del modelo. Sin ella, Kev ganó 11 tareas y perdió 1 (p = 0.006).
- El Kev fine-tuned ganó tareas en seis de los nueve sitios web, tres en cada uno de Quotes to Scrape y Scrape This Site. Sus resultados en Web Scraper, Wikipedia y los formularios de TestPages no cambiaron.
- El Kev fine-tuned terminó 5 intentos bloqueados frente a 12 y alcanzó el límite de acciones 6 veces frente a 11. Declaró terminada una tarea inacabada 7 veces, frente a 4.
- En 41 tareas de los sitios web de entrenamiento que se mantuvieron fuera del entrenamiento, Kev completó 21 frente a 13 antes. En 101 decisiones individuales de 19 de esas tareas, eligió la operación del modelo de etiquetado el 94 % de las veces, frente al 62 % anterior.
- El primer fine-tuning de Laya eligió la operación del modelo de etiquetado en el 75 % de las 88 decisiones que podía leer, frente al 19 % de la Laya original. Dio por terminada una tarea en una página que aún necesitaba una acción 2 veces en lugar de 53.
- En el benchmark, el primer fine-tuning de Laya declaró terminada una tarea inacabada 36 veces, una vez antes de realizar cualquier acción. La Laya original lo hizo 32 veces, 17 de ellas antes de cualquier acción.
Por qué Laya se mantuvo cerca de cero
La ganancia en decisiones individuales del primer fine-tuning es sobre todo desplazamiento. Acertó 33 de las 47 decisiones de desplazamiento hacia abajo, donde la Laya original acertó 2 y respondió «terminado» en 38. El segundo fine-tuning acertó 25 de las 88 decisiones e hizo clic en 33 de los 47 desplazamientos. Aun así completó 3 tareas del benchmark, más que cualquiera de las otras versiones de Laya.
La prueba de decisiones individuales usa solo páginas de las ejecuciones exitosas del modelo de etiquetado. En el benchmark, 26 de las 36 declaraciones erróneas de terminado del primer fine-tuning se produjeron después de una o dos acciones, en páginas a las que la propia Laya llegó.
Nuestro conector rechaza una solicitud cuando cualquier pregunta u opción supera los límites de entrada de Laya. En cuatro de los ocho sitios web de entrenamiento, menos de la mitad de las páginas registradas cabían. En total, 292 de los 606 registros de entrenamiento cabían. El primer fine-tuning comprobó el tamaño en una solicitud con solo las preguntas que cada paso necesita, por lo que también aprendió de páginas que Laya nunca recibe en una ejecución real.
El segundo fine-tuning conservó solo esos 292 registros y añadió 102 de las propias ejecuciones de Laya. Cuando Laya declaraba una tarea de entrenamiento terminada o bloqueada, o alcanzaba 10 acciones, GLM-5.3-Flash tomaba el relevo en la misma página. Sus decisiones siguientes se convertían en etiquetas si la ejecución superaba la prueba. En 14 de los registros nuevos, Laya había declarado la tarea terminada y GLM hizo clic en su lugar.
Antes de esta ronda, establecimos una regla para detenernos si una ronda añadía menos de 3 tareas reservadas completadas con respecto a la anterior. El conjunto reservado tiene 20 tareas nuevas de Automation Exercise que GLM completó en páginas que caben todas en la entrada de Laya. La Laya original, el primer fine-tuning y una versión entrenada solo con los 292 registros legibles no completaron ninguna. El segundo fine-tuning completó una, así que nos detuvimos.
Laya recibió una segunda ronda con datos de sus propias ejecuciones, y Kev no. La configuración de Kev se fijó antes de cualquier ejecución del benchmark, y su ganancia ya era significativa. La segunda ronda de Laya se entrenó con 394 registros frente a los 606 de Kev, y no buscamos más sitios web con páginas cortas. El resultado no muestra si más datos ayudarían a Laya.
Metodología
Los cinco modelos utilizaron el mismo entorno de ejecución de navegador jev-ultrafast. En cada paso, convertía la página actual en texto de página más una lista numerada de controles visibles. El modelo elegía una operación, como hacer clic, escribir, seleccionar, terminar o bloquear, y un objetivo de esa lista. El entorno de ejecución llevaba a cabo la acción y releía la página.
Los tres modelos de decisión ordenan las opciones suministradas y no pueden escribir texto. Cuando algún modelo elegía escribir, el asistente de texto introducía el valor en el campo del formulario.
Cada intento comenzaba en una sesión de navegador nueva. Los cinco modelos se ejecutaron el mismo día con las mismas tareas, entorno de ejecución y evaluación.
Modelos
El razonamiento bajo es un ajuste de esfuerzo definido por el proveedor. Las 307 decisiones de Astra incluyeron 791 tokens de razonamiento reportados.
Dataset
Las 50 tareas cubren nueve sitios web: ocho sitios de práctica creados para scraping y pruebas, más Wikipedia. Las tareas incluyen navegación por catálogos, búsqueda, ordenación, paginación, opciones de producto, formularios y consultas de artículos. Cada tarea comienza desde una URL fija y enuncia el estado final en una frase, por ejemplo: «Cambia a Ciencia Ficción, encuentra Dune (Dune #1), abre sus detalles de producto y detente».
Antes de que se ejecutaran los modelos, una ejecución guionizada completó las 50 tareas usando solo las acciones admitidas por el entorno de ejecución. Todas las tareas se pueden resolver sin contraseñas, CAPTCHAs ni la tecla Enter.
Tareas de ejemplo
Diez de las 50 tareas están publicadas en Hugging Face con las instrucciones, la URL de inicio, las condiciones de aprobación y el resultado de cada modelo. Las otras 40 se reservan para ejecuciones posteriores.
Evaluación
Una tarea se superaba cuando el modelo la declaraba terminada dentro de los límites y una comprobación separada de la página final confirmaba todas las condiciones: una URL final aceptada, los hechos de la tarea visibles en la página, más de 100 caracteres de texto de página y una página completamente cargada.
Cada intento disponía de 900 segundos, 60 acciones de navegador y 120 llamadas de decisión. Los errores de API contaban como fallos. El tiempo se mide desde la primera página cargada hasta la comprobación final.
Los modelos no podían ver el estado de carga de página que requería la comprobación. Jev en B05 y Gemini en M04 llegaron al contenido correcto pero fallaron solo esa comprobación, y cuentan como fallos.
Costo
El gasto de API son las llamadas de decisión más el asistente de texto, para los 50 intentos por modelo. OpenRouter informó de las tarifas de GPT-6 Astra, Gemini y Mercury. El costo de Jev son sus tokens reportados al precio de lista del 22 de septiembre de 2026: $0,042 por millón de tokens de entrada y sin cargo por la salida.4 La estimación de Kev no se ha conciliado con una factura.
Fine-tuning
Las 327 tareas, 286 de entrenamiento y 41 reservadas, provienen de ocho sitios web que no están en el benchmark, incluidos Demo Web Shop, Automation Exercise y Project Gutenberg. Cada tarea se comprobó en un navegador: su página de inicio falla en el evaluador y su página objetivo lo supera.
GLM-5.3-Flash, un modelo de pesos abiertos bajo la licencia MIT,9 intentó 300 de las tareas en el entorno de ejecución del benchmark con razonamiento bajo. Los errores del proveedor le impidieron hacer las otras 27. No usamos GPT-6 Astra ni Gemini para esto, porque los términos de OpenAI y Google prohíben usar su salida para construir modelos competidores.1011
Las 184 ejecuciones de entrenamiento exitosas dieron 606 registros de decisión. Una ejecución se consideraba exitosa cuando el evaluador la aprobaba. En todas las tareas, 11 ejecuciones más contaron porque llegaron a la página de producto correcta mediante la búsqueda del sitio y solo fallaron la comprobación de URL exacta.
La prueba de decisiones individuales reproduce 103 decisiones registradas de 19 tareas reservadas y cuenta con qué frecuencia un modelo elige la operación del modelo de etiquetado. Kev podía leer 101 de ellas. Laya podía leer 88 cuando se le enviaban solo las preguntas que cada paso necesita, y 34 en la solicitud completa que envía el benchmark. En esas 34, la Laya original coincidió el 29 % de las veces, el primer fine-tuning el 71 % y el segundo el 41 %.
Ambos modelos partieron de los pesos originales que evaluamos en el benchmark y usaron las recetas de entrenamiento de sus productores con los límites de entrada del benchmark. Kev también se entrenó durante dos épocas en lugar de una, sin los registros de repetición del productor. Cada ejecución de entrenamiento duró menos de 20 minutos en una H100 GPU.
La pareja de Kev y la primera pareja de Laya se ejecutaron en una H100 alquilada en Francia, con Chrome en Linux. La segunda pareja de Laya se ejecutó en el Mac del benchmark principal. Cada pareja usó las 50 tareas, el entorno de ejecución, los límites y el evaluador del benchmark principal, con un intento por tarea.
Limitaciones
Cada modelo intentó cada tarea una vez, por lo que los resultados no estiman la fiabilidad. Kev completó 20 tareas y Jev 17; una sola ejecución no puede decir si esa diferencia se mantendría.
Las 50 tareas provienen de nueve sitios web, y las tareas del mismo sitio comparten diseños de página. Los modelos se ejecutaron uno tras otro el mismo día, y los sitios en vivo pueden cambiar entre ejecuciones.
El formato de paso, una lista de operaciones más listas de objetivos, se creó primero para Jev. Todos los modelos recibieron el mismo formato. No probamos si otro formato cambiaría los resultados. Laya se ejecutó con límites de entrada superiores a su configuración publicada para que las páginas largas no se recortaran.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev frente a Kev frente a LLMs}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Recuperado el 5 de octubre de 2026}
}Resultados y marcas de tiempo de 146 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 5 archivos CSV y un README.
¿Quieres los datos granulares que hay detrás? Únete a Premium
Enlaces de referencia
Siguiente para leer
Los 5 mejores servicios de inteligencia de amenazas cibernéticas evaluados
Las mejores herramientas de gestión de vulnerabilidades
Soluciones de seguridad del correo electrónico: Acronis Email Security y Sophos
Comparativa de plataformas de agentes de IA: Claude Managed Agents frente a Google Vertex Agent Engine
Comparar software de control remoto: NinjaOne y Acronis
Herramientas principales de generadores de documentos con IA
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.