Modelos de embedding: OpenAI vs Gemini vs Voyage
Hemos realizado benchmarks de 15 modelos de embedding de texto en inglés y una línea base BM25 en más de 500 consultas curadas manualmente en tres dominios de recuperación: contratos legales (CUAD), atención al cliente (IBM TechQA) y atención médica (MedRAG PubMed).
Voyage-3.5 ocupa el primer lugar en general. Perplexity Embed V1 0.6b alcanza el nivel medio-alto al precio más bajo en nuestro benchmark.
Resultados del benchmark de modelos de embedding
Explicación de las métricas
nDCG@3: Ganancia acumulada descontada normalizada en el corte 3. Con un documento relevante por consulta, es 1 / log2(rango + 1) cuando el documento dorado cae en los 3 primeros, y 0 en caso contrario. El rango 1 obtiene 1.000, el rango 2 obtiene 0.631, el rango 3 obtiene 0.500. Usamos nDCG@3 como la métrica principal porque las RAG pipelines de producción alimentan los 3 a 5 fragmentos superiores al LLM, y el sesgo de primacía hace que el rango 1 importe desproporcionadamente.
nDCG@10: Misma fórmula con corte 10.
Recall@10: Fracción de consultas donde el documento dorado aparece en los 10 primeros.
MRR@10: Rango recíproco medio en el corte 10. El dorado en el rango 1 obtiene 1.000, el rango 2 obtiene 0.500, y el rango 10 obtiene 0.100. Intención similar a nDCG@3 pero con una penalización de rango más pronunciada.
Top-1 hit: Fracción de consultas donde el documento relevante dorado es el único resultado principal. La métrica más estricta y la más cercana a un flujo de trabajo de búsqueda sin LLM.
nDCG@3 por dominio
Legal (CUAD, 246 consultas, 509 contratos): Legal es el único dominio donde el especialista voyage-law-2 gana; sus datos de entrenamiento ajustados a CUAD rinden +0.040 nDCG@3 sobre voyage-4-large. openai/text-embedding-3-large ocupa el puesto 11 con 0.6430, por debajo de seis modelos más baratos. Suelo BM25: 0.5844.
Atención al cliente (TechQA, 151 consultas, 28,000 IBM technotes): La brecha de voyage-4-lite al siguiente modelo es 0.018. gemini-embedding-001 cae al 7º lugar (0.8856), 0.045 detrás de su hermano más nuevo en TechQA, aunque gana en los otros dos dominios. Suelo BM25: 0.6097.
Atención médica (MedRAG-PubMed, 154 consultas, 50,000 resúmenes): La atención médica es el grupo más ajustado en nuestro benchmark (14 modelos obtienen más de 0.88) porque el vocabulario médico es denso en palabras clave, lo que empuja la mayoría de las consultas al grupo principal. Suelo BM25: 0.7862, dentro de 0.02 del modelo denso más débil. gemini-embedding-001 también supera a gemini-embedding-2-preview por su margen más amplio aquí (+0.013).
Los cambios a nivel de dominio justifican el marco de promedio de 3 dominios: ningún dominio único es un proxy justo para "qué modelo es el mejor", y un comprador que elija un dominio mal clasificará en los demás.
Los intervalos de confianza de bootstrap del 95% por modelo para cada celda de dominio, más los cuatro empates por pares que los rangos de estimación puntual ocultan, se detallan en la sección de metodología.
Precisión vs precio: Costo por 1M de tokens
Explicación de las métricas
Precio por 1M de tokens de entrada es el precio de lista para incrustar 1M de tokens de entrada, a fecha de 2026-04-23. Los precios de Voyage provienen de la página de precios directa de Voyage. Los modelos servidos por OpenRouter utilizan la instantánea del catálogo de OpenRouter del mismo día. Los tokens de consulta y documento se cotizan a la misma tasa en todos los proveedores probados. BM25 se grafica a $0.001/M para renderizado en escala logarítmica. El verdadero costo de autoalojamiento es $0.
Promedio nDCG@3 de 3 dominios es la media no ponderada del nDCG@3 por dominio en los tres corpus. Cada dominio contribuye por igual al promedio independientemente del número de consultas.
- Para plataformas RAG orientadas al costo, pplx-embed-v1-0.6b es la opción clara. A $0.004/M es 30-50 veces más barato que cualquiera de los buques insignia comerciales y ofrece el 92% de la calidad de voyage-3.5 (0.8604 / 0.9429). Ningún otro modelo en nuestro benchmark compite en su punto de precio.
- Para RAG empresarial orientado a la calidad, voyage-3.5 a través del SDK directo de Voyage toma el punto Pareto superior. Intercambias una integración de API adicional (frente a una pila solo de OpenRouter) por un modelo marginalmente mejor que el buque insignia propio de Voyage a la mitad del precio. El instinto de "siempre elegir el más nuevo y grande" es incorrecto dentro del catálogo de Voyage.
- Para despliegues OSS / autoalojables / on-prem, qwen3-embedding-8b gana. Es el incrustador no trivial más barato en nuestro benchmark a $0.010/M, iguala o supera a cualquier otra familia de codificadores OSS que probamos, y se envía con pesos autoalojables.
- Los buques insignia premium (openai-3-large, gemini-2-preview, voyage-4-large, gemini-001) todos pierden frente a voyage-3.5 en el promedio de 3 dominios, aunque voyage-3.5 es 2-3 veces más barato que cualquiera de ellos.
Hallazgos clave del benchmark de embedding
voyage-3.5 gana el promedio de 3 dominios y supera al buque insignia voyage-4-large a la mitad del precio
voyage-3.5 promedia 0.9429 nDCG@3 en legal, atención al cliente y atención médica. El buque insignia voyage-4-large promedia 0.9416 a $0.12 por 1M de tokens, 2 veces el precio de voyage-3.5 de $0.06. El buque insignia gana TechQA por 0.002 y gana MedRAG por 0.032. Pierde CUAD por 0.037 (0.8730 vs 0.9102), suficiente para que su promedio de 3 dominios quede por debajo de voyage-3.5. Dentro de la línea de Voyage, el modelo de nivel medio más antiguo es la mejor opción de propósito general. El buque insignia solo gana su prima en atención médica.
Voyage tomó el primer lugar en los tres dominios y barrió los 2 primeros en CUAD y TechQA. En MedRAG, gemini-embedding-001 entró en el segundo lugar (0.9814, detrás del 0.9855 de voyage-4-large), por delante de cualquier otro modelo de Voyage. gemini-001 también alcanza el tercer lugar en CUAD. Ningún otro modelo que no sea Voyage alcanza los 2 primeros en ningún dominio único.
Un modelo heredado de Gemini supera a su hermano "preview" más nuevo en dos de tres dominios
google/gemini-embedding-001 (lanzado en junio de 2025) supera a google/gemini-embedding-2-preview tanto en CUAD (0.8980 vs 0.8958) como en MedRAG (0.9814 vs 0.9685). El modelo más nuevo solo gana TechQA (0.9301 vs 0.8856), una brecha de 0.04 que viene con un aumento de precio del 33% ($0.20 vs $0.15 por 1M de tokens de entrada). El marco de "actualización multimodal más nueva" de Gemini 2 no se sostiene en la recuperación de texto en inglés en corpus legales o de atención médica.
Para cargas de trabajo RAG en esos dos dominios hoy, gemini-embedding-001 es la opción correcta de Gemini. El cambio en MedRAG (001 en 2º, 2-preview en 3º) es lo suficientemente grande como para que un comprador que opte por el modelo "más nuevo" pierda calidad medible.
OpenAI text-embedding-3-large es de nivel medio en legal y atención al cliente
openai/text-embedding-3-large ocupa el puesto 11 de 15 modelos densos en CUAD con 0.6430 nDCG@3. Ocho modelos estrictamente más baratos lo superan en contratos legales: ambos buques insignia de la serie Voyage 4 de $0.12, voyage-3.5 a la mitad del precio, voyage-4-lite a 1/6 del precio, ambas variantes de embedding Qwen3, intfloat/e5-large-v2 a 1/13 del precio, y perplexity/pplx-embed-v1-0.6b (0.8031) a 1/32 del precio. El buque insignia de OpenAI es el 9º en TechQA (0.8581) y el 11º en MedRAG (0.9296). La atención médica lo coloca en un grupo principal ajustado (diferencia del 2º al 11º: 0.05 nDCG@3). En legal la brecha es amplia y costosa.
A $0.13 por 1M de tokens de entrada es 32 veces más caro que pplx-embed-v1-0.6b. Los equipos que optan por OpenAI porque "es la opción segura" están pagando una prima que los datos de 3 dominios no justifican.
pplx-embed-v1-0.6b alcanza el nivel superior a una treintava parte del precio de buques insignia comparables
perplexity/pplx-embed-v1-0.6b a $0.004 por 1M de tokens promedia 0.8604 nDCG@3 en los tres dominios, detrás solo de los cuatro modelos de Voyage, las dos variantes de Gemini, y qwen/qwen3-embedding-8b. Supera a todos los modelos OpenAI y OSS en la lista. También supera a openai/text-embedding-3-large por 0.16 nDCG@3 en CUAD, pierde por 0.012 en TechQA (0.8457 vs 0.8581), y gana por 0.003 en MedRAG. El siguiente modelo del top 10 más barato es qwen/qwen3-embedding-8b a $0.010 (2.5 veces más), también servido a través de OpenRouter.
Para plataformas RAG orientadas al costo donde el embedding es un ítem de línea material, pplx-0.6b es la opción clara. La brecha de 30-50 veces con respecto a los precios de buque insignia no compra nada en calidad de recuperación, esencialmente en estos tres dominios.
BM25 está dentro de 0.02 del modelo denso más débil en resúmenes médicos
En MedRAG-PubMed, BM25 obtiene 0.7862 nDCG@3 contra baai/bge-m3 (modo denso) en 0.8038, una brecha de 0.02. La búsqueda léxica está dentro de 0.15 de siete de los quince modelos densos en este corpus (bge-m3, e5-base-v2, openai-3-small, e5-large-v2, openai-3-large, pplx-0.6b, qwen3-4b). La razón es estructural: las consultas médicas son densas en palabras clave por diseño (nombres de medicamentos, nombres de enfermedades, términos de diseño de estudios, símbolos de genes), y esos tokens llevan la mayor parte de la señal de recuperación. Un puntuador estilo Lucene los coincide directamente sin necesidad de contexto semántico.
Un reordenador sobre BM25 es una alternativa plausible y más barata a un incrustador denso premium para corpus densos en palabras clave: la brecha de recuperación que deja BM25 (0.2 nDCG@3 al nivel superior en MedRAG) es el tipo de brecha que un reordenador Cohere o Voyage puede cerrar. En CUAD la brecha de BM25 al mejor modelo denso es 0.33, en TechQA 0.36, en MedRAG 0.20. La densidad del vocabulario del dominio es el determinante más grande de cuánto ayudan los embeddings densos.
Especialistas de dominio vs generalistas entre proveedores
Voyage cotiza voyage-law-2 a $0.12/M, idéntico a voyage-4-large. Los dos modelos comparten proveedor, tokenizador, SDK y esquema de invocación asimétrica. Solo difiere la énfasis en los datos de entrenamiento. Ejecutar ambos contra generalistas en CUAD, TechQA y MedRAG aísla el efecto del entrenamiento legal.
En CUAD, voyage-law-2 ocupa el 1º lugar con 0.9126: 0.0024 por encima de voyage-3.5, 0.0146 por encima de gemini-embedding-001, 0.040 por encima de voyage-4-large, 0.097 por encima de qwen3-embedding-8b, y 0.270 por encima de openai/text-embedding-3-large (0.6430). En TechQA, voyage-law-2 ocupa el 4º lugar con 0.9020, 0.064 detrás de voyage-4-large y 0.063 detrás de voyage-3.5. En MedRAG, ocupa el 6º lugar con 0.9409, 0.045 detrás de voyage-4-large y 0.041 detrás de gemini-embedding-001. El entrenamiento legal aumenta nDCG@3 en CUAD y lo reduce en los otros dos dominios.
Un equipo legal que implemente recuperación estilo CUAD en openai/text-embedding-3-large opera en 0.6430 nDCG@3 contra voyage-law-2 en 0.9126, una brecha de 0.27. Un equipo de atención médica o soporte que elija voyage-law-2 porque ocupó el primer lugar en CUAD pierde 0.045 frente a voyage-4-large en MedRAG y 0.064 en TechQA. Los modelos de embedding especializados por dominio no son actualizaciones directas para recuperación genérica. Una sola recomendación de "mejor modelo" entre industrias elige mal en al menos una dirección.
Cuándo elegir voyage-law-2: recuperación de contratos en corpus legales comerciales que estructuralmente se asemejan a CUAD. Cuándo no: cualquier otra cosa en este benchmark. voyage-3.5 es $0.06/M, queda 0.0024 por debajo de voyage-law-2 en CUAD, y lo supera tanto en TechQA como en MedRAG.
Añadir como fuente preferidaCómo se evaluó la pipeline de recuperación de embedding
Cada modelo codifica un vector de consulta y N vectores de documento a través de un bi-codificador. Calculamos la similitud del coseno entre el vector de consulta y cada vector de documento, luego ordenamos los top-k para esa consulta. Con un documento dorado por consulta y relevancia binaria, el evaluador verifica si el dorado aparece en los top-k y en qué rango. Ese rango alimenta nDCG@3 (nuestra principal), nDCG@10 (para comparabilidad BEIR/MTEB), Recall@10 y tasa de Top-1 hit.
Los codificadores de consulta y documento no siempre son la misma función. Algunos modelos se entrenan de forma asimétrica: el lado de la consulta aplica una transformación, el lado del documento aplica otra. Invocar esos modelos simétricamente ("solo pasa el texto") degrada silenciosamente la calidad de recuperación en 0.05-0.45 nDCG@10. Nuestra lista se divide en cuatro vías:
Por qué nDCG@3 como principal. Las RAG pipelines de producción alimentan los 3 a 5 fragmentos superiores al LLM, no los 10 superiores. El sesgo de primacía en LLMs de contexto largo hace que el rango 1 importe más que el rango 3, y cada distractor que cae por encima del dorado en el contexto del LLM es un candidato para confabulación. Los reordenadores aplanarían este efecto, pero la mayoría de las RAGs de producción se ejecutan sin uno por razones de costo y latencia, por lo que el rango del incrustador ES el rango final.
En MedRAG, Recall@10 alcanzó el techo de 1.000 para tres modelos de Voyage y para qwen3-8b; nDCG@3 preservó una diferencia de 0.10 en las mismas consultas. nDCG@10 mantiene la comparabilidad BEIR pero suaviza las diferencias en la parte superior de la lista que importan operativamente.
Metodología del benchmark de modelos de embedding
Corpus (selección de dominio + por qué)
Seleccionamos tres dominios que tensionan diferentes propiedades de recuperación y que cubren las tres RAG empresariales más comunes. Cada corpus está fijado con SHA256, por lo que cualquier lector puede reproducir la celda exacta que ejecutamos.
PM209 (manuales de fabricación) fue descartado: solo 209 documentos, demasiado pequeño para evitar el problema de atajo de entidad de BM25 en 150 consultas.
Generación de consultas: protocolo de consenso de 3-LLM
Nuestras consultas son generadas por LLM bajo separación escritor-validador: el LLM que redacta una consulta nunca juzga su propio objetivo de recuperación, por lo que el sesgo propio está estructuralmente excluido. Solo los dos validadores no escritores, viendo los 20 candidatos mezclados sin pista sobre cuál era el documento de anclaje del escritor, deciden la aceptación. Además del consenso LLM, revisamos aproximadamente el 25% del conjunto de consultas aceptadas a mano (revisión del autor de la naturalidad de la consulta, alineación con el documento objetivo y cumplimiento de R9, independiente del voto del validador).
Cada consulta pasó la siguiente pipeline antes de entrar al conjunto de producción:
- Escritor redacta una sola consulta basada en un documento muestreado aleatoriamente. El escritor rota entre Claude Sonnet 4.6, Qwen3.6-plus, y Gemini 3 Flash preview para que ningún modelo único domine la huella lingüística.
- Puntuador (fijo: Claude Sonnet 4.6) califica la consulta en una rúbrica de especificidad. Requerimos semantic_bridge ≥ 4 (la consulta debe describir semánticamente lo que afirma el documento, no solo coincidir con el nombre) y unique_referent en 3-5 (los anclajes descriptivos deben identificar aproximadamente de uno a cinco documentos candidatos en el corpus, no miles o exactamente uno).
- Verificación de negativo duro: Extraemos los 19 documentos distractores superiores de BM25 más el objetivo y ejecutamos una puerta Jaccard de casi duplicado (>0.5 → rechaza toda la consulta como verdad fundamental ambigua).
- Validadores (2 modelos, nunca incluyendo al escritor) seleccionan independientemente el documento objetivo del conjunto mezclado de 20 candidatos. Ambos validadores deben estar de acuerdo en la ubicación exacta del objetivo o la consulta se descarta. "Ninguna de las anteriores" y "múltiples respuestas correctas" son respuestas válidas del validador y también descartan la consulta.
- Kappa de Cohen calculado por par de validadores. Cada consulta tuvo exactamente 2 calificadores (los no escritores del grupo de 3 modelos), por lo que los 3 pares posibles excluyendo al escritor nos dan 3 valores kappa separados por dominio. Los reportamos individualmente y como una media ponderada por n.
Kappa de Cohen por par con acuerdo observado po y esperado por azar pe, calculado en consultas aceptadas más todos los rechazos consensus_fail donde ambos validadores llegaron a una decisión. Las celdas muestran n / po / pe / κ:
La media ponderada por n es un resumen descriptivo, no una estadística inferencial. Condensa los tres kappas por par en un número ponderado por cuántas consultas juzgó cada par; no es en sí mismo un valor kappa para un conjunto de datos agrupado, y el IC sobre él necesitaría calcularse mediante remuestreo bootstrap a nivel de consulta (diferido a v2.1).
Usamos el kappa de Cohen (no el kappa de Fleiss ni el alfa de Krippendorff) porque cada consulta tuvo exactamente 2 calificadores: el marco natural aquí son 3 cálculos de Cohen por pares ya que queremos saber si dos modelos específicos cualesquiera están de acuerdo, no si un panel de 3 calificadores se cohesiona. El alfa de Krippendorff daría un solo número pero mezclaría los tres pares juntos y ocultaría la varianza a nivel de par.
CUAD específicamente: claude × qwen alcanza κ=0.974 mientras que claude × gemini y gemini × qwen se sitúan alrededor de κ=0.86, lo que aísla a Gemini-3-flash-preview como el juez más ruidoso en contratos legales. Esa información es una señal de metodología que vale la pena resaltar, no promediar.
Promovimos un dominio a producción después de que la media ponderada por n del kappa superara 0.85. Los tres lo superaron. El 0.986 de MedRAG es efectivamente techo: las dos desacuerdos en 156 intentos fueron en objetivos médicamente ambiguos donde ambos validadores fueron internamente consistentes pero uno eligió un resumen relacionado pero no dorado.
Conjunto de reglas de anonimización de entidades R9 (por dominio)
R9 es una restricción estricta en el momento de la generación de consultas. Sin ella, BM25 sube por encima de 0.97 nDCG@10 porque las entidades nombradas actúan como atajos perfectos de palabras clave; los embeddings densos no tienen ventaja semántica que medir. La regla se adapta por dominio para que los anclajes que realmente llevan la señal de recuperación en ese dominio permanezcan utilizables:
- CUAD estricto. Prohibir todas las entidades nombradas: nombres de partes, nombres de estados de EE. UU., personal, cantidades monetarias en dólares exactos, nombres de productos específicos. Forzar unicidad descriptiva: industria + rol + era temporal + rango monetario + alcance geográfico. El techo de BM25 bajó de 0.97 a 0.591 después de que se aplicó R9.
- TechQA Opción X. Nombres de productos de IBM permitidos (son la señal de recuperación principal para un administrador de sistemas) SI la consulta también contiene un anclaje descriptivo secundario no de producto (clase de síntoma, familia de códigos de error, era de versión, contexto de implementación). Nombres de clientes, estados de EE. UU., personal aún prohibidos. Techo BM25: 0.664.
- MedRAG relajado médico + seguro de alucinación. Nombres de medicamentos, términos de enfermedades, anatomía, símbolos de genes retenidos literalmente de la fuente porque sustituir etiquetas de clase de medicamento corre el riesgo de alucinación farmacológica ("p-cloroanfetamina" es un liberador de serotonina de clase anfetamínica, pero las traducciones de etiquetas de LLM de medicamentos más raros fallan silenciosamente). La consulta debe contener ≥2 anclajes no medicamentos para que la coincidencia de palabras clave de nombre de medicamento puro no lleve el resultado. Techo BM25: 0.809 (propiedad estructural del dominio, no un defecto de metodología).
Consultas de ejemplo
Para cada ejemplo, la consulta es el texto que alimentamos al modelo de embedding. El documento dorado es el único elemento en el corpus (de 509 contratos CUAD, 28,000 technotes TechQA, o 50,000 resúmenes PubMed) que realmente responde a la consulta. La tarea de recuperación es: incrustar la consulta, calcular la similitud del coseno contra cada documento en el corpus y clasificarlos. Si el documento dorado cae en el rango 1, la consulta obtiene 1.000 en nDCG@3; el rango 2 obtiene 0.631; el rango 3 obtiene 0.500; por debajo del top-3 obtiene 0.
CUAD (legal)
Consulta:
Documento dorado (1 de 509 contratos CUAD): ANIXABIOSCIENCESINC_06_09_2020-EX-10.1-COLLABORATION AGREEMENT. Es una colaboración de 2020 entre una firma alemana y una biotecnología estadounidense para el descubrimiento de medicamentos contra COVID-19; el contrato especifica un pago por hito debido cuando el primer paciente ingresa a la Fase I de un ensayo clínico. La consulta no contiene nombres de partes, cantidades monetarias ni geografías más allá de dos tokens de país; la señal de recuperación es industria + temporal + estructura de hito.
TechQA (atención al cliente)
Consulta:
Documento dorado (1 de 28,000 IBM technotes): swg1IY43185, que documenta exactamente ese error de WebSEAL y nombra el parche que lo corrige. El nombre del producto IBM (WebSEAL) está permitido bajo nuestra variante R9 de TechQA, pero el discriminador es el patrón de comportamiento del error y el anclaje de orden de solicitud, no solo el nombre del producto.
MedRAG (atención médica)
Consulta:
Documento dorado (1 de 50,000 resúmenes PubMed): PMID:231299, un ensayo clínico que compara las tasas de abandono por reacciones adversas entre cefradina y pivmecilinam en mujeres embarazadas con infecciones del tracto urinario. Los nombres de los medicamentos se retienen porque la comparación medicamento contra medicamento es la señal de recuperación, pero la consulta añade población de pacientes + duración del tratamiento + marco de eventos adversos para que una coincidencia BM25 de nombre de medicamento puro no aterrice el objetivo por sí sola.
Protocolo estadístico
Los intervalos de confianza de bootstrap del 95% utilizan 10,000 remuestras, método percentil, semilla=2026 en el vector de métrica por consulta. Bootstrap emparejado en los mismos índices de consulta para significancia por pares entre el modelo A y el modelo B (la afirmación requiere ≥95% de las remuestras donde A > B).
Ejecución única por celda (modelo, dominio). Una capa de varianza de 3 ejecuciones entre sesiones se difiere a v2.1 por razones de costo. Las llamadas a la API de embedding dentro de la sesión son deterministas dentro de unas pocas partes por millón de diferencia de coseno, verificado en comprobación aleatoria; por lo tanto, el IC de bootstrap captura el ruido a nivel de consulta que es la fuente de varianza dominante en n=150-246.
Indexación y puntuación
Sin base de datos vectorial. Cada modelo codifica cada documento del corpus una vez; la similitud del coseno se calcula directamente en NumPy como un producto de matriz densa de embeddings normalizados en L2. Esto es exacto, no aproximado, por lo que los empates de rango son verdaderos empates de modelo y no artefactos ANN.
Regla de fragmentación por modelo: modelos de 512-ctx fragmentan 512+64 superposición; modelos de 8K-20K-ctx fragmentan al contexto sin superposición; modelos de 32K+-ctx ingieren el documento completo cuando cabe (el 9% de cola larga de CUAD excede la ventana de contexto de cada modelo no Nemotron y recurre a fragmentación; la equidad entre modelos se preserva aplicando la misma política por tamaño de contexto a cada modelo).
La invocación de recuperación asimétrica por modelo es el detalle metodológico más impactante y merece una sección dedicada. Es la razón por la que gemini-embedding-2-preview obtiene 0.46 nDCG@10 bajo la muestra de código documentada de OpenRouter versus 0.91 bajo el formato Vertex AI de Google. Ver "Cómo se evaluó la pipeline de recuperación de embedding" arriba para la tabla por familia.
Framework de evaluación: ranx como motor de métrica principal; salida estilo trec_eval compatible con envíos de leaderboard MTEB. IC de bootstrap calculado por scripts/bootstrap_ci.py sobre las matrices de métrica por consulta guardadas en el paso de evaluación.
Modelos probados
Los precios son a fecha de 2026-04-23 del catálogo de OpenRouter y la página de precios directa de Voyage.
nDCG@3 por modelo con IC de bootstrap del 95%
Intervalos de confianza de bootstrap del 95% calculados mediante 10,000 remuestras del vector de métrica por consulta (método percentil, semilla=2026). Los anchos de IC de 0.03-0.07 en estos tamaños de muestra (n=154-246) significan que las brechas de estimación puntual por debajo de ~0.03 están dentro del ruido y deben tratarse como empates. Ordenado por promedio nDCG@3 de 3 dominios:
Cuatro empates estadísticos donde los rangos de estimación puntual no son significativos al 95% IC:
Limitaciones
Revisión humana por un autor: Un autor revisó aproximadamente el 25% de las consultas finales aceptadas para naturalidad, alineación de objetivo y cumplimiento de R9.
Conclusión
voyage-3.5 promedia 0.9429 nDCG@3 en legal, atención al cliente y atención médica, superando al propio buque insignia de Voyage a la mitad del precio y a OpenAI's text-embedding-3-large por 0.13 nDCG@3 a menos de la mitad del precio.
Elige pplx-embed-v1-0.6b a $0.004/M si el costo de embedding debe ser un error de redondeo. Elige voyage-3.5 a $0.060/M para el punto Pareto superior. Elige qwen/qwen3-embedding-8b a $0.010/M para mantenerse en OSS. Usa voyage-law-2 solo para recuperación legal adyacente a CUAD, donde compra +0.04 nDCG@3 en CUAD y nada más.
Lectura adicional
Explora otros benchmarks RAG, como:
- Top 10 Modelos de Embedding Multilingües para RAG
- Top 16 Modelos de Embedding de Código Abierto para RAG
- Top Base de Datos Vectorial para RAG: Qdrant vs Weaviate vs Pinecone
- Benchmark de Reordenadores: Top 8 Modelos Comparados
- Modelos de Embedding Multimodal: Apple vs Meta vs OpenAI
- RAG Híbrido: Aumentando la Precisión de RAG
- RAG Gráfico vs RAG Vectorial
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{sar2026,
author = {Sarı, Ekrem},
title = {{Modelos de embedding: OpenAI vs Gemini vs Voyage}},
year = {2026},
month = apr,
howpublished = {\url{https://aimultiple.com/embedding-models}},
note = {AIMultiple. Recuperado el 25 de Abril de 2026}
}
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.