Saltar a contenido

Evaluación

Cada modelo Liminar se compara con su modelo base, en dos niveles. Las respuestas abiertas las califica un juez que no pertenece a ninguna de las familias evaluadas (Llama 3.3 70B), siempre el mismo.

Nivel 1: conocimiento

Conjunto Qué mide Cómo
Benchmark de normativa (300 preguntas) conocimiento del dominio sin documentos el juez compara cada respuesta con la de referencia: 0, 1 o 2
MMMLU ES-LA (1.026 preguntas, 18 por materia) conocimiento general el modelo redacta la respuesta y se lee la opción elegida; si no se reconoce una opción, cuenta como error

Las preguntas del benchmark de normativa no entraron al entrenamiento, pero los documentos de los que salen sí (ver Partición). MMMLU ES-LA es la traducción profesional de MMLU al español de Latinoamérica publicada por OpenAI.

Nivel 2: funcionalidad

RAG. Una muestra de 60 consultas con los fragmentos que devuelve un sistema de recuperación real. El juez califica utilidad, fidelidad, completitud y claridad (1 a 5) y marca las respuestas incorrectas; además se miden el anclaje (que todo acto citado esté en el contexto) y si la respuesta cita el acto de origen.

Resultados

Cada modelo Liminar va debajo de su modelo base, y gpt-4.1-mini queda como referencia (sin MMMLU). La tabla suma cada modelo cuando tiene las tres evaluaciones completas.

Modelo Normativa sin documentos: correctas Nota del juez (0 a 2) RAG: promedio (1 a 5) RAG: incorrectas (de 60) MMMLU ES-LA
Gemma 4 E4B (base) 5,7 % 0,37 4,89 0 64,3 %
Liminar-Gemma-4-E4B 31,7 % 1,10 5,00 0 60,6 %
Ministral 3 8B (base) 7,7 % 0,78 4,92 2 64,5 %
Liminar-Ministral-3-8B 48,7 % 1,35 4,90 1 48,8 %
gpt-4.1-mini (referencia) 14,3 % 0,77 4,98 0 -