¿Tu evaluación mide lo que el estudiante aprende o lo que la IA puede generar?

El problema no es que los estudiantes utilicen inteligencia artificial para realizar sus tareas. El problema aparece cuando, después de recibir y calificar una actividad, ya no podemos estar seguros de qué parte del aprendizaje estamos observando realmente.

Durante los últimos meses he escuchado comentarios muy similares entre docentes de disciplinas completamente distintas:

«Leí veinte ensayos impecables y no supe distinguir cuál era de quién.»

«Sé que utilizaron IA. Lo que no sé es si aprendieron algo en el camino.»

«Puse un detector. Me devolvió un porcentaje, no una respuesta.»

Aunque parecen preocupaciones relacionadas con el uso indebido de inteligencia artificial, en realidad describen un problema mucho más profundo.

Estamos ante un problema de validez de la evaluación.

Durante años asumimos que determinados productos —un ensayo, un informe, una presentación, un análisis de caso, una pieza de código o una respuesta escrita— constituían evidencia suficientemente confiable de lo que un estudiante sabía o podía hacer. La inteligencia artificial generativa está debilitando esa relación.

Hoy una persona puede producir en pocos minutos un texto bien estructurado, un análisis aparentemente sofisticado, código funcional, una presentación visualmente impecable o incluso argumentos razonablemente convincentes sin haber realizado necesariamente todos los procesos cognitivos que tradicionalmente asociábamos con ese producto. Eso cambia la pregunta.

Ya no basta con preguntarnos:

¿El estudiante utilizó IA?

Necesitamos preguntarnos:

¿Esta actividad todavía me permite saber qué aprendió el estudiante?

Esta es la pregunta que dio origen a la Matriz DIVA: Diagnóstico del Valor de la Evaluación ante la IA.

¿Qué es la Matriz DIVA?

La Matriz DIVA —Diagnóstico del Valor de la Evaluación ante la IA— es un marco sencillo para analizar una actividad evaluativa antes o después de implementarla.

No busca detectar IA. Tampoco pretende determinar qué porcentaje exacto de una tarea fue generado por una herramienta.

Su objetivo es diferente: ayudarnos a determinar si una evaluación sigue siendo útil para inferir aprendizaje en un contexto donde los estudiantes tienen acceso a inteligencia artificial generativa.

Para hacerlo, cruza dos dimensiones independientes.

Eje 1. Sustituibilidad por IA

La primera pregunta es: ¿Cuánto de esta actividad podría resolver una IA sin que el estudiante necesitara demostrar personalmente la competencia que queremos evaluar?

No significa preguntarnos simplemente si puede utilizar IA. La IA puede estar presente en prácticamente cualquier actividad. La pregunta es si puede sustituir al estudiante.

Una actividad tendrá alta sustituibilidad cuando un modelo pueda producir directamente buena parte del entregable esperado.

Tendrá baja sustituibilidad cuando el estudiante deba necesariamente demostrar capacidades que no pueden delegarse completamente, por ejemplo:

• defender una decisión;

• responder preguntas en tiempo real;

• aplicar conocimiento a un contexto específico;

• explicar su razonamiento;

• documentar iteraciones;

• realizar una demostración;

• justificar por qué aceptó o rechazó una recomendación de IA.

Eje 2. Valor diagnóstico de la evaluación

La segunda pregunta es: ¿Cuánto me permite esta actividad evidenciar sobre lo que realmente aprendió el estudiante?

Una evaluación tiene alto valor diagnóstico cuando proporciona evidencia suficiente para hacer inferencias razonables sobre conocimientos, habilidades, criterios o competencias.

Por ejemplo, cuando permite observar:

• comprensión;

• razonamiento;

• desempeño;

• argumentación;

• toma de decisiones;

• transferencia;

• aplicación contextual;

• metacognición;

• capacidad de revisión y mejora.

Al cruzar ambas dimensiones aparecen cuatro zonas.

🔴 Q1. Zona crítica: evaluaciones colapsadas

Aquí encontramos actividades con: alta sustituibilidad por IA + bajo valor diagnóstico.

La inteligencia artificial puede producir prácticamente todo el entregable y, al mismo tiempo, el producto final nos ofrece poca información sobre lo que realmente aprendió el estudiante.

Algunos ejemplos pueden ser:

• Ensayos tradicionales;

• Resúmenes;

• Explicaciones de conceptos;

• Ejercicios cerrados;

• Borradores;

• Correcciones de textos;

• Preguntas genéricas de investigación.

Esto no significa que un ensayo o un resumen sean siempre malas actividades.

El problema aparece cuando el producto final constituye prácticamente la única evidencia evaluada.

Si una IA puede producirlo completamente y no solicitamos ninguna evidencia adicional del proceso, nuestra capacidad diagnóstica disminuye considerablemente.

¿Qué hacer?

No necesariamente eliminar la actividad.

Podemos empezar incorporando elementos como:

• Defensa oral breve;

• Preguntas posteriores;

• Explicación de decisiones;

• Evidencias del proceso;

• fuentes comentadas;

• Análisis de los cambios realizados;

• Contextualización en situaciones cercanas al estudiante;

• Comparación entre una respuesta propia y una generada por IA.

Pequeños cambios pueden modificar significativamente el valor de una evaluación.

🟠 Q2. Zona de riesgo: evaluaciones engañosas

Esta puede ser la zona más difícil de identificar. La actividad parece rigurosa, profunda o intelectualmente exigente.

Pero una IA puede resolver entre buena parte y prácticamente todo el trabajo solicitado.

Ejemplos:

• Proyectos sin defensa;

• Análisis de casos sin validación posterior;

• Ensayos reflexivos sin evidencias del proceso;

• Análisis de lecturas;

• Propuestas estratégicas;

• Planes de intervención;

• Proyectos entregados únicamente mediante un informe final.

El peligro radica en que la sofisticación del producto puede confundirse con profundidad de aprendizaje.

Una respuesta extensa, coherente y bien argumentada puede generar una impresión de dominio que no necesariamente corresponde al estudiante.

¿Qué hacer?

Agregar mecanismos de validación.

Por ejemplo:

• Producto + defensa

• Informe + preguntas

• Proyecto + bitácora

• Solución + justificación

• Resultado + transferencia a un nuevo caso

El objetivo no es aumentar innecesariamente la carga evaluativa, sino introducir suficientes evidencias para recuperar nuestra capacidad de inferencia.

🟡 Q3. Zona de transformación: evaluaciones recuperables

Aquí ocurre algo diferente. La IA no puede sustituir completamente al estudiante, pero el diseño de la evaluación tampoco permite observar suficientemente bien el aprendizaje.

Podemos tener actividades valiosas pero mal instrumentadas.

Por ejemplo:

• Trabajos colaborativos donde no conocemos la contribución individual;

• Prácticas que no documentan el proceso;

• Proyectos sin criterios claros;

• Uso de IA sin reflexión posterior;

• Actividades auténticas donde solamente calificamos el producto final.

Existe aprendizaje potencial, pero no estamos capturando adecuadamente la evidencia. Por eso esta zona representa una oportunidad.

¿Qué hacer?

Mejorar la trazabilidad.

Podemos solicitar:

• Decisiones clave;

• Bitácoras breves;

• Puntos de control;

• Versiones intermedias;

• Justificación de cambios;

• Reflexión sobre errores;

• Evidencia de contribución individual;

• Análisis del papel desempeñado por la IA.

Muchas de estas evaluaciones pueden desplazarse hacia una zona óptima sin necesidad de rediseñarlas completamente.

🟢 Q4. Zona óptima: evaluaciones con alto valor diagnóstico

Aquí encontramos actividades donde la IA puede participar como herramienta, pero no sustituye la demostración del aprendizaje del estudiante. Además, el diseño permite obtener evidencia clara de conocimientos, capacidades o competencias.

Algunos ejemplos:

• Defensas orales;

• Evaluación en tiempo real;

• Análisis crítico de respuestas generadas por IA;

• Resolución de problemas contextualizados;

• Estudios de caso basados en información local;

• Iteraciones documentadas;

• Demostraciones;

• Metodologías think-aloud;

• Proyectos acompañados de reflexión y defensa;

• Transferencia del conocimiento a escenarios nuevos.

Una característica importante de esta zona es que no necesita excluir a la inteligencia artificial. Al contrario.

Una evaluación puede permitir utilizar IA y seguir siendo altamente válida si lo que calificamos no es únicamente aquello que la IA produce.

Podemos evaluar la capacidad del estudiante para:

preguntar, seleccionar, contrastar, verificar, adaptar, argumentar, decidir y mejorar.

En este escenario la inteligencia artificial deja de ser exclusivamente una amenaza para la evaluación y puede convertirse en parte del contexto donde ocurre el aprendizaje.

¿Cómo utilizar la Matriz DIVA?

La matriz está pensada principalmente como una herramienta de diagnóstico y rediseño.

Propongo utilizarla en cinco pasos.

• Paso 1. Selecciona una evaluación real

  • No empieces por todo el curso.

  • Selecciona una actividad:

  • Un ensayo, un proyecto, un examen, una presentación o un estudio de caso.

• Paso 2. Prueba su sustituibilidad

  • Pregúntate: ¿Qué ocurriría si un estudiante entregara esta misma instrucción a un modelo avanzado de IA?

  • No imagines la respuesta.

  • Pruébalo.

  • Observa cuánto del producto solicitado puede producir razonablemente la IA.

• Paso 3. Identifica qué evidencia obtienes realmente

  • Ahora cambia la pregunta: Si recibo un excelente resultado, ¿qué puedo afirmar con seguridad que sabe o puede hacer este estudiante?

  • Si la respuesta es difícil, probablemente existe un problema de valor diagnóstico.

• Paso 4. Ubica la actividad en la matriz

  • No necesitas calcular porcentajes con precisión matemática.

  • DIVA funciona principalmente como herramienta de reflexión y toma de decisiones.

  • Lo importante es identificar hacia dónde tiende la actividad.

  • ¿Alta o baja sustituibilidad?

  • ¿Alto o bajo valor diagnóstico?

• Paso 5. No te quedes en el diagnóstico: muévela

  • Esta es quizá la parte más importante de DIVA.

  • El objetivo no es clasificar evaluaciones. El objetivo es rediseñarlas.

Pregúntate:

¿Cuál es el cambio mínimo que podría realizar para obtener una evidencia adicional del aprendizaje?

La Matriz DIVA pretende ser una herramienta sencilla para iniciar esa conversación.

No busca responder si nuestros estudiantes utilizan inteligencia artificial.

Busca ayudarnos a responder una pregunta que considero mucho más importante:

cuando recibimos una evaluación, ¿todavía podemos saber qué aprendió el estudiante?

Matriz DIVA — Diagnóstico del Valor de la Evaluación ante la IA

© Miguel Morales-Chan · CC BY