Mejora tus evaluaciones online con la técnica de los distractores
Escribir preguntas de evaluación sobre una materia que uno domina, para evaluar el conocimiento de otra persona, es una tarea más complicada de lo que pueda parecer. Y en numerosas ocasiones, esta responsabilidad recae sobre personas que no son expertas en formación. En especial cuando se trata de empresas que necesitan crear contenidos propios, pues su core se basa en el conocimiento que poseen sus propios trabajadores, que son expertos en una materia muy concreta, pero que no suelen ser expertos también en diseño formativo.
En más de una ocasión hemos hablado aquí de las evaluaciones en los cursos online. Por ejemplo, te hemos contado:
- Preguntas de examen en e-learning: tipos, características y consejos
- Cómo crear evaluaciones eficaces
- Evaluaciones y test online: ve más allá de los contenidos SCORM que compras
En esta ocasión aprenderás a crear evaluaciones como un profesional. Y, para ello, vamos a ver qué papel juegan los elementos de distracción (distractors en inglés) a la hora de diseñar una evaluación eficaz.
El propósito de una evaluación es determinar si el participante en la formación ha logrado los objetivos definidos.
Los elementos de distracción deben estar libres de fallos para que una prueba sea lo más válida (esté midiendo lo que pretende medir) y confiable (consistencia de la prueba) como sea posible. Aunque quizás estés familiarizado con las pautas, es importante considerar el papel que juegan los elementos de distracción para obtener la información de diagnóstico que se está buscando.
Qué es un elemento de distracción
Los elementos de distracción son las respuestas incorrectas en una pregunta de opción múltiple.
Elegir mal estos elementos puede hacer que tus preguntas de opción múltiple sean mucho más fáciles o más difíciles de lo que pensabas.
Elaborar elementos de distracción eficaces es una de las tareas más difíciles en lo que respecta a la creación de contenidos online. Estos elementos, cuando están bien escritos, nos proporcionan información que sería imposible de conseguir a partir de otros elementos de la propia evaluación. Por lo tanto, mejorar nuestras habilidades en este punto, es de gran importancia.
Por qué los elementos de distracción son una valiosa fuente de información
El propósito de un elemento de distracción es ver si el participante es capaz de discriminar entre varias opciones dadas como respuesta, correctas e incorrectas. Además de lo obvio, es decir, de mostrarnos si el alumno sabe o no sabe, los elementos de distracción eficaces tienen el potencial de decirnos si:
- La persona que se examina ha alcanzado o no el objetivo definido
- El estudiante no ha comprendido ciertos conceptos, los razonamientos que realiza son erróneos o cometerá errores en "la práctica"
- Es necesario mejorar o modificar la prueba de evaluación
- Es necesario mejorar una parte concreta del contenido (por ejemplo, se ha identificado un concepto/tema… donde la mayor parte de los alumnos presentan problemas de comprensión)
Cómo crear elementos de distracción eficaces
Escribir buenos elementos de distracción requiere mucho tiempo y esfuerzo, llegando incluso a ser frustrante en algunas ocasiones.
Cuando tengas que crear elementos de distracción para incorporar a tus evaluaciones puedes emplear distintos métodos.
Uno de ellos consiste en hacerte preguntas del tipo:
- ¿Con qué suele confundir la gente este concepto?
- ¿Qué errores comete la gente al realizar esta tarea?
- ¿Cuál es un error común que cometen las personas al resolver este problema?
- ¿Cuáles son los conceptos erróneos más comunes en este campo?
Los errores comunes son buenos elementos de distracción.
Es un método realmente eficaz.
Otra opción consiste en identificar las características clave en la respuesta correcta y utilizar la similitud para crear elementos de distracción atractivos. Este método resulta muy práctico y sencillo cuando se trata de contenido técnico o científico (medicina, biología, …). Las características clave son reemplazadas por otra para crear un elemento de distracción.
A la hora de crear un elemento de distracción se deben tener en cuenta las siguientes recomendaciones, que derivan de los métodos anteriores.
1.- Los elementos de distracción deben ser funcionales
Los elementos de distracción funcionales son opciones plausibles (creíbles) que se seleccionan con frecuencia.
Si el propósito de la prueba es brindar información, entonces un elemento de distracción creíble basado en errores comunes y conceptos erróneos te ayudará a comprender lo que un examinado malinterpreta. Por el contrario, un elemento de distracción que no funciona es uno que se selecciona con poca frecuencia. Un elemento de distracción inverosímil no aporta ningún valor para comprender lo que un alumno sabe y no sabe.
Veámoslo con un ejemplo muy sencillo. Supongamos que, en un curso de historia del arte, el objetivo de desempeño requiere que el participante conozca las principales obras del renacimiento italiano. A continuación fíjate en las opciones dadas para la misma pregunta:
Ejemplo de elementos de distracción NO funcionales:
Los elementos de distracción en este caso no son funcionales porque no prueban si la persona examinada conoce la prolífica obra de Leonardo da Vinci. Por lo tanto, no proporcionarán feedback sobre si la experiencia de aprendizaje fue efectiva. Además, las opciones incorrectas proporcionadas no se seleccionarán con frecuencia porque son poco creíbles.
Ejemplo de elementos de distracción funcionales
En este caso los elementos de distracción sí son funcionales, porque prueban si el que se evalúa es capaz de discriminar entre cuatro grandes artistas italianos renacentistas.
2.- Los elementos de distracción similares son los más eficaces
Si los elementos de distracción son similares a la respuesta correcta, aumentan la dificultad de la evaluación.
Es lógico suponer que, es más difícil para los examinados discriminar entre elementos que son parecidos que entre aquellos elementos que son diferentes. Las opciones de respuesta que son diferentes de la respuesta correcta pueden ser más fáciles de descartar como inverosímiles. Esto sugiere que el resultado logrado por el examinado en la prueba podría ser consecuencia de saber "cómo funciona" este tipo de evaluaciones, en lugar de reflejar el verdadero conocimiento acerca de los conceptos que se están evaluando.
La similitud entre la respuesta correcta y los elementos de distracción incluye diferentes aspectos:
- La redacción de las respuestas.
- Contenido (concepto o idea similar)
- Estructura (longitud, complejidad, formato y gramática)
- Similitud en opciones numéricas (en el caso de los cálculos)
Al igual que antes, vamos a verlo con un sencillo ejemplo, para lo cual seguimos en nuestro "curso de historia del arte".
Ejemplo de elementos de distracción NO similares
En este caso, la respuesta correcta es muy diferente de las opciones incorrectas. Por lo tanto, el examinado puede elegir la respuesta correcta sin tener que pensar detenidamente en las opciones dadas.
Ejemplo de elementos de distracción similares
En este caso, existe equilibrio (longitud de las frases, ideas similares) entre la verdadera respuesta y las alternativas. Esto hace que el examinado deba pensar detenidamente antes de elegir una respuesta, lo que aumenta la dificultad de la evaluación.
¿Cuántos elementos de distracción hacen falta?
A la hora de crear preguntas de respuesta múltiple, una de las principales dudas que surgen es cuántas opciones debo indicar al examinado: ¿tres, cuatro, cinco?
Existe numerosa bibliografía y por tanto distintas opiniones en relación al número de opciones que se deben proporcionar.
Quizás uno de los informes más comentados y utilizados es el análisis sobre evaluaciones de opción múltiple realizado por Michael Rodríguez de la University of Minnesota en el año 2005: "Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research". Según este análisis, basado en 80 años de investigación al respecto, el número óptimo de opciones es 3.
Normalmente, tres opciones son suficientes
En dicho análisis también se encontró una ligera mejora en la confiabilidad de la puntuación de la prueba cuando el número de opciones se redujo de cuatro a tres.
En un proyecto posterior de 2013, "Developing and Validating Test Items", Thomas M. Haladyna y el propio Rodríguez revisaron una década adicional de investigación y ofrecieron una guía revisada donde vuelven a afirmar que tres opciones suelen ser suficientes.
Independientemente de que estés de acuerdo con sus afirmaciones o con aquellos que alegan que 4 o 5 es el número adecuado, recuerda utilizar solo opciones que sean plausibles y discriminatorias. Dicho de otra manera, toda distracción debe estar justificada.
