Revisión de la calidad de las preguntas de opción múltiple utilizadas en los exámenes parciales de la Cátedra de Derecho Comercial durante el año 2017

(Ensayo)

Abstract

Español

La Cátedra de Derecho Comercial de la Facultad de Ciencias Jurídicas de la Universidad Católica de Salta implementa, desde 2013, exámenes escritos de opción múltiple como instrumentos de evaluación sumativa, cuya aprobación es uno de los requisitos para obtener la condición de alumno regular. En 2018 se utilizó el índice de Galofré para revisar la calidad de las preguntas incluidas en dos evaluaciones parciales implementadas durante el año anterior. De las 100 preguntas evaluadas, solo el 32 % fue aceptable, lo que determinó un bajo índice de calidad total de los exámenes. En ambas evaluaciones intermedias se encontró que los defectos más frecuentes en la redacción de las preguntas eran la falta de viñeta y la exploración de conocimientos solo a nivel de memoria. Se concluyó que el equipo docente debe capacitarse en la elaboración de los ítems para mejorar la calidad de los exámenes.

Palabras claves: evaluación - preguntas de opción múltiple - índice de calidad

English

The chair of the Commercial Law Department of the Law School at Salta Catholic University implemented written multiple-choice exams to assess full-time students as from 2013. In 2018, the Galofré Index was applied to review the quality of the questions used in two different mid-term exams of the previous academic year. Of the 100 questions assessed, only 32 per cent were considered acceptable, establishing a low exam quality rate. The findings in both exams showed that the most common problems regarding the questions were the lack of sufficient case studies and the predominance of memory and recall questions. It was concluded that the faculty should receive training in question design in order to improve exam quality.

Keywords: exams - multiple-choice questions - quality Index

Introducción

El presente trabajo pretende ser un aporte didáctico para los equipos de cátedra de la carrera de Abogacía de la Facultad de Ciencias Jurídicas, de la Universidad Católica de Salta (UCASAL); ya que evidencia la importancia de autoevaluar las prácticas docentes y, en particular, de revisar los instrumentos de examen, para mejorar el proceso de enseñanza-aprendizaje.

Evaluar los aprendizajes es, sin duda, una de las actividades que más han preocupado a los docentes de la Cátedra de Derecho Comercial en esta unidad académica, pues ofrece la posibilidad de conocer la efectividad de la actividad educativa y sus resultados. La evaluación permite al docente de esta asignatura valorar en el alumno el desarrollo de las competencias específicas mercantiles que debe adquirir en función del perfil profesional de abogado.

Por ello, se ha procurado indagar en distintas estrategias de evaluación para ser capaces de generar una propuesta superadora de los sistemas de exámenes tradicionales (ensayos escritos u orales), que normalmente utilizan quienes enseñan saberes jurídicos en esta carrera.

Así, en la planificación anual de la cátedra se decidió implementar dos exámenes parciales de selección múltiple que, sumados al porcentaje de asistencia a clases y a la aprobación de trabajos prácticos, permiten obtener la condición de alumno regular de la asignatura.

Sabido es que los exámenes construidos sobre la base de ítems o preguntas de opción múltiple permiten llevar a cabo una evaluación valida y confiable de los saberes académicos alcanzados por los estudiantes, siempre que se hayan diseñado convenientemente y las preguntas estén bien redactadas. Frente a esta exigencia, siendo conscientes de que la dificultad mayor recae en la construcción de los ítems, cabe preguntar “¿cuáles criterios técnicos se deben observar a la hora de formular preguntas de opciones múltiples?”.

Una vez establecidas estas reglas, se requiere un análisis más profundo del instrumento; pues es probable que la inobservancia de tales criterios a la hora de redactar las preguntas incida directamente en las falencias que evidencian los alumnos para resolverlas. Los equipos docentes suelen dar por sentado que los exámenes parciales están correctamente redactados. Creer esto es un error. La eficacia y efectividad del instrumento de evaluación se mide a partir de los resultados obtenidos por los alumnos. Por ello, un bajo índice de aprobación, sumado a la disconformidad de los estudiantes respecto a la formulación de las preguntas, determina necesariamente una revisión de la calidad de los ítems con los que se han construido estos instrumentos de evaluación objetiva durante el año académico 2017. He aquí el motivo principal de este trabajo: establecer la calidad de las preguntas formuladas por la cátedra en relación a estos criterios técnicos. Para mejorar hay que evaluar la evaluación. Se utilizará el índice de calidad de Galofré, que sobre la base de 10 criterios técnicos permite revisar la calidad de los ítems, establecer cuáles son los defectos de construcción que adolecen y, en su caso, corregirlos; evitando así que la evaluación se desdibuje en su objetivo.

Objetivo general

Revisar el índice de calidad en las preguntas que se formularon para construir los instrumentos de evaluación parcial en la Cátedra de Derecho Comercial durante el año 2017.

Objetivos especiales

Describir los criterios técnicos para construir preguntas en los instrumentos de evaluación de múltiple opción.
Determinar la calidad de las preguntas utilizadas en la construcción de los exámenes de la cátedra en relación a los criterios técnicos descriptos.

Instrumentos

Encuesta de cátedra realizada a los alumnos
Observación científica de documentos (exámenes de múltiple opción)
Registro informal de reuniones de cátedra
Lectura de documentos: Planificación de Cátedra 2017

La evaluación en la Cátedra de Derecho Comercial

“La evaluación del aprendizaje es un mecanismo regulador del proceso didáctico, pues nos posibilita su retroalimentación, dirección y perfeccionamiento” (Díaz Rojas y Leyva Sánchez, 2013). Es una actividad permanente, sostenida y flexible por medio de la cual se obtiene información acerca de los aprendizajes alcanzados por los estudiantes para que, según las necesidades, se tomen decisiones en la enseñanza orientadas al logro de los objetivos planificados. Esto significa que las informaciones suministradas por las diversas estrategias de evaluación han de ser utilizadas para la reflexión constante y para la implementación de aquellos aspectos que precisan ser afianzados en la búsqueda de la competencia.

Aunque pueda parecer una obviedad, no debe olvidarse que la evaluación forma parte del currículo universitario. Es decir, está incluida en el proyecto formativo profesionalizador y de acreditación que cada facultad desarrolla.

Ahora bien, cuando se decide llevar adelante un proceso evaluador, comienza a transitarse la fase de su diseño o construcción. Este es el momento de plantear objetivos, contenidos, niveles taxonómicos, grados de dificultad, entre otros aspectos. Es la instancia de preparación y anticipación a la acción, es el momento de delinear el mejor recorrido que se puede elegir para recuperar los indicios que den cuenta del objeto que se pretende evaluar, en este caso, el aprendizaje.

La fase del diseño es clave para decidir qué evaluación se propone, y esta requiere un tiempo particular de reflexión que no siempre se concede. Hay que planificar la evaluación. En esta instancia,

(…) la primera definición que necesita realizar el docente es identificar el propósito principal que se persigue con ella. Tener claro el para qué de una evaluación, brinda la posibilidad de definir qué se pretende evaluar. Luego, en función a ello vendrá la determinación de los contenidos y las diferentes capacidades de variada complejidad que se pretenden examinar.

— (Perassi, 2013)

En el ámbito de las ciencias jurídicas, aun cuando se han empleado con mayor frecuencia pruebas tradicionales de verificación de aprendizajes —tales como exámenes a desarrollar, orales o escritos—; lo cierto es que desde el principio del siglo XIX, y en especial a partir de la tradición anglosajona, los exámenes escritos con preguntas estructuradas de tipo selección múltiple han permitido una evaluación válida y confiable de saberes jurídicos, siempre que se hayan planificado convenientemente.

En este marco conceptual, el equipo de la Cátedra de Derecho Comercial en la carrera de Abogacía de la Facultad de Ciencias Jurídicas (UCASAL) contempla en su planificación anual dos evaluaciones parciales de opción múltiple, que los estudiantes deben aprobar como uno de los requisitos para obtener la condición de alumno regular. Estas pruebas objetivas son concebidas como instancias académicas intermedias en las cuales se analizan resultados centrados en procesos de apropiación, abordaje e incorporación de contenidos y competencias. Son estadios de análisis que, complementados por la elaboración y discusión de trabajos prácticos o evaluaciones de tipo tradicional, posibilitan reflexionar sobre secuencias de desarrollo de la tarea docente, su sentido, intencionalidad y objetivos; siempre visualizando obstáculos que permitan realizar las ratificaciones, rectificaciones y redirecciones que se estimen necesarias.

A raíz de los resultados obtenidos en los exámenes parciales realizados durante el ciclo lectivo 2016, que evidenciaban una disminución en el rendimiento académico de los estudiantes (con bajas calificaciones y dificultades para responder las preguntas), se llevó a cabo una encuesta anónima entre los alumnos al finalizar ese año, que arrojó como resultado que un 50 % de los alumnos encuestados no estaba conforme con la metodología de la evaluación parcial. Entre otras respuestas, manifestaron en un 29,8 % que no les había gustado este método de evaluación “por la redacción de las preguntas” mientras que un 19,3 % expresó: “me costó acostumbrarme”.

En la reunión de cátedra, a fines del año 2016, los docentes analizaron los resultados de la encuesta, concluyendo que las dificultades para resolver los ítems se asociaban a la falta de habitualidad de los alumnos para ser evaluados con el sistema de opción múltiple. Deciden, entonces, incorporar en la propuesta pedagógica del año 2017 cuatro pruebas optativas de evaluación no obligatorias denominadas coloquios. Estos tenían como objetivo primordial introducir a los estudiantes en la metodología del examen de opciones múltiples, mediante preguntas sencillas construidas sobre la base de respuestas con doble alternativa.

Esta herramienta, pese a su loable propósito, no modificó la situación. Los alumnos se mostraron conformes con la implementación de los coloquios —que pese a su carácter opcional eran realizados por la gran mayoría— pero la tasa de aprobación no cambió considerablemente.

Surge, entonces, la necesidad de someter el instrumento de evaluación parcial de opción múltiple de la cátedra a una revisión más profunda, la cual nunca se llevó a cabo hasta la fecha. Hay que evaluar el instrumento para mejorarlo, máxime si se tiene presente que un 29,8 % de los alumnos manifestó en la encuesta que “no le gustó la redacción de las preguntas”.

La labor de revisión, lógicamente, debe comenzar por explicitar los criterios técnicos que se requieren observar a la hora de formular preguntas de opciones múltiples para confeccionar correctamente este tipo de exámenes.

Criterios técnicos para formular preguntas de opciones múltiples

Los aportes proporcionados por la Docimología han permitido establecer ciertas reglas que se deben respetar para formular adecuadamente las pruebas objetivas. Luego de explicitarlas, se estará en condiciones de señalar los defectos de redacción más frecuentemente observados con el fin de que puedan evitarse.

En primer lugar,

[se debe] señalar como norma general que el contenido del examen debe coincidir con los objetivos planificados; y lógicamente, los contenidos fundamentales han de tener más peso que los temas menos importantes. Es muy recomendable por ello establecer una tabla de especificaciones y determinar con anterioridad cuantas preguntas de cada parte de la asignatura se van a elaborar de acuerdo con su importancia y pertinencia. Cada pregunta debe centrarse en un concepto importante, evitando aquellas que evalúen el conocimiento de datos triviales.

— (Pales-Argullos, 2010).

También, resulta conveniente establecer de antemano el grado de dificultad atribuida a la prueba. En tal sentido, el examen es más fiable si al elaborarlo se realiza una combinación adecuada de las preguntas, tales como: fáciles (25 %), de dificultad media (50 %) y difíciles (25 %).

Por otra parte, las preguntas pueden explorar distintos niveles taxonómicos o categorías de conocimiento, ya que al leer una pregunta y al pensar la respuesta o solución se ponen en juego distintos procesos intelectuales. “Para responder una pregunta del nivel memoria se requiere simplemente la recordación de un dato aislado, mientras que para responder las preguntas de nivel superior hay que interpretar datos, comprender y aplicar información, sacar conclusiones y/o tomar decisiones” (Galli et al., 2011). Por lo tanto, hay que evitar confeccionar preguntas que solo exploren la capacidad de recordar conocimientos abstractos, y hacer una práctica de la incorporación de viñetas a los enunciados que posibilitan la resolución de casos o soluciones problemáticas.

El ítem siempre contiene una consigna que expresa la actividad que el alumno debe realizar, muchas veces valiéndose de los datos o elementos que se le ofrecen. Una dificultad muy frecuente que se observa en los instrumentos de evaluación es la imprecisión en la elaboración de sus consignas. Toda consigna debe ser clara, precisa y utilizar un lenguaje comprensible para el destinatario. Debe admitir una única interpretación de aquello que se solicita (aunque las maneras de resolver eso que se pide sean múltiples).

La dificultad de un ítem, no debe radicar en la comprensión de la acción que se le solicita al alumno cuyo aprendizaje se pretende evaluar, sino en la decisión y ejecución correcta de las acciones que ese ítem está demandando. Es necesario recordar que la elaboración de ítem debe atender (en términos de capacidades y contenidos) las definiciones que esos evaluadores plasmaron en la tabla de especificaciones.

— (Morales, 2012)

En cuanto a su estructura, los ítems o preguntas de una prueba de opción múltiple se construyen de manera esencialmente similar. Constan de un enunciado (tallo), que se completa con dos o más opciones alternativas. Una es la respuesta correcta (clave) y las demás son distractores.

El tallo es la base del ítem y debe enunciar claramente el problema planteado, preferentemente de forma positiva; de tal manera que, luego de leerlo, el estudiante pueda conocer exactamente qué se espera que resuelva.

Las alternativas deben ser redactadas en forma clara y concisa. Es aconsejable mantener la homogeneidad en el contenido y una gramática consistente con el tallo. Los distractores, por su parte, deberán aparecer tan plausibles como la respuesta correcta.

Al redactar las preguntas de opciones múltiples, suelen cometerse algunos errores técnicos que se deben evitar, pues no solo afectan la calidad del examen sino que además pueden proporcionar una visión errónea de lo que se quiere evaluar. A continuación se mencionan algunos de los errores más frecuentes, a saber:

Formular enunciados que supongan juicios de valor u opiniones personales.
Proponer opciones o distractores que no tengan correspondencia gramatical con el enunciado. Cada opción debe poder leerse a continuación del enunciado.
Plantear opciones mutuamente exclusivas u obvias.
Incluir opciones globalizadoras tales como “ninguna de las anteriores”.
Usar términos imprecisos (“posiblemente”) o absolutos (“siempre, nunca”).
Utilizar opciones heterogéneas tanto en lo que se refiere a su longitud como a su complejidad. Habitualmente se tiende a que la opción más larga o compleja sea la correcta.

-Repetir elementos en las opciones de tal manera que sean comunes a varias de ellas. Hay una tendencia a que la alternativa correcta sea la que posee más elementos en común.

Reiterar palabras en las opciones que pueden estar en el enunciado.
Formular opciones complejas o dobles, que contengan más de una solución.
Expresar incorrectamente o de forma no homogénea los datos numéricos.
Utilizar proposiciones negativas o dobles negativas, o incluir respuestas negativas cuando el enunciado es también negativo.

La redacción de los ítems debe complementarse con su revisión periódica para verificar su adecuada elaboración. Esto, también, permitirá identificar aquellos que no estén funcionando correctamente, posibilitando que se los remueva de la evaluación o, en su caso, se los corrija o cambie apropiadamente.

Estos criterios técnicos fueron tomados como referencia para la revisión de las preguntas de opción múltiple en los exámenes elaborados por la cátedra, dado que constituyen la base del índice de calidad de Galofré.

El índice de Galofré para la revisión de la calidad de las preguntas

Alberto Galofré (2010), después de traducir el manual del NBME (National Board of Medical Examiners) y de analizar otras publicaciones, diseñó un índice de calidad de los exámenes, que es una sistematización de las recomendaciones publicadas sobre la construcción de preguntas de selección múltiple. En efecto, el índice se basa en evaluar cada pregunta de opción múltiple teniendo en cuenta diez criterios y se considera que la calidad del ítem será óptima si cumple con la totalidad de ellos. Los diez criterios técnicos que se tomaron en cuenta son:

Presencia de viñeta: se refiere a la presencia de un caso o procedimiento o problema.
Enunciado completo: incluye toda la información necesaria para comprender la pregunta. Se puede pensar la respuesta antes de leer las opciones.
Evita uso de negaciones: “excepto”, “NO es”, “incorrecto”.
Concordancia gramatical entre enunciado y opciones: la pregunta del enunciado y las opciones respetan las reglas gramaticales en cuanto a género y número. Por ejemplo, si se pregunta por “el”, no poner “los” en una alternativa.
Distractores verosímiles: todas las opciones deben parecer verdaderas, igualmente atractivas; no se aceptan opciones “absurdas”.
Extensión similar entre las opciones: todas las opciones deben tener una longitud similar, más o menos el mismo número de palabras.
Evita las opciones “ninguna” y “todas las anteriores”.
Opciones ordenadas: ya sea lógica o numéricamente. Opciones con números en orden creciente o decreciente.
Opciones homogéneas: similares en cuanto al contenido.
Nivel de aplicación de conocimiento o superior: que la pregunta promueva un proceso intelectual superior a la memoria o el recuerdo. Pensar la repuesta requiere razonamiento, interpretar y relacionar datos, sacar conclusiones, tomar decisiones.

La ausencia de alguno de los criterios técnicos enunciados se considera un defecto de construcción. La pregunta es óptima si cumple con todos los requisitos, siendo calificada con el valor 5 que es el máximo posible. En la siguiente tabla se muestra cómo se califican las preguntas:

5	= pregunta con viñeta, sin defectos de construcción
4	= pregunta sin viñeta, sin defectos de construcción
3	= pregunta con o sin viñeta, con un defecto
2	= pregunta con o sin viñeta, con dos defectos
1	= pregunta con o sin viñeta, con tres o más defectos

Se consideró que la calidad de una pregunta era aceptable cuando tenía un valor de 3 como mínimo. Esto corresponde a una pregunta sin viñeta, de memorización, pero bien construida. Un ítem con puntaje de 2 o menos —tiene varios defectos de construcción— no debe ser incluido en el examen. El promedio de los valores de calidad de las preguntas expresa el índice de calidad del examen en su totalidad.

Este índice constituye una de las principales herramientas con las que se revisa la calidad de los exámenes en la enseñanza de las ciencias de la salud y fue utilizado como base para llevar a cabo la primer metaevaluación en la Cátedra de Derecho Comercial.

La metaevaluación (como la instancia de evaluar las evaluaciones) no puede estar ausente en las indagaciones que realizan los docentes al reflexionar sobre su propia práctica. “Es el momento de volver a considerar la planificación evaluativa realizada, en la que se legitima su validez y se construyen conocimientos acerca del proceso desarrollado” (Perassi, 2013).

Si bien esta debería impregnar todos los aspectos y procedimientos del desarrollo efectuado (pertinencia, diseño, comprensión por parte de los destinatarios); en este caso, importa especialmente revisar la construcción de los instrumentos utilizados. Se trata de interrogar sobre la forma de redactar los ítems de múltiple opción por los docentes de la cátedra con el objeto de identificar los aspectos mejor resueltos, para fortalecerlos; pero también los puntos más débiles, para replantearlos.

Metodológicamente, para el análisis se empleó la técnica de observación científica de documentos. La evaluación de las preguntas se llevó a cabo aplicando el índice de calidad de Galofré a los ítems o enunciados de opción múltiple con los que se construyeron dos exámenes parciales (I y II) realizados por la Cátedra de Derecho Comercial durante el año 2017.

Resultados obtenidos luego de aplicar el índice de calidad de Galofré a los exámenes de la cátedra

Para revisar las preguntas de las evaluaciones parciales con el índice de calidad de Galofré se emplean plantillas de Excel construidas como cuadros de doble entrada. Cada ítem o pregunta de las evaluaciones parciales se registra en una fila, mientras que cada uno de los 10 criterios técnicos del índice de Galofré se consigna en las columnas. Por cada defecto técnico hallado en el ítem se coloca valor “0” en la columna respectiva. Luego, en función del cuadro de calificaciones, se asigna un índice a cada pregunta, calificándola de 1 a 5 (este último es el máximo valor de calidad posible).

Sobre la base de los resultados obtenidos del análisis, se elaboran las siguientes tablas.

Tabla 1: Cantidad de preguntas según valor de calidad
Valor de calidad	Examen I (n=50 preguntas)	Examen II (n=50 preguntas)
	N.° de preguntas	% acumulado
5	1	1
4	0	1
3	15	16
2	13	29
1	21	50

En la primera tabla se muestran los resultados de la revisión de calidad de las preguntas de cada examen parcial.

De las 100 preguntas evaluadas, tanto en el primer como en el segundo examen parcial, el 32 % se consideran aceptables, con un valor de calidad de 3 y más. El porcentaje del 68 % corresponde a preguntas inaceptables, lo que determina un bajo índice de calidad total de los exámenes.

En cada evaluación varia la cantidad de ítems con índice de calidad más elevado. Así, en la prueba I, no hay preguntas calificadas con 4, mientras que solo 1 ítem corresponde al índice 5, y 15 preguntas al valor 3. El índice de calidad de este examen fue de 1,94. La prueba objetiva II, por su parte, presenta 3 ítems con índice 5, 1 pregunta con valor 4, y a las restantes 12 les corresponde un índice de 3. El índice de calidad de este examen fue de 2,02. Lógicamente, siendo el mismo porcentaje de preguntas aceptables en ambos exámenes parciales, el índice de calidad mayor del segundo obedece al incremento de la cantidad de ítems con índices de calidad 3, 4 y 5.

Tabla 2: Cantidad de preguntas según defecto de construcción
Defecto de construcción	Examen I (n=50 preguntas)	Examen II (n=50 preguntas)
Falta de viñeta	46	42
Explora conocimientos solo a nivel de memoria	39	34
Falta de extensión similar entre las opciones	23	33
Opciones heterogéneas	22	14
Uso de “ninguna/todas”	12	12
Falta de concordancia gramatical entre el enunciado y las opciones	8	1
Uso de negaciones	8	5
Distractores inverosímiles	8	6
Enunciado incompleto	5	3
Opciones desordenadas	5	5

En la Tabla 2 se presentan los defectos de construcción que se evidencian con mayor frecuencia en los exámenes revisados. Del análisis se infiere que la falta de viñeta y el bajo nivel taxonómico de las preguntas resultan ser los errores más frecuentes en los que se incurre al redactar los ítems. Es decir, la mayoría de los ítems solo demandan la recordación de datos específicos. “Según los estudios realizados, la mayoría de los exámenes orales y escritos, incluyen preguntas que solo exploran memoria” ∥Charvat et al, 1969).

El análisis también permite establecer que a estos defectos le siguen la falta de homogeneidad y la ausencia de extensión similar entre las opciones. Si las alternativas consisten en una gran variedad de declaraciones relacionadas al tallo pero no relacionadas entre sí, la tarea del estudiante se transforma en innecesariamente confusa. Alternativas que son paralelas en contenido ayudan a evaluar un problema en particular más claramente, pues es más fácil de medir el logro de un objetivo específico, así como también los posibles errores conceptuales presentes. En relación a la falta de extensión similar entre las opciones, se debe trabajar para corregirla, pues resta efectividad a los distractores. Una alternativa evidentemente más larga que las otras es con frecuencia asumida como la respuesta correcta, y no sin razón. Tampoco es correcto utilizar a propósito una más larga como distractora, con el fin de confundir a los alumnos.

Otro inconveniente de redacción que se detecta es el uso de las alternativas del tipo “todas son correctas” y “ninguna de las anteriores”. Estas dos alternativas son frecuentemente utilizadas cuando, al construir el ítem, el docente tiene dificultad para obtener un suficiente número de distractores. En este caso, enfatiza en la cantidad de distractores más que en su calidad. Resulta conveniente desalentar el uso de estas opciones pues, desafortunadamente, su presencia tiende a reducir la efectividad del ítem.

En la construcción de los ítems revisados se observa, aunque con menor grado de frecuencia, una falta de concordancia gramatical entre el enunciado (tallo) y las opciones o alternativas. Los estudiantes frecuentemente asumen la inconsistencia gramatical como signo inequívoco de un distractor, y eso es generalmente correcto.

En relación a los ítems presentados con forma de negación, estos deben ser reformulados en sentido positivo pues, de lo contrario, el estudiante es inducido a identificar la excepción, la respuesta incorrecta o la respuesta menos correcta. Estos ítems son usados con demasiada frecuencia, debido a que son relativamente fáciles de construir. En este caso, solo es necesario preocuparse por un distractor (menor a los dos a cuatro requeridos para un ítem escrito en forma positiva). Los ítems positivos, sin embargo, son mucho más apropiados para usarlos en la medición de logros de la mayoría de los objetivos educacionales. Además, los negativos tienden a confundir a los evaluados.

En la revisión también se determina la presencia de distractores inverosímiles. Para el estudiante que no posee la habilidad o el conocimiento que está siendo evaluado por el ítem, los distractores deberán aparecer tan plausibles como la respuesta. Distractores no realistas, pícaros o tramposos no son funcionales e incrementan la posibilidad, para el estudiante, de acertar la respuesta correcta.

En algunas preguntas, la revisión muestra enunciados incompletos. No debemos olvidar que el enunciado o tallo es la base del ítem. Luego de leerlo, el estudiante debe conocer exactamente cuál es el problema y qué se espera que él resuelva respecto de este. Si el estudiante puede inferir de qué se trata el problema, el ítem podrá medir la habilidad de aquel para obtener inferencias a partir de descripciones.

Respecto de las preguntas con opciones desordenadas, estas se deben corregir, reorganizando las alternativas conforme la secuencia numérica o cronológica con la que han sido planteadas.

Conclusiones

La evaluación orientada a la mejora adquiere un sentido esencialmente formativo, retroalimentador de aquel aspecto que se pretende perfeccionar. Este trabajo representa un primer aporte en este sentido. Su importancia está dada por la escasa bibliografía que refiere a la construcción de instrumentos para la evaluación de los aprendizajes mediante exámenes de opción múltiple en la enseñanza del Derecho y, sobre todo, porque la revisión resulta de una experiencia docente concreta.

La metaevaluación que se realizó sobre los exámenes parciales de opción múltiple de la Cátedra de Derecho Comercial correspondientes al ciclo lectivo 2017, permite —por primera vez— identificar aquellos aspectos que se deben mejorar a la hora de evaluar a los alumnos. Al aplicar la escala de Galofré fue posible individualizar un porcentaje muy elevado de preguntas deficientes que determinaron una baja calidad de los exámenes revisados, y que impone la necesidad de un cambio profundo en relación a la técnica empleada por los docentes para su redacción.

Entre los errores más frecuentes al redactar los ítems se destacan la ausencia de viñetas y el bajo nivel taxonómico de las preguntas.

Ello implica que se está reforzando en una dirección distinta a la planificada en oportunidad de construir el instrumento de evaluación. En efecto, los docentes de la cátedra, al elaborar el diseño curricular, destacan la necesidad de privilegiar la capacidad para razonar jurídicamente y resolver situaciones concretas en la formación del alumno. Por el contrario, al redactar los ítems carentes de viñetas, se alejan de los propósitos que tuvieron en mira al planificar. Un desafío, entonces, es modificar la estrategia para mejorar la redacción de las preguntas, de manera que se exploren contenidos pertinentes y relevantes para la práctica profesional. En este sentido, debe incorporarse mayor número de viñetas, planteando casos o situaciones problemáticas; lo que —a la vez— permite evaluar en el alumno capacidades y habilidades vinculadas a la resolución de casos, aplicando contenidos de manera razonada.

Para reajustar el instrumento y corregir los defectos detectados, además de la incorporación de casos en el enunciado del ítem, el cuerpo docente deberá replantear algunas cuestiones esenciales. En primer lugar, durante el diseño del instrumento, redactar buenas preguntas centradas en contenidos fundamentales, que comprueben los objetivos propuestos y estimulen un estudio inteligente. Luego, rever los criterios técnicos para la elaboración de ítems gramatical y lógicamente correctos; pues la confusión o falta de claridad en el enunciado invalida la herramienta empleada. Si el ítem adolece de este defecto, la respuesta inexacta dada por el estudiante se origina en un planteo formulado de manera incorrecta, y no corresponde que el evaluador traslade esta debilidad —es decir, su propio error de formulación— a la acción desarrollada por el sujeto evaluado. En otras palabras, hay que mejorar la calidad de las preguntas para que la evaluación cumpla con el objetivo para el cual fue planificada.

Poner en valor la evaluación como instancia para retroalimentar los procesos de enseñanza-aprendizaje e interpelar a los equipos de cátedras universitarias a reflexionar y autoevaluar su desempeño es una tarea que los docentes deben asumir como necesaria en su práctica cotidiana.

Están sentadas las bases para mejorar la evaluación parcial y, como decía San José Gabriel Brochero, “está todo por hacer”.

Referencias

Charvat, J. ; McGuire, C. ; Parsons, V. (1969). Características y aplicaciones de los exámenes en la enseñanza de la Medicina. OMS. Cuadernos de Salud Publica n.° 36.

Díaz Rojas, P. y Leyva Sánchez, E. (2013). Metodología para determinar la calidad de los instrumentos de evaluación. Revista Educación Médica Superior 27 (2): 269-286.

Galli, A.; Roiter, H.; de Mollein, D.; Swieszkowski, S.; Atamañuk, N.; Ahuad Guerrero, A.; Grancelli, H.; Barrero, C. (2011). Evaluación de la calidad de las preguntas de selección múltiple utilizadas en los exámenes de Certificación y Recertificación en Cardiología en el año 2009. Revista Argentina de Cardiología 2011, 79:419-422

Galofré, A. (2010). Instrucciones para calcular un índice de calidad para preguntas de selección múltiple. Revista Educación Ciencias Salud 7 (2): 141-145.

Haladyna, T.; Haladyna, R. y Merino Soto, C. (2002). Preparación de preguntas de opciones múltiples para medir el aprendizaje de los estudiantes. OEI Revista Iberoamericana de Educación, ISSN: 1681-5653.

Morales, P. (2012). Análisis de ítems en las pruebas objetivas. Madrid: Universidad Pontificia Comillas, Facultad de Ciencias Humanas y Sociales.

Pales-Argullos, J. (2010). ¿Cómo elaborar correctamente preguntas de elección múltiple? Viguera Editores SL. Educ. Med.; 13 (3): 149-155.

Pegoraro, L. (2010). Métodos de Evaluación en los Exámenes Jurídicos. Universidad de Bolonia. (REJIE) Revista Jurídica de Investigación e Innovación Educativa, n.^o 2, pp.21-32.

Perassi, Z. (2013). La importancia de planificar la evaluación. Aportes para debatir la evaluación de aprendizajes. Argonautas n.º 3: 1-16

Salinas Fernández, B. y Cotillas Alandí, C. (2007). La evaluación de los estudiantes en la Educación Superior. Apuntes de buenas prácticas. Editorial Servei de Formació Permanent. Universitat de Valencia.

Sans Martín, A. (2008). La Evaluación de los Aprendizajes: construcción de instrumentos. Barcelona: Editorial Ocatedro.

volver