Sistema de evaluación automática de respuestas discursivas como método para aprender y pensar

Guillermo de Jorge-Botana
gdejorge@psi.uned.es
UNED
José María Luzón
UNED

Comunicación larga
Procesamiento del lenguaje natural


Presentación

No cabe duda de que conseguir que los estudiantes logren expresarse adecuadamente por escrito es una prioridad en cualquier sistema educativo. Sin embargo, la importancia de la escritura en el ámbito docente va mucho más allá de la adquisición de su competencia: la escritura es también una excepcional herramienta de pensamiento. Convertirse en un “escritor” competente le requiere al estudiante práctica frecuente y esfuerzo, y al docente tiempos para revisar, elaborar orientaciones personalizadas y diseñar sistemas de refuerzo eficaces, de los que en muchas ocasiones carece. Esta situación lleva a que su instrucción en escuelas, institutos y universidades resulte, por inasumible, relegada en comparación con la atención que se presta a otras habilidades y competencias más “asequibles”.

Por otro lado, cabe señalar que gran parte de la evaluación de conocimientos (aprendizajes) se torna limitada a pruebas de respuesta cerrada por insuficiencia de recursos docentes, y tanto en modalidades de enseñanza tradicional (presencial) como abiertas y a distancia (MOOC’s). En este sentido, el desarrollo de herramientas para la evaluación automática de respuestas abiertas, que además incorporen feedbacks detallados y personalizados, ofrecen un prometedor horizonte para la evaluación de conocimientos no sólo en los momentos formales, sino también en las actividades del día a día que llevan a cabo los estudiantes en su proceso continuo de aprendizaje (EEES del Proceso de Bolonia).

En esta comunicación se presenta una metodología de enseñanza que combina la evaluación automática de textos discursivos con actividades de aprendizaje basadas en escritura formal o académica, con una doble intención docente: mejorar el aprendizaje de contenidos concretos y desarrollar las habilidades de pensamiento de los estudiantes.

Objetivos

Los objetivos que se pretenden alcanzar pueden organizarse en dos grupos.

1. Profesorado

2. Estudiantes

Acciones

La herramienta web para evaluar. La herramienta web para evaluar automáticamente textos discursivos es fruto de la investigación que un grupo de profesores de la UAM y UNED ha venido desarrollando durante los últimos siete años. La herramienta web, que se ha denominado G-Rubric1 (que emplea GallitoAPI como motor de análisis), ha sido puesta a prueba en distintos momentos y disciplinas reales; por ejemplo, en asignaturas del Grado en Psicología impartidas por la Facultad de Psicología, así como del Grado en Economía pertenecientes a la Facultad de Ciencias Económicas, ambas de la UNED y bajo metodología a distancia. Las tecnologías que dan lugar a G-Rubric están basadas en lenguaje natural y en su procesamiento.

Las actividades de aprendizaje basadas en objetos. Las actividades de aprendizaje fueron en todos los casos elaboradas por los profesores de sus Equipos Docentes, dado que todos ellos son expertos en sus materias y responsables únicos de su impartición. Tales actividades se justifican en un contenido base recogido en forma de lectura de cualquier extensión (un capítulo, artículo, una selección, un libro de texto completo) o documento de vídeo, de audio, o gráfico, sobre el que se plantea la realización de una tarea concreta mediante su enunciado correspondiente: “resuma los aspectos más importante de…”, “distinga los puntos de vista de los autores que se referencian en…”, “reproduzca los puntos más sobresalientes de la teoría de…”, etc.

Una vez concluido el proceso de elaboración formal de las actividades, se hace necesario seguir una serie de pautas a fin de convertirlas en objetos de aprendizaje ajustados a las condiciones que espera la aplicación G-Rubric.

Los profesores de la asignatura. Como se ha dicho, una vez terminadas las actividades deben todavía adaptarse a las solicitudes de la aplicación G-Rubric. Para que los expertos pudieran llevar a cabo dicha adaptación, se organizaron cuatro sesiones de formación sobre la creación y formato específico de los elementos definitorios del contenido de las actividades (ideas, descriptores, grado de presencia/ausencia…), así como del papel, funciones y manejo de G-Rubric y del motor de análisis GallitoAPI.

Una vez construidos por completo los objetos de aprendizaje y dispuestos en G-Rubric, el Equipo Docente los incorpora a su plan de trabajo expuesto en la plataforma virtual aLF de la UNED mediante los enlaces correspondientes (url); así mismo, añade las instrucciones pertinentes y los plazos de realización de modo que todo lo necesario quede a disposición de los alumnos de la asignatura.

¿Qué ofrece la evaluación de G-Rubric? G-Rubric ofrece tres tipos de información al estudiante sobre la respuesta evaluada:

La escritura como herramienta para aprender y pensar. Como se ha dicho, G-Rubric no sólo es una herramienta para mejorar las competencias de escritura y adquirir nuevos conocimientos sobre un contenido o disciplina particular, sino también para mejorar las habilidades de pensamiento de los estudiantes.

Por un lado, la puntuación sobre corrección global de la redacción y las múltiples posibilidades de evaluación automática que ofrece G-Rubric, permite que los alumnos revisen estos aspectos superficiales en sus respuestas con la tranquilidad de que más adelante podrán detenerse en cuestiones de mayor calado y fineza.

En segundo lugar, la evaluación global sobre el contenido, que se asemeja a la calificación que ofrecería un profesor, además de informar al estudiante, aumenta la validez ecológica de la herramienta al tiempo que le anima a mejorar su respuesta. 

Y en tercer lugar, la información de retorno o feedback personal ofrecido al estudiante tras cada evaluación dirige su atención hacia los aspectos conceptuales relevantes, señalando cuáles son y en qué grado deberían estar presentes en su respuesta. Así mismo, el modo peculiar con el que ha sido construido G-Rubric, hace que la extensión de la respuesta cobre importancia, ya que al poder limitarse a voluntad obliga a la síntesis. Esto es, no es posible alcanzar una calificación superior sobrepasando despreocupadamente el límite de extensión sugerido en las instrucciones específicas de un objeto, sino sólo con una respuesta respetuosa con la extensión recomendada y que contenga, en la proporción debida (la fijada por el experto), las ideas principales. Tal situación de compromiso, invita al estudiante a que ponga en marcha estrategias más elaboradas acerca de cómo conseguir una respuesta superior. Esta búsqueda le llevará por segunda o tercera vez al texto base del que partió la actividad a fin de identificar matices y detalles que, sin pasarse, puedan enriquecer su respuesta (posiblemente esta vuelta al documento fuente también redundará en sus competencias lectoras y su comprensión); igualmente  le llevará revisar la estructura profunda de su respuesta y a mejoran el hilo conductor de su escrito o hilo argumental, lo que a la postre le llevará a interesarse por los aspectos profundos que antes había pasado por alto; y por último, el repaso dirigido de la actividad le “obligará” a seleccionar palabras, precisar conceptos, ordenar expresiones, establecer relaciones e incluso, si es el caso, plantear inferencias entre las distintas partes del texto y su respuesta. En definitiva, la tarea diseñada y controlada por el profesor experto, junto con las características de la herramienta de evaluación (es automática, es ilimitada, es sencilla, es inmediata), le estarán empujando no sólo a aprender más sobre un contenido concreto, sino también a organizar, entrenar y fortalecer sus habilidades para pensar.