Beyond objective testing and peer assessment: alternative ways of assessment in MOOCs

María del Mar Sánchez-Vera; María Paz Prendes-Espinosa

Los MOOC: ¿una transformación radical o una moda pasajera?

Más allá de las pruebas objetivas y la evaluación por pares: alternativas de evaluación en los MOOC

María del Mar Sánchez-Vera

Universidad de Murcia, España

mmarsanchez@um.es

María Paz Prendes-Espinosa

Universidad de Murcia, España

pazprend@um.es

Fecha de presentación: junio de 2014

Fecha de aceptación: octubre de 2014

Fecha de publicación: enero de 2015

Cita recomendada

Sánchez-Vera, M. M. y Prendes-Espinosa, M. P. (2015). Más allá de las pruebas objetivas y la evaluación por pares: alternativas de evaluación en los MOOC. RUSC. Universities and Knowledge Society Journal, 12(1). págs. 119-131. doi http://dx.doi.org/10.7238/rusc.v12i1.2262

Resumen

Los MOOC (cursos masivos abiertos en línea) son una propuesta de enseñanza en línea que en su corta vida han mostrado ya dos posibilidades bien diferenciadas, los cMOOC y los xMOOC. Ambas son analizadas en este artículo desde la perspectiva de la evaluación de los aprendizajes de los alumnos, pues mientras que en los xMOOC la evaluación suele aparecer reducida a pruebas tipo test o en algunos casos a la entrega de tareas, en los cMOOC la evaluación pretende promover la interacción desde una perspectiva de evaluación formativa y suele sustentarse en la evaluación por pares. Ambos modelos pueden resultar limitados desde una perspectiva pedagógica. Por una parte, los exámenes tipo test se circunscriben principalmente al contenido y, por otro lado, la evaluación por pares tiene también dificultades e inconvenientes que explicamos en el artículo. Así, en este artículo presentamos diversas alternativas útiles para flexibilizar las posibilidades de evaluación en los MOOC (grupos de expertos, web semántica, portafolio, analíticas de aprendizaje), intentando abordar la evaluación educativa no como una finalidad en sí misma, sino como una parte más del proceso educativo.

Palabras clave

MOOC, evaluación, feedback, e-learning

Beyond objective testing and peer assessment: alternative ways of assessment in MOOCs

Abstract

MOOCs (massive open online courses) are an online teaching proposal that, in their short lives, have already thrown up two very different possibilities: cMOOCs and xMOOCs. Both are analysed in this paper from the perspective of assessing students’ learning. While assessment in xMOOCs is usually limited to multiple choice tests and sometimes delivering tasks, in cMOOCs the aim is to foster interaction from an educational standpoint, usually on the basis of peer assessment. Pedagogically, both models have their limitations. Multiple choice tests are mainly content bound while peer assessment has its own difficulties and drawbacks, which we explain here. We will put forward some useful ideas to give more flexibility to assessment in MOOCs (groups of experts, semantic web, portfolio, learning analytics), in an attempt to address educational assessment not as an end in itself but as another part of the educational process.

Keywords

MOOCs, assessment, feedback, e-learning

1. Introducción

El mundo MOOC, a pesar de su limitado recorrido temporal (el primer curso denominado MOOC se desarrolló en 2011), tiene ya una identidad propia. En él encontramos a defensores y detractores, a prácticos y teóricos de los MOOC, investigaciones que analizan MOOC ya pasados y expertos que tratan de vaticinar qué nos traerá el futuro. El propio fenómeno MOOC es tan actual y de tanta relevancia e impacto que es en sí mismo un fenómeno digno de estudio (Adell, 2013).

En un trabajo anterior (Sánchez y Prendes, 2013) recogíamos un interesante estudio del Departamento de Negocios e Innovación del Reino Unido que en 2013, tras realizar un exhaustivo estudio sobre el fenómeno MOOC, concluía que se encuentran dos tendencias en la red: la de aquellos que aceptan los MOOC con entusiasmo y valoran las potencialidades para aprender e incluso hablan de la transformación de la educación en línea y, por otra parte, la de los detractores, que son críticos y escépticos en torno a este fenómeno. Estas posiciones críticas parecen aunar una idea que consideramos relevante: toda la literatura pedagógica científica de los años noventa y principios del siglo XXI valoraba las potencialidades de la personalización de la educación en línea, es decir, si educar en red nos ofrece ventajas, entre ellas es destacable la posibilidad de comunicación con un alumno a distancia, la interacción y el feedback sobre sus procesos y aprendizajes individuales, con lo que se otorga una especial relevancia a la evaluación sumativa frente a la formativa. Sin embargo, la masificación inherente a los MOOC conlleva, en cierto sentido, una ruptura con toda esta tendencia educativa y, como menciona el citado informe, supone en cierto modo una victoria del packaging content.

Por otra parte, ya antes de la llegada de los MOOC, la evaluación en línea era un objeto de estudio habitual y relevante en la literatura científica. A la par, además de ser objeto de interés científico, se ponía de manifiesto que era una de las dimensiones didácticas del proceso de enseñanza en línea que en general había sido susceptible de menos cambios e innovaciones pedagógicas (Dorrego, 2006; Prendes, 2007). Los MOOC, al añadirle el carácter de «masivo» a los cursos en línea, conllevan la necesidad de plantearnos modelos alternativos para la evaluación del aprendizaje de los alumnos en red.

Es cierto que existe una tipología amplia en cuanto a los MOOC. Esta tipología es organizada principalmente en dos tendencias: los xMOOC y los cMOOC. Ambas categorías se diferencian tanto por sus orígenes como por el modelo pedagógico que subyace en cada una: los xMOOC, centrados en el contenido y la transmisión de información; y los cMOOC, de vertiente constructivista, que priorizan la interacción entre los participantes (Brown, 2013). Las características que diferencian a ambos están muy bien expuestas en la siguiente tabla elaborada por Yuan, Powell y Olivier (2014).

Tabla 1. Tipología de MOOC (Yuan, Powell y Olivier, 2014)
xMOOC		cMOOC
«Escalabilidad»	Masivo	Comunidad y conexiones
Acceso abierto y licencias restringidas	Abierto	Acceso abierto y licencias libres
Aprendizaje individual en una única plataforma	En línea (en red)	Aprendizaje en comunidad a través de varias plataformas y servicios
Adquirir el currículum de conocimiento y destrezas	Curso	Desarrollar prácticas comunes, aprendizaje y entendimiento

La escalabilidad es un término utilizado en el lenguaje informático para referirse a la habilidad de un sistema o de una red para manejar hábilmente una cantidad creciente de trabajo. También se refiere a la habilidad del sistema para reaccionar y adaptarse sin perder calidad (Bondi, 2000). El relacionar este concepto con el de xMOOC es debido a que la masificación, en el marco de esta tendencia, se centra en el hecho de estar participando en un sistema de formación que se amplifica en cuanto a recursos y personas, mientras que el carácter masivo en los cMOOC se centra en la potencialidad que tienen para establecer comunidades de aprendizaje y crear nuevas conexiones.

Los cMOOC, además, suelen desarrollarse en diversas plataformas y no suelen tener un único entorno virtual, como sí pasa en los xMOOC. Muchos cMOOC utilizan blogs, wikis, redes sociales abiertas para establecer las redes de conexión.

Básicamente los xMOOC se centran en el contenido y la adquisición de este de manera individual, mientras que los cMOOC se centran en el aprendizaje en comunidad y en las potencialidades de aprender a través de la creación y colaboración conjunta, diseñando recursos y generando el propio contenido.

Teniendo en cuenta este panorama, vamos a centrarnos en conocer un aspecto que siempre ha sido muy relevante en cualquier acción formativa: la evaluación educativa y en qué modo los MOOC están solventando ese aspecto tan importante del proceso educativo.

2. Un repaso por los MOOC y sus sistemas de evaluación

En el marco de las dos grandes tipologías de MOOC expuestas anteriormente (xMOOC y cMOOC), la evaluación no se ha afrontado del mismo modo. En los xMOOC el potencial es el contenido, en el que se centra la acción formativa, por lo tanto lo principal es evaluar el aprendizaje en relación con el contenido, para lo cual se ha recurrido fundamentalmente a las pruebas tipo test. Se pueden realizar dentro de la misma plataforma al finalizar cada semana y/o módulo y también puede haber una prueba final.

Por el contrario, en los cMOOC se utiliza principalmente la evaluación por pares (peer assessment), que supone que un estudiante debe evaluar a otro compañero. Para facilitar y, en cierto modo, estandarizar el proceso, se suele trabajar con rúbricas de evaluación que se proporcionan al alumno para que sepa qué aspectos debe evaluar.

Tabla 2. Tendencias de evaluación en los xMOOC y cMOOC
xMOOC	cMOOC
Preguntas tipo test al final de cada semana	Evaluación de tareas o recursos creados
Examen final tipo test	Se utilizan rúbricas
Uso de protocolos de reconocimiento del estudiante (veracidad de la identidad): webcam, ID digital…	El compañero debe proporcionar feedback a otro compañero
Se desarrolla en una plataforma específica que recoge toda la información	Se desarrolla en la red, a partir de distintos recursos y herramientas telemáticas

Podemos indicar que la tabla 2 representa la tendencia original en cuanto a entender la evaluación. Resumiendo, diremos que en los xMOOC se realiza una evaluación principalmente sumativa, mientras que en los cMOOC el potencial es la evaluación del proceso. Sin embargo, la evaluación por pares también está siendo incorporada a los xMOOC, puesto que se encuentran plataformas, como es el caso de Coursera, que permiten tanto realizar pruebas tipo test como lo que se denomina peer assessment (evaluación por pares o evaluación entre compañeros).

También debemos destacar que es posible desarrollar un MOOC sin utilizar una única plataforma concreta. Este tipo de estrategia se utiliza principalmente en los cMOOC y parten de un sitio web que funciona como punto de partida, pero el curso se desarrolla a través de blogs, wikis, redes sociales y cualquier otro tipo de herramienta que utilice la comunidad de aprendices. En este tipo de MOOC la evaluación por pares no es el sistema más utilizado.

Las tendencias sobre evaluación que encontramos en los MOOC no difieren mucho respecto a tendencias sobre cómo consideramos que es la evaluación. En cierto modo, una evaluación basada en pruebas objetivas tipo test es un modelo clásico y bien conocido en enseñanza, si nos atenemos a los dos modelos establecidos por el profesor Escudero en el año 1998, mucho antes del boom de los MOOC.

Tabla 3. Síntesis de los movimientos evaluativos (Escudero, 1998)
De la evaluación del «antes»...	...a otra versión de la evaluación
Evaluación de resultados, particularmente relacionados con el aprendizaje de los alumnos	Evaluación de los procesos y de cada uno de los componentes y sujetos implicados en la educación
Cuantitativa	Cualitativa
Control jerárquico, burocrático «desde arriba»	Control social, democrático, participativo
Énfasis en decisiones relativas al diseño, metodología, instrumentos	Énfasis en la teoría subyacente, en los sistemas de criterios y valores, en la importancia de los contextos donde ocurren los fenómenos evaluados
Toma de decisiones y racionalización	Estimulación del debate social y la reflexión
Calificación, elaboración de informes, decisiones administrativas	Énfasis en la utilización e implicaciones sociales y educativas

Resulta interesante comparar las tablas 2 y 3 de este trabajo para reflexionar acerca del modelo pedagógico que estamos implementando al adoptar una determinada decisión respecto a la evaluación del alumnado.

2.1 Ventajas y limitaciones de la evaluación por test

Evaluar en línea usando pruebas cerradas tipo test no es algo novedoso, como indicaba Prendes (2007), pues antes de los MOOC, en la hegemonía de los campus virtuales en el mundo de la educación en línea, la mayor parte de las evaluaciones se realizaban presencialmente o a través de pruebas tipo test en la plataforma. Utilizar pruebas tipo test no tiene por qué ser negativo, si se integran en una metodología de evaluación coherente y más amplia. El realizar pruebas objetivas tiene entre sus ventajas, con relación al docente, poder obtener medidas fiables sobre un ámbito de conocimiento, y para el alumno, en un marco más amplio, poder reforzar el aprendizaje de un contenido (cuando se proporcione un feedback adecuado).

El problema aparece cuando los cursos MOOC se centran exclusivamente en este aspecto, relacionándolo con el componente certificador del curso, es decir, se tiene que superar la prueba tipo test para obtener el certificado.

Trasladado a la web, el fenómeno de los test llevado al extremo puede suponer entender erróneamente que la evaluación por test sobre un contenido educativo puede indicar todo tipo de parámetros educativos (calidad del curso, profesorado, contenidos, etc.) y que se pueden evaluar fácilmente otro tipo de componentes, como las competencias, que requieren sin embargo otro tipo de evaluación formativa. Los xMOOC suelen presentar test que se basan en responder a contenido visto previamente, con lo que se fomenta el aprendizaje memorístico y el aprendizaje conceptual. Si no se incorporan otras estrategias y herramientas de evaluación estaremos olvidando los más recientes modelos de evaluación de procesos, que tienen en cuenta no tanto los contenidos, sino las competencias de los estudiantes.

Esta perspectiva evaluadora a partir de una sucesión de test respondería al modelo identificado en la tabla 2 como un modelo de evaluación «como antes», y es relevante destacar que el «antes» indicado por Escudero se enuncia en el año 1998.

2.2 Ventajas y limitaciones de la evaluación por pares

A pesar de que la evaluación por pares ha caracterizado el tipo de evaluación hecha por los cMOOC, es cierto que cada vez hay más plataformas, consideradas como plataformas que desarrollan xMOOC, que incluyen igualmente la evaluación por pares.

Como ventajas, podemos indicar que algunas investigaciones recientes (Luo y Robinson, 2014) indican que a los estudiantes les gusta la evaluación por pares en los MOOC. En este estudio los alumnos indicaron haber recibido calificaciones justas y feedback útil, lo que les ha servido como elemento motivador.

Respecto a la validez de las puntuaciones dadas por los estudiantes, Piech et al. (2013) nombran una investigación de Kulkarni, Pang-Wei, Chia, Papadopoulos, Koller y Klemeer –aún no publicada– en la que se indica que, de media, las calificaciones dadas por un grupo de facilitadores no difieren significativamente de la dada por los estudiantes a través de la evaluación por pares.

Desde una perspectiva general, que el estudiante se convierta en evaluador puede conllevar diversos beneficios derivados, entre otros aspectos, de que el propio hecho de evaluar en sí mismo es una experiencia relevante de aprendizaje. Sin embargo, esta actividad debería ser claramente diseñada y explicada a los estudiantes.

Es cierto que la evaluación por pares intenta, al mismo tiempo, realizar una evaluación formativa y tener en cuenta la gran cantidad de alumnos que se tienen en los MOOC. Esto, a priori, puede parecernos un sistema más enriquecedor, sin embargo, como apunta O´Toole (2013), más que denominarlo evaluación por pares (peer assessment) deberíamos denominarlo calificación por pares (peer grading), ya que en muchos casos en los MOOC lo que se termina haciendo es proveer al alumno de una rúbrica de evaluación cerrada y una serie de instrucciones sobre cómo aplicarla, con lo que se pierde su utilidad.

Downes (2013) analiza otras dos dificultades de este método con las que resulta fácil estar de acuerdo:

«Los ciegos guiando a otros ciegos». Interesante denominación de un fenómeno que puede suceder y es el hecho de que al dejar en manos de los aprendices la evaluación, estos creen sus propias reglas del juego a partir de criterios que no están fundamentados.
«El charlatán». Algunos estudiantes no son expertos pero creen serlo y eso puede inducirlos a emitir opiniones erróneas. O incluso inducirlos a considerar a otro estudiante como experto cuando tampoco lo es.

3. ¿Una vuelta al pasado o una mirada al futuro? Alternativas de evaluación en los MOOC

The Chronicle realizó en 2013 una investigación entre más de cien profesores que habían participado en MOOC como docentes. Entre otras preguntas de interés, se les consultó acerca del método de evaluación que habían utilizado. A continuación destacamos una valoración realizada por un docente que había trabajado en la plataforma de Coursera (Kolowich, 2013): «Yo preferiría, por supuesto, el poder leer cada trabajo cuidadosamente y seguir la lógica, pero eso es un problema tecnológico que pienso que Coursera resolverá pronto». No creemos que sea un problema tecnológico, pues la lectura cuidadosa de trabajos por parte del profesor en situaciones de masividad de alumnos es un problema de ratio profesor-alumno, por lo que requeriría de una masa ingente de profesores que equilibre las proporciones. En lo que sí puede ayudar, en cierta medida, la tecnología es en facilitar la corrección en sí misma, como veremos.

En este mismo sentido, Sandeen (2013) explica que el 74 % de los profesores indicaba haber usado correcciones automáticas y el 34 % había usado evaluación por pares. Del primer grupo, un 67,1 % encontró la corrección automática «muy fiable» y el 30 %, «algo fiable». Del 34 % global que utilizó la evaluación por pares, el nivel de fiabilidad que indicaron los profesores fue menor, ya que el 34 % la definió como «muy fiable» y el 71 % como «algo fiable».

El gran número de alumnos hace que la evaluación sea compleja y, por tanto, todo el software que pueda ayudar en la tarea debe ser bienvenido, pero los MOOC no deben suponer una vuelta atrás en la didáctica. Si entendemos la evaluación como un aspecto cualitativo que forma parte del propio proceso de aprendizaje, debemos buscar alternativas que nos permitan que conviva este hecho con el de tener un número elevado de alumnos en el curso.

Planteamos, a continuación, algunas propuestas que pueden ser utilizadas en los MOOC en el marco de una estrategia de evaluación debidamente diseñada. La utilización de varias de ellas combinadas puede ampliar nuestras perspectivas y ofrecer nuevas oportunidades.

3.1 Evaluación por pares 2.0

Ya hemos hablado de la evaluación por pares y de sus inconvenientes, sin embargo, consideramos que, por el hecho de que el modelo tenga deficiencias, no significa que deba ser descartado. Como indica Downes (2013), la evaluación por pares puede funcionar muy bien para entradas de blogs o foros de discusión.

Para evitar alguna de las cuestiones problemáticas de este modelo (que el alumno no se tome la evaluación en serio o que no entienda la rúbrica o no sepa cómo hacerla), el profesor Duneier, en un artículo de The New York Times, explica que el método que utilizó fue el de que el alumno tenía que evaluar a cinco compañeros para poder obtener su propia calificación, que a su vez era la media que los cinco compañeros le habían otorgado (citado por Lewin, 2012).

Denominamos evaluación por pares 2.0 a un nuevo modelo de evaluación por pares que incluya otro tipo de planteamientos que permitan que este modelo sea más efectivo. Una de las opciones puede ser entender la evaluación por pares como una tarea más dentro del MOOC, que pueda ser incluso objeto de supervisión por otro compañero, para asegurar tasas de fiabilidad más elevadas. Esto supondría diseñar un procedimiento basado en la triangulación, algo muy característico en la evaluación cualitativa.

Diseñar un enfoque mixto de evaluación por pares, basado en la evaluación de los iguales junto con la evaluación de expertos que supervisen ese proceso, puede resultar muy efectivo. Del mismo modo, se pueden asignar las tareas en la evaluación por pares en función de la situación de aprendizaje y del contexto del participante, en lugar de hacerlo al azar (O´Toole, 2013).

3.2 Evaluación en comunidad

La evaluación en comunidad (network-based grading) es explicada por Downes (2013) por el hecho de que en este modelo las personas no son evaluadas por piezas individuales de trabajo (como sucede principalmente en la evaluación por pares), sino que son evaluadas de acuerdo con la medida del grupo (network metric), un planteamiento clásico en evaluación de tareas colaborativas (véase Prendes, 2003). Y pone de ejemplo Klout, una aplicación que mide nuestra influencia en las redes sociales asignando un valor entre 0 y 100, basada en distintos factores como retuits, menciones, amigos en Facebook, etc. (relacionado con la idea de learning analytics que incluimos posteriormente), y que desde principios de 2014 permite aumentar la puntuación o influencia creando contenidos.

Desarrollar una idea parecida en los MOOC, de tal modo que la importancia de nuestra valoración resida en cómo crear y compartir contenido, puede ser cuando menos muy interesante.

3.3 Portafolio

Las potencialidades del portafolio como estrategia de evaluación en red ya han sido expuestas anteriormente (Prendes y Sánchez, 2010). Entre otras cosas, permiten entender el proceso de aprendizaje del alumnado y proporcionar un feedback que le resulte útil. Downes (2013) explica que el portafolio en un MOOC puede funcionar como un recurso que el estudiante debe presentar para demostrar su aprendizaje. Combinar, además, estrategias del portafolio con evaluación por pares y web semántica puede resultar de gran interés, desde una perspectiva flexible que permita el uso de técnicas diversas y complementarias.

3.4 El manto de expertos

O´Toole (2013) propone el manto de expertos como una alternativa de evaluación en los MOOC. Esta metodología, diseñada por Dorothy Heathcote en el año 1985, parte de agrupar a los estudiantes, quienes son designados como expertos asesores en función de su ámbito de conocimiento. Entre todos han de realizar la evaluación y, para ello, negocian sus expectativas con otros grupos de evaluadores. El docente podría actuar como un facilitador, ayudando al consenso y asegurando que se cumplen los requisitos mínimos y las normas institucionales y del curso. Cada equipo es responsable de que su apartado sea desarrollado por los otros grupos y podrían realizar un producto en el que explicar todo el proceso seguido.

3.5 Web semántica

Codina (2003) explica que la web semántica es el nombre de una aspiración, de un objetivo que, en el caso de cumplirse totalmente, cambiaría de forma radical la web tal y como se conoce en la actualidad. Hablar de web semántica implica «que el significado de los datos publicados en la Web puede ser conocido tanto por humanos como por aplicaciones» (Fernández-Breis et al., 2007). Esto conlleva que la información debe publicarse para permitir dos tipos de interacciones diferentes entre, por un lado, contenido y usuarios humanos y, por otro lado, contenido y aplicaciones.

En la web actual nos movemos por la información a través de enlaces, vamos obteniendo distintos recursos y a través de enlaces saltamos por la información, pero el ordenador no puede registrar esa información. En la web semántica hemos indicado al ordenador previamente una base con sentido del contenido, de manera que cuando nos movemos por la información navegamos por una estructura más lógica y organizada del conocimiento (Sánchez-Vera, 2010), lo cual presenta múltiples aplicaciones educativas (Prendes, 2013).

Ese objetivo que indicaba Codina está cada vez más cercano. Existen programas que ya permiten que el alumno pueda realizar pruebas de evaluación y, mediante web semántica y ontologías, poder ofrecer una evaluación y feedback al estudiante. Un ejemplo es el programa OeLE, que permite realizar exámenes en línea mediante preguntas abiertas y que los alumnos reciban un feedback de su proceso de aprendizaje (Fernández-Breis et al., 2007; Sánchez-Vera, 2010).

Los MOOC han supuesto una nueva oportunidad a este tipo de tecnologías. Sandeen (2013) explica cómo estamos siendo testigos de un impulso de incorporar estas tecnologías en el contexto de los MOOC y algunos docentes que han participado en cursos en red masivos indican que se están planteando incorporar tecnologías de evaluación automatizada dentro de los MOOC (Kolowich, 2013).

3.6 Analíticas de aprendizaje

«Learning analytics ha sido definido como la medida, recolección, análisis y comunicación de los datos de los aprendices y sus contextos, con el propósito de entender y optimizar el aprendizaje en el contexto en el que sucede» (University of Bristol, 2013). Las analíticas de aprendizaje constituyen un campo de estudio creciente, que al igual que los MOOC es abordado desde distintos enfoques. Su potencial es el de combinar información de distintos recursos para mejorar las condiciones de aprendizaje durante el proceso y tener en cuenta distintos puntos de vista sobre lo que realiza el alumno (Booth, 2012). Se pueden utilizar datos tanto de plataformas como de acciones realizadas en otras herramientas y contactos con los que se ha relacionado el alumno. Como en otros fenómenos, estas analíticas pueden tener una perspectiva cuantitativa o cualitativa, haciendo hincapié en el tipo de información que queremos obtener, cómo analizarla y qué uso hacer de ella.

Es un fenómeno que no debemos perder de vista y que puede proporcionar información interesante para saber lo que realiza el participante en un MOOC y que puede ser útil a la hora de evaluar, pues puede aportarnos información de interés tanto desde el punto de vista individual de cada alumno como desde una perspectiva global para visualizar tendencias generales en un determinado grupo.

4. Conclusiones: la tecnología sustentada en la pedagogía

Tenemos que entender que, en función de la perspectiva en la que nos ubiquemos sobre qué es evaluar, hay herramientas o métodos que nos pueden servir y otros que no. Si consideramos que evaluar es ver hasta qué punto un alumno ha asimilado una cantidad de información determinada, la evaluación tipo test puede cubrir nuestros objetivos. El problema viene cuando consideramos que la evaluación educativa no tiene sentido si no forma parte del proceso global de enseñar; así, cuando entendemos que evaluar es aprender y que debemos utilizar estrategias procesuales y formativas, la masificación de los cursos sí puede convertirse en un problema. Es en esta perspectiva en la que nos deberíamos ubicar, o al menos deberíamos nosotros saber ubicar a los MOOC en su adecuada dimensión.

Los cursos masivos y abiertos pueden ser muy útiles y proporcionarnos información relevante que enriquezca nuestro entorno personal de aprendizaje (PLE), pero si partimos de que la evaluación y el feedback son componentes sustanciales del proceso educativo, entenderemos por qué los MOOC difícilmente sustituyen un buen curso «no masivo» en red, porque la figura del facilitador es esencial para guiar y contextualizar el proceso de aprendizaje del alumnado. Por eso consideramos los MOOC como una más de las muchas posibilidades de flexibilizar la oferta formativa pero nunca un modelo sustitutivo de otros a los que sí puede complementar.

Sandeen (2013) plantea que la evaluación centra el desarrollo de los MOOC desde el principio, pero muy al contrario creemos que muchos MOOC centran su atención en el desarrollo de un contenido de calidad o en el aprendizaje en comunidad, dejando la evaluación y la certificación en un segundo plano. Estaríamos en este caso contemplando los MOOC como un campo de experimentación e innovación sobre las estrategias de enseñanza masiva en línea.

Tras la información aquí recogida, debemos consensuar que es necesario promover la investigación sobre la evaluación en los MOOC. Existen interesantes experiencias en torno a la evaluación y los MOOC, como los llamados MOOC distribuidos («wrapped MOOCs», según Downes, 2013), que son MOOC cuyo contenido y desarrollo es compartido por varias instituciones, pero el alumno puede ser evaluado en la institución a la que pertenece, por lo que es una evaluación más contextualizada.

Finalmente hay que indicar que los MOOC no dejan de ser formación en línea, por lo tanto comparten muchos de los retos de la educación en red que recogen Ridway, McCusker y Pead (2004):

Restablecer la credibilidad en la evaluación en línea. Hay áreas en las que consideran que la evaluación en red no es fiable.
Construir un sistema capacitado. Es necesario desarrollar programas y sistemas que supongan una evaluación más amplia que el diseño de los test.
Diseño adecuado de tareas. Se encuentra poca gente realmente experta en cómo crear pruebas adecuadas de evaluación en entornos en red.
Establecer estándares técnicos. Se necesita un consenso documental para incluir las necesidades de los estudiantes y los procedimientos que deben seguirse.
Mejorar la infraestructura TIC.
Prestar más atención a los procesos en la evaluación.
Profesionalización del sector. Una alta calidad de profesionales expertos en evaluación en entornos virtuales.
Participación de las escuelas, pues la mayoría de las experiencias se desarrolla en la enseñanza superior.
Herramientas para resolver el problema del plagio.
El papel de la equidad. Que las tecnologías de evaluación en red sean usables y accesibles.

5. Referencias

Adell, J. (2013). Los MOOC, en la cresta de la ola. Consultado en http://elbonia.cent.uji.es/jordi/2013/03/19/los-moocs-en-la-cresta-de-la-ola/
Barberá, E. (2006). Aportaciones de la tecnología a la e-Evaluación. RED: Revista de Educación a Distancia. Monográfico VI, 1-13. Murcia: Universidad de Murcia. Consultado en http://www.um.es/ead/red/M6/barbera.pdf
Bali, M. (2014). MOOC pedagogy: gleaning good practice from existing MOOCs. MERLOT. Journal of Online Learning and Teaching, 10(1), 44-56.
Booth, M. (2012). Learning Analytics: the new black. New Horizons. Consultado en http://www.educause.edu/ero/article/learning-analytics-new-black
Bondi, A. (2000). Characteristics of scalability and their impact on performance. En: WOSP 2000. Proceedings of the 2nd International workshop on software and performance. Nueva York, USA (40-49). Nueva York, USA: ACM.
Brown, S. (2013). MOOCs, OOCs, flips and hybrids: the new world of higher education. En: ICICTE 2013. Proceedings. Austin, USA (págs. 237-247). Carolina del Norte, USA: IEEE.
Codina, L. (2003). La web semántica: una visión crítica. El profesional de la información, 12(2), 149-152.
Daradoumis, T., Bassi, R., Xhafa, F. y Caballé, S. (2013). A review on massive e-learning (MOOC) design, delivery and assessment. Eighth International Conference on P2P, Parallel, Grid, Cloud and Interpreting Computing Compiegne. USA: IEEE.
Davis, H., Dikens, K., Leon-Urrutia, M., Sanchéz-Vera, M. M. y White, S. (2014). MOOCs for Universities and Learners an analysis of motivating factors. 6th International Conference on Computer Supported Education. Consultado en http://eprints.soton.ac.uk/363714/
Department for business, innovation & skills (2013). The maturing of the MOOC: literature review of massive open online courses and other forms of online distance learning. Consultado en https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/240193/13-1173-maturing-of-the-mooc.pdf
Dorrego, E. (2006). Educación a distancia y evaluación del aprendizaje. RED. Revista de Educación a Distancia, 6, 1-23. Consultado en http://www.um.es/ead/red/M6/dorrego.pdf
Downes, S. (2013). Assessment in MOOCs. Consultado en http://halfanhour.blogspot.com.es/2013/05/assessment-in-moocs.html
Escudero-Muñoz, J. M. (1998). Evaluación Educativa: Aproximación general, orientaciones y ámbitos. En: J. M. Escudero, M. T. González y J. Del Cerro. Evaluación de programas, centros y profesores (págs. 4-22). Murcia: Diego Marín.
Fernández-Breis, J., Prendes-Espinosa, M. P., Castellanos-Nieves, D., Martínez-Sánchez, F., Valencia-García, R. y Ruíz-Martínez, J. (2007). Evaluación en e-learning basada en tecnologías de la Web semántica y procesamiento del lenguaje natural. Murcia: Diego Marín.
Fournier, H., Kop, R. y Durand, G. (2014). Challenges to research in MOOCs. MERLOT. Journal of Online Learning and Teaching, 10(1), 1-15.
Kolowich, S. (2013). The professors who make the MOOCs. The Chronicle of Higher Education. Consultado en http://chronicle.com/article/The-Professors-Behind-the-MOOC/137905/#id=overview
Lewin, T. (2012). College of the future could be come one, come all. The New York Times. Consultado en http://www.nytimes.com/2012/11/20/education/colleges-turn-to-crowd-sourcing-courses.html?_r=0
Linn, R. (2011). Test-based accountability. The Gordon Commission on the Future of Assessment in Education. Consultado en http://www.gordoncommission.org/rsc/pdf/linn_test_based_accountability.pdf
Luo, H. y Robinson, A. C. (2014). Is peer grading a valid assessment method for Massive Open Online Courses (MOOCs)? 7th Annual International Symposium. Emerging Technologies for Online Learning. Consultado en http://sloanconsortium.org/conference/2014/et4online/peer-grading-valid-assessment-method-massive-open-online-courses-moocs
O´Toole, R. (2013). Pedagogical strategies and technologies for peer assessment in Massively Open Online Courses (MOOCs). Unpublished discussion paper. University of Warwick, Coventry. Consultado en http://wrap.warwick.ac.uk/54602/
Piech, C., Huang, J., Chen, Z., Do, C., Ng, A. y Koller, D. (2013). Tuned models of peer assessment in MOOCs. International Conference on Educational Data Mining. Consultado en http://arxiv.org/abs/1307.2579
Prendes, M. P. (2003). Aprendemos... ¿cooperando o colaborando? Las claves del método. En: F. Martínez Sánchez (comp.). Redes de comunicación en la enseñanza. Las nuevas perspectivas del trabajo corporativo (págs. 93-128). Barcelona: Paidós.
Prendes, M. P. (2007). Internet aplicado a la educación: estrategias didácticas y metodologías. En: J. Cabero (coord.). Nuevas tecnologías aplicadas a la educación (págs. 205-222). Madrid: McGraw Hill.
Prendes, M. P. (2013). Las aplicaciones educativas de la Web Semántica. En: I. Aguaded y J. Cabero (coord.). Tecnologías y medios para la educación en la e-sociedad (págs. 289-315). Madrid: Alianza.
Prendes, M. P. y Sánchez, M. M. (2008). Portafolio electrónico: posibilidades para los docentes. Pixelbit. Revista de Medios y Educación, 1(32), 21-34. Consultado en http://www.um.es/gite/mmarsanchez/Proyectos%20y%20publicaciones_files/2.pdf
Ridway, K., McCursker, S. y Pead, D. (2004). Literature review of E-assessment. Futurelab. Consultado en http://hal.archives-ouvertes.fr/docs/00/19/04/40/PDF/ridgway-j-2004-r10.pdf
Salinas, J. (1999). Enseñanza flexible, aprendizaje abierto. Las redes como herramientas para la formación. EDUTEC: Revista Electrónica de Tecnología Educativa, 10, 1-18. Consultado en http://edutec.rediris.es/Revelec2/Revelec10/revelec10.html
Sánchez-Vera, M. M. (2010). Espacios Virtuales para la evaluación de aprendizajes basados en herramientas de Web Semántica. [Tesis doctoral inédita]. Universidad de Murcia, Murcia.
Sánchez-Vera, M. M., y Prendes, M. P. (2013). La participación del alumnado en los cursos masivos (MOOC). II Congreso Internacional de Innovación Docente. Consultado en http://digitum.um.es/xmlui/bitstream/10201/39138/1/C156_mooc.pdf
Sandeen, C. (2013). Assessment place in the new MOOC word. Research and practice in assessment, 8, 1-8.
Tempelaar, D., Cuypers, H., Van de Vrie, E., Heck, A. y Van der Kooij, H. (2013). Formative assessment and learning analytics. LAK 2013. Learning Analytics and Knowledge. Leuven, Belgium.
University of Bristol (2013). Learning analytics and technology enhanced assessment (TEA). Consultado en http://www.bris.ac.uk/education/research/sites/tea/publications/learninganalytics.pdf
Valverde, J. (2014). MOOCs: una visión crítica desde las ciencias de la educación. Revista de currículum y formación del profesorado, 18(1), 1-19.
Yuan, L., Powell, S. y Olivier, B. (2014). Beyond MOOCs: sustainable online Learning in Institutions. Consultado en http://publications.cetis.ac.uk/2014/898

Sobre las autoras

María del Mar Sánchez-Vera

mmarsanchez@um.es

Profesora del Departamento de Didáctica y Organización Escolar de la Facultad de Educación de la Universidad de Murcia

Doctora en Pedagogía, profesora del Departamento de Didáctica y Organización Escolar de la Facultad de Educación de la Universidad de Murcia y miembro del Grupo de Investigación de Tecnología Educativa (GITE). Ha trabajado en el Centro Nacional de Información y Comunicación Educativa y ha realizado estancias de investigación en la Universidad de Cambridge, la Universidad John Moore de Liverpool y la Universidad de Southampton (Reino Unido). Ha participado en proyectos de I+D nacionales e internacionales relacionados con la implementación de las TIC en la sociedad y la escuela, lo que le ha permitido publicar en revistas y libros de impacto relacionados con la tecnología educativa. Actualmente le interesa el tema de la competencia digital del alumnado y profesorado, las redes sociales en contextos educativos, nuevas metodologías con TIC, clase invertida (flipped classroom) y MOOC.

Universidad de Murcia

Facultad de Educación

Campus Universitario de Espinardo

30100 Murcia

María Paz Prendes-Espinosa

pazprend@um.es

Profesora titular de Tecnología Educativa en el Departamento de Didáctica y Organización Escolar de la Universidad de Murcia

Doctora en Ciencias de la Educación por la Universidad de Murcia, directora del Grupo de Investigación de Tecnología Educativa (GITE) y profesora titular de Tecnología Educativa en el Departamento de Didáctica y Organización Escolar de la misma universidad. Es además secretaria de la Asociación para el Desarrollo de la Tecnología Educativa y de las Nuevas Tecnologías Aplicadas a la Educación, EDUTEC. Ha dirigido y participado en numerosos proyectos de investigación, tanto nacionales como internacionales, centrados básicamente en el estudio de la imagen didáctica, libros de texto, diseño y evaluación de material didáctico, teleenseñanza, trabajo colaborativo en red, herramientas telemáticas para la formación, nuevas tecnologías para la educación especial, aplicaciones de la web semántica a la formación, software social y los entornos personales de aprendizaje. Es experta invitada en numerosos eventos científicos y de divulgación de ámbito nacional e internacional.

Universidad de Murcia

Facultad de Educación

Campus Universitario de Espinardo

30100 Murcia

[1] Adell, J. (2013). Los MOOC, en la cresta de la ola. Consultado en http://elbonia.cent.uji.es/jordi/2013/03/19/los-moocs-en-la-cresta-de-la-ola/

[2] Barberá, E. (2006). Aportaciones de la tecnología a la e-Evaluación. RED: Revista de Educación a Distancia. Monográfico VI, 1-13. Murcia: Universidad de Murcia. Consultado en http://www.um.es/ead/red/M6/barbera.pdf

[3] Bali, M. (2014). MOOC pedagogy: gleaning good practice from existing MOOCs. MERLOT. Journal of Online Learning and Teaching, 10(1), 44-56.

[4] Booth, M. (2012). Learning Analytics: the new black. New Horizons. Consultado en http://www.educause.edu/ero/article/learning-analytics-new-black

[5] Bondi, A. (2000). Characteristics of scalability and their impact on performance. En: WOSP 2000. Proceedings of the 2nd International workshop on software and performance. Nueva York, USA (40-49). Nueva York, USA: ACM.

[6] Brown, S. (2013). MOOCs, OOCs, flips and hybrids: the new world of higher education. En: ICICTE 2013. Proceedings. Austin, USA (págs. 237-247). Carolina del Norte, USA: IEEE.

[7] Codina, L. (2003). La web semántica: una visión crítica. El profesional de la información, 12(2), 149-152.

[8] Daradoumis, T., Bassi, R., Xhafa, F. y Caballé, S. (2013). A review on massive e-learning (MOOC) design, delivery and assessment. Eighth International Conference on P2P, Parallel, Grid, Cloud and Interpreting Computing Compiegne. USA: IEEE.

[9] Davis, H., Dikens, K., Leon-Urrutia, M., Sanchéz-Vera, M. M. y White, S. (2014). MOOCs for Universities and Learners an analysis of motivating factors. 6th International Conference on Computer Supported Education. Consultado en http://eprints.soton.ac.uk/363714/

[10] Department for business, innovation & skills (2013). The maturing of the MOOC: literature review of massive open online courses and other forms of online distance learning. Consultado en https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/240193/13-1173-maturing-of-the-mooc.pdf

[11] Dorrego, E. (2006). Educación a distancia y evaluación del aprendizaje. RED. Revista de Educación a Distancia, 6, 1-23. Consultado en http://www.um.es/ead/red/M6/dorrego.pdf

[12] Downes, S. (2013). Assessment in MOOCs. Consultado en http://halfanhour.blogspot.com.es/2013/05/assessment-in-moocs.html

[13] Escudero-Muñoz, J. M. (1998). Evaluación Educativa: Aproximación general, orientaciones y ámbitos. En: J. M. Escudero, M. T. González y J. Del Cerro. Evaluación de programas, centros y profesores (págs. 4-22). Murcia: Diego Marín.

[14] Fernández-Breis, J., Prendes-Espinosa, M. P., Castellanos-Nieves, D., Martínez-Sánchez, F., Valencia-García, R. y Ruíz-Martínez, J. (2007). Evaluación en e-learning basada en tecnologías de la Web semántica y procesamiento del lenguaje natural. Murcia: Diego Marín.

[15] Fournier, H., Kop, R. y Durand, G. (2014). Challenges to research in MOOCs. MERLOT. Journal of Online Learning and Teaching, 10(1), 1-15.

[16] Kolowich, S. (2013). The professors who make the MOOCs. The Chronicle of Higher Education. Consultado en http://chronicle.com/article/The-Professors-Behind-the-MOOC/137905/#id=overview

[17] Lewin, T. (2012). College of the future could be come one, come all. The New York Times. Consultado en http://www.nytimes.com/2012/11/20/education/colleges-turn-to-crowd-sourcing-courses.html?_r=0

[18] Linn, R. (2011). Test-based accountability. The Gordon Commission on the Future of Assessment in Education. Consultado en http://www.gordoncommission.org/rsc/pdf/linn_test_based_accountability.pdf

[19] Luo, H. y Robinson, A. C. (2014). Is peer grading a valid assessment method for Massive Open Online Courses (MOOCs)? 7th Annual International Symposium. Emerging Technologies for Online Learning. Consultado en http://sloanconsortium.org/conference/2014/et4online/peer-grading-valid-assessment-method-massive-open-online-courses-moocs

[20] O´Toole, R. (2013). Pedagogical strategies and technologies for peer assessment in Massively Open Online Courses (MOOCs). Unpublished discussion paper. University of Warwick, Coventry. Consultado en http://wrap.warwick.ac.uk/54602/

[21] Piech, C., Huang, J., Chen, Z., Do, C., Ng, A. y Koller, D. (2013). Tuned models of peer assessment in MOOCs. International Conference on Educational Data Mining. Consultado en http://arxiv.org/abs/1307.2579

[22] Prendes, M. P. (2003). Aprendemos... ¿cooperando o colaborando? Las claves del método. En: F. Martínez Sánchez (comp.). Redes de comunicación en la enseñanza. Las nuevas perspectivas del trabajo corporativo (págs. 93-128). Barcelona: Paidós.

[23] Prendes, M. P. (2007). Internet aplicado a la educación: estrategias didácticas y metodologías. En: J. Cabero (coord.). Nuevas tecnologías aplicadas a la educación (págs. 205-222). Madrid: McGraw Hill.

[24] Prendes, M. P. (2013). Las aplicaciones educativas de la Web Semántica. En: I. Aguaded y J. Cabero (coord.). Tecnologías y medios para la educación en la e-sociedad (págs. 289-315). Madrid: Alianza.

[25] Prendes, M. P. y Sánchez, M. M. (2008). Portafolio electrónico: posibilidades para los docentes. Pixelbit. Revista de Medios y Educación, 1(32), 21-34. Consultado en http://www.um.es/gite/mmarsanchez/Proyectos%20y%20publicaciones_files/2.pdf

[26] Ridway, K., McCursker, S. y Pead, D. (2004). Literature review of E-assessment. Futurelab. Consultado en http://hal.archives-ouvertes.fr/docs/00/19/04/40/PDF/ridgway-j-2004-r10.pdf

[27] Salinas, J. (1999). Enseñanza flexible, aprendizaje abierto. Las redes como herramientas para la formación. EDUTEC: Revista Electrónica de Tecnología Educativa, 10, 1-18. Consultado en http://edutec.rediris.es/Revelec2/Revelec10/revelec10.html

[28] Sánchez-Vera, M. M. (2010). Espacios Virtuales para la evaluación de aprendizajes basados en herramientas de Web Semántica. [Tesis doctoral inédita]. Universidad de Murcia, Murcia.

[29] Sánchez-Vera, M. M., y Prendes, M. P. (2013). La participación del alumnado en los cursos masivos (MOOC). II Congreso Internacional de Innovación Docente. Consultado en http://digitum.um.es/xmlui/bitstream/10201/39138/1/C156_mooc.pdf

[30] Sandeen, C. (2013). Assessment place in the new MOOC word. Research and practice in assessment, 8, 1-8.

[31] Tempelaar, D., Cuypers, H., Van de Vrie, E., Heck, A. y Van der Kooij, H. (2013). Formative assessment and learning analytics. LAK 2013. Learning Analytics and Knowledge. Leuven, Belgium.

[32] University of Bristol (2013). Learning analytics and technology enhanced assessment (TEA). Consultado en http://www.bris.ac.uk/education/research/sites/tea/publications/learninganalytics.pdf

[33] Valverde, J. (2014). MOOCs: una visión crítica desde las ciencias de la educación. Revista de currículum y formación del profesorado, 18(1), 1-19.

[34] Yuan, L., Powell, S. y Olivier, B. (2014). Beyond MOOCs: sustainable online Learning in Institutions. Consultado en http://publications.cetis.ac.uk/2014/898

Más allá de las pruebas objetivas y la evaluación por pares: alternativas de evaluación en los MOOC

1. Introducción

2. Un repaso por los MOOC y sus sistemas de evaluación

2.1 Ventajas y limitaciones de la evaluación por test

2.2 Ventajas y limitaciones de la evaluación por pares

3. ¿Una vuelta al pasado o una mirada al futuro? Alternativas de evaluación en los MOOC

3.1 Evaluación por pares 2.0

3.2 Evaluación en comunidad

3.3 Portafolio

3.4 El manto de expertos

3.5 Web semántica

3.6 Analíticas de aprendizaje

4. Conclusiones: la tecnología sustentada en la pedagogía

5. Referencias

Sobre las autoras

Refbacks