1. Introducción
La emergencia de las iniciativas de contenido generado por el usuario, en las que el contenido no se entrega a los estudiantes sino que lo crean ellos mismos conjuntamente, el aumento de las prácticas educativas abiertas (OEP) y los cursos abiertos en línea y masivos (MOOC), y la creación de nuevos proveedores de soluciones de autoaprendizaje como los Open Educational Resources (en adelante OER) University, Peer2Peer University o University of the People están transformando escenarios conocidos en otros dominios de una naturaleza mucho más incierta. Esta tendencia plantea un reto para las instituciones conservadoras, especialmente las universidades (Sangrà, 2013).
Hoy en día, con la llegada acelerada de los cursos masivos, en línea y en abierto, se han considerado en la literatura divulgativa y científica como una revolución con un gran potencial en el mundo educativo y formativo (Bouchard, 2011; Aguaded et al., 2013). El informe Horizon, liderado por el New Media Consortium y Educause, aporta un estudio prospectivo del uso de tecnologías y tendencias educativas en el futuro de distintos países. En su novena edición (Johnson et al., 2013), destaca especialmente la incidencia de los MOOC en el panorama educativo actual. Asimismo, la Edición Iberoamericana Orientada a la Educación Superior, iniciativa conjunta del eLearn Center de la Universitat Oberta de Catalunya (UOC) y del New Media Consortium, indica que los cursos masivos abiertos se implantarán en nuestras instituciones de educación superior en un horizonte de cuatro a cinco años (Durall et al., 2012).
En la línea de McAuley et al. (2010a), se identifican una serie de aspectos pedagógicos que se plantean en el desarrollo de un MOOC. En primer lugar, hasta qué punto puede promover una investigación profunda y la creación de un conocimiento sofisticado, cómo articular la dicotomía amplitud frente a la profundidad de la participación de los estudiantes, así como la participación puede extenderse más allá de las personas con acceso de banda ancha a internet y avanzadas competencias en el uso de las redes sociales, e identificar los procesos y las prácticas que podrían motivar a los usuarios merodeadores a ser más activos o adoptar roles más participativos. Por último, se deberían utilizar estrategias específicas para optimizar la contribución de los docentes y los participantes más avanzados.
En concordancia con los aspectos anteriores, este tipo de formación es utilizada por muchas organizaciones educativas sin garantizar el cumplimiento de calidad mínima exigida por los participantes. En este sentido, se hace necesario que los usuarios de formación no presencial puedan seleccionar los cursos que mejor se adapten a sus necesidades y expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus alumnos.
El análisis descriptivo comparativo entre instrumentos de evaluación de cursos virtuales producirá nuevos escenarios que ayudarán al diseño de herramientas de calidad más eficientes. Estos nuevos elementos serán capaces de disminuir el posible diferencial existente entre las expectativas de los participantes y su nivel de satisfacción y, por tanto, la gran oferta de la formación virtual ganará en fiabilidad y credibilidad, lo que mitigará el riesgo de abandono de los usuarios y proporcionará cursos virtuales garantizados por parámetros de mayor calidad. En este artículo se diseñarán las bases de esos nuevos instrumentos a partir del análisis comparativo entre los estándares de calidad de la Norma UNE 66181:2012 sobre la gestión de la calidad de la formación virtual y los ejes de progresión didáctica correspondiente a un instrumento de análisis de los modelos didácticos y estrategias de enseñanza de cursos telemáticos de formación universitaria en red (ADECUR).
2. Teorías utilizadas
2.1. Diseño pedagógico de los cursos MOOC
Los cursos MOOC se han considerado, en la literatura divulgativa y científica, una revolución con un gran potencial en el mundo educativo y formativo (Vázquez-Cano et al., 2013b). En este sentido, bajo este concepto se agrupan cada vez más cursos formativos con el sello de prestigiosas universidades de todo el mundo. Así pues, el entendimiento del desarrollo pedagógico de estos cursos es crucial para estudiantes y futuros desarrolladores de los mismos. Una buena filosofía pedagógica y una adecuada arquitectura de la participación promoverán un desarrollo más adecuado para la adquisición de competencias por parte del alumnado (Vázquez et al., 2013a).
En la línea de McAuley (2010b), las características fundamentales de los MOOC son: gratuidad de acceso sin límite en el número de participantes, ausencia de certificación para los participantes libres, diseño instruccional basado en lo audiovisual con apoyo de texto escrito, y metodología colaborativa y participativa del estudiante con mínima intervención del profesorado.
La naturaleza abierta de los soportes del conocimiento o de los recursos de aprendizaje se encuentran en un marco donde lo importante es la matriz del conocimiento (Zapata-Ros, 2012): la elaboración, los procesos de elaboración del conocimiento en los grupos y en los individuos. En este sentido, en estos MOOC no puramente conectivistas, el alumnado suele encontrarse con un modelo bastante rutinario en casi todas las universidades e instituciones. El modelo de casi todos los cursos MOOC sigue una estructura parecida a esta (Vázquez et al., 2013a): página principal, página de desarrollo y elementos de participación y colaboración. Estos autores plantean que el diseño debe ser, además de atractivo, generador de competencias y debe cumplir una serie de objetivos en un campo del saber, o profesional. Así pues, las plataformas para las que se diseñen los cursos deben ofrecer diferentes posibilidades relacionadas con herramientas 2.0 de participación social, como los blogs, wikis, foros, microblogs, etc.
2.2. Instrumento de evaluación ADECUR
ADECUR es un instrumento de evaluación capaz de analizar e identificar los rasgos definitorios de la calidad didáctica de los cursos virtuales, desde los baremos proporcionados por el paradigma socio-constructivista e investigador, como vía para promover un desarrollo adecuado de los procesos de innovación docente (Cabero y López, 2009). Dicho instrumento, con marca registrada en la Oficina Española de Patentes y Marcas (número de expediente en vigor: 2855153), es fruto de un trabajo de la tesis doctoral del profesor Dr. D. Eloy López Meneses titulada Análisis de los modelos didácticos y estrategias de enseñanza en Teleformación: diseño y experimentación de un instrumento de evaluación de las estrategias de enseñanza de cursos telemáticos de formación universitaria, con premio extraordinario de doctorado 2008-2009, otorgado por la Universidad de Sevilla. Esta herramienta consta de dos grandes dimensiones:
1. Dimensión psico-didáctica. Se compone de seis ejes de progresión: el ambiente virtual, el tipo de aprendizaje que se promueve, los objetivos, los contenidos, las actividades y su secuenciación, y la evaluación y la acción tutorial.
2. Dimensión de aspectos técnicos. Se compone de un eje de progresión: recursos y aspectos técnicos.
Además, la herramienta dispone de unos elementos didácticos que figuran como los componentes de los ejes de progresión didácticos. De esta manera, se obtiene un mayor nivel de información en el análisis de los modelos y las estrategias didácticas.
El instrumento está constituido por 115 ítems. Cada ítem posee uno o varios criterios para responder a dos únicas opciones: «1» si se cumple el criterio enunciado, o bien «0» si no aparece el mismo en el curso virtual. Este instrumento didáctico nacido de esta investigación puede ser una herramienta muy interesante para los profesionales de la educación y expertos en el ámbito de los cursos MOOC.
Este estudio abre una puerta a la innovación y la investigación sobre la evaluación de la calidad de los cursos MOOC. La formación en red requiere el establecimiento de modelos pedagógicos orientados a promover un proceso de aprendizaje que combine la flexibilidad con una programación y una planificación muy bien estructurada. Todo ello con el establecimiento de vías abiertas de comunicación e intercambio en el aula virtual, las cuales facilitarán la creación de entornos que promuevan la construcción del conocimiento adaptado a las necesidades particulares de cada participante.
En este sentido, se hace necesario un acercamiento a lo participativo y compartido en el colectivo docente y discente (Mercader y Bartolomé, 2006) y, además, evaluar esos entornos virtuales para conocer y reflexionar sus connotaciones socio-educativas. Y en este ámbito, se puede añadir que la investigación desarrollada realiza un aporte significativo en la innovación y la evaluación de la didáctica-curricular al ofrecer un instrumento de evaluación de materiales hipermedia de carácter educativo y tecnológico.
2.3. Instrumento de la Norma UNE 66181:2012 sobre la gestión de la calidad de la formación virtual
En los últimos años se ha desarrollado extraordinariamente el fenómeno de la formación virtual propiciado por la globalización y por el desarrollo de las tecnologías de la información y la comunicación (TIC), que ha contribuido a mejorar y a ampliar la oferta educativa existente. Este tipo de formación es utilizada por muchas organizaciones para dar cumplimiento al apartado 6.2 de la Norma UNE-EN ISO 9001 sobre sistemas de gestión de la calidad, al «proporcionar la demanda necesaria a sus empleados y garantizar su competencia». En este sentido, se requiere «asegurarse de que la formación virtual adquirida cumpla los requisitos de compra especificados» de acuerdo con el apartado 7.4 de la norma citada.
Por ello, la Norma UNE 66181:2012 pretende servir como guía para identificar las características de las acciones formativas virtuales, de forma que los usuarios de formación virtual puedan seleccionar los cursos virtuales que mejor se adapten a sus necesidades y expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus alumnos. En este sentido, las dimensiones que abarcan los factores de satisfacción de la formación virtual son: empleabilidad, metodología de aprendizaje y accesibilidad.
La información de los niveles de calidad se expresa de acuerdo a un sistema de representación de estrellas acumulativas, donde una estrella representa el mínimo nivel y cinco estrellas representan el máximo nivel. Así pues, el nivel alcanzado en cada dimensión se representa por un número igual (1 a 5) de estrellas negras o rellenas acumuladas empezando por la izquierda, seguidas de las estrellas restantes hasta cinco sin color de relleno (en blanco). Por tanto, los niveles de calidad de esta norma son acumulativos, de tal forma que cada nivel es también la suma de los contenidos de los niveles anteriores.
No obstante, se han adaptado estas rúbricas a una herramienta que pueda medir fácilmente los cursos con indicadores de calidad. Es decir, un curso MOOC podría incluir indicadores de distintas rúbricas de niveles de calidad sin ser acumulativos, de tal forma que cada estándar de calidad se podría valorar y no tendrían que contener la suma de los indicadores de los niveles anteriores.
3. Escenario del estudio y análisis de investigación
El estudio que se presenta pertenece a la línea de trabajo iniciada en la investigación Innovación docente 2.0 con Tecnologías de la Información y la Comunicación en el Espacio Europeo de Educación Superior, situada en el marco de la Acción 2 de Proyectos de Innovación y Desarrollo Docente subvencionados por el Vicerrectorado de Docencia y Convergencia Europea de la Universidad Pablo de Olavide de Sevilla y desarrollado en el Laboratorio de Inteligencia Computacional, bajo la dirección del catedrático Dr. D. José Luis Salmerón.
En la figura 1 se puede observar la representación en el espacio de dos triángulos de calidad de cursos MOOC. Por un lado, se encuentra el triángulo órtico ideal de calidad suprema MOOC, que muestra un triángulo, equilátero (para las tres dimensiones de la Norma UNE) o rectángulo (para las dos dimensiones del instrumento ADECUR), con las máximas puntuaciones en todas las dimensiones de calidad (corta a los ejes en el punto 1 de los mismos). Este triángulo ideal recibe el calificativo de órtico porque es la máxima superficie de proyección de calidad y servirá como referente para medir la «falta de calidad» de los cursos MOOC. En este sentido, también se ha representado el triángulo de calidad real (zona rayada) de un curso MOOC cualquiera en los dos instrumentos, que intersecciona con los ejes citados anteriormente en puntos inferiores a 1.
Figura 1. Representación isométrica de los triángulos de calidad de los instrumentos analizados. Fuente: Elaboración propia
3.1. Comparativa entre los instrumentos de evaluación de calidad ADECUR y la Norma UNE 66181:2012
En este estudio se tratarán los indicadores comunes de los instrumentos de evaluación y las diferencias de indicadores entre ambas herramientas. De esta forma, se pretende realizar un análisis interno de ADECUR y de la Norma UNE para conocer la situación real de ambos instrumentos, así como el riesgo y las oportunidades que brinda su utilización en la evaluación de cursos virtuales.
3.1.1. Análisis de indicadores comunes
Se ha tomado como premisa el análisis de los indicadores comunes de los subfactores de evaluación de calidad ADECUR y la Norma UNE 66181:2012 según las dimensiones de la Norma. En este sentido, en la tabla 1 se muestran los únicos indicadores comunes de calidad de la dimensión «Metodología de aprendizaje», puesto que no hay ninguna otra dimensión que tenga indicadores comunes.
Dimensión: Metodología de aprendizaje |
Indicadores |
---|---|
Subfactor 2.1 Diseño didáctico-instruccional |
Conlleva objetivos generales |
Conlleva objetivos de aprendizaje generales |
|
Conlleva objetivos de aprendizaje específicos |
|
Conlleva un método de aprendizaje y actividades identificables |
|
Se realiza una evaluación de conocimientos al finalizar el curso |
|
Actividades y problemas se desarrollan en un contexto realista |
|
Se permite algún grado de libertad en el itinerario formativo |
|
Existe una evaluación inicial que permita proporcionar información sobre necesidades de aprendizaje y, tras la evaluación final, el aprendizaje adquirido durante el curso |
|
La metodología de aprendizaje se basa en solución de problemas o realización de proyectos reales con implicación directa en la sociedad |
|
Subfactor 2.2 Recursos formativos y actividades de aprendizaje |
Los recursos formativos son únicamente material de consulta para el autoestudio |
Los recursos formativos permiten la interacción del alumnado |
|
Los alumnos pueden realizar actividades de autoevaluación |
|
Se proporcionan instrucciones para la utilización de los recursos formativos |
|
Los alumnos deben realizar actividades prácticas individuales o en grupo |
|
Se proporciona una guía didáctica con información sobre el curso |
|
Existe variedad en los recursos formativos y distintos modelos de interacción |
|
Se proponen actividades complejas de práctica individual o grupal |
|
Se programan sesiones síncronas por el/la formador/a |
|
Se facilita la gestión del conocimiento |
|
Subfactor 2.3 Tutoría |
Los tutores del curso responden a las preguntas de los alumnos sin tiempo preestablecido |
Las respuestas a las consultas sobre los contenidos del curso se realizan en un tiempo preestablecido |
|
Los tutores realizan un seguimiento de los aprendizajes |
|
Se considera la evolución de los alumnos en función del avance y los indicadores de aprendizaje que se hayan definido |
|
Se realiza un seguimiento personalizado e individual del aprendizaje |
|
Subfactor 2.4 Entorno tecnológico-digital de aprendizaje |
Se dispone de información sobre los requisitos hardware y software |
Al menos se dispone de alguna herramienta de comunicación asíncrona |
|
Existe un entorno tecnológico-digital de aprendizaje que integra contenido y comunicación |
|
Incorpora una sección de preguntas frecuentes y/o ayuda |
|
Permite o tiene mecanismos o componentes que facilitan la orientación de los alumnos dentro del entorno y el proceso de aprendizaje |
3.1.2. Análisis de indicadores no comunes
El análisis interno de indicadores no comunes conllevará, al instrumento que no los contemple, unas debilidades. Así pues, estos aspectos limitan la capacidad del alcance efectivo de dicha dimensión de la herramienta en la evaluación de cualquier curso MOOC. Sin embargo, al instrumento que posea dichos indicadores no comunes le supondrá unas fortalezas, que llevarán consigo una ventaja en la capacidad del alcance dimensional de la evaluación, como se muestra en la tabla 2.
NORMA UNE 66181:2012 |
|
---|---|
Dimensión 1: Reconocimiento de la formación para la empleabilidad |
Indicadores |
Subfactor 1.1 Reconocimiento de la formación para la empleabilidad |
Todos |
Dimensión 2: Metodología de aprendizaje |
Indicadores |
Subfactor 2.1 Diseño didáctico-instruccional |
Los objetivos de aprendizaje se organizan por competencias |
Se realiza un seguimiento postcurso |
|
Subfactor 2.3 Tutoría |
Existe una programación personalizada de contactos |
Se proporciona feedback individual |
|
Se programan sesiones síncronas individualizadas |
|
Subfactor 2.4 Entorno tecnológico-digital de aprendizaje |
Permite gestionar grupos de alumnos y tareas con registros de acceso e informes |
Permite reanudar el proceso de aprendizaje donde se dejó en la sesión anterior |
|
Permite repositorios para el intercambio de archivos digitales entre sus miembros |
|
Permite foros de discusión y atención al estudiante |
|
Permite indicadores visuales de progreso de aprendizaje |
|
Permite la gestión y reutilización de buenas prácticas |
|
Permite uso de formatos de presentación diferentes |
|
Permite tecnología colaborativa o de participación activa |
|
Dimensión 3: Niveles de accesibilidad |
Indicadores |
Subfactor 3.1 Accesibilidad hardware |
Todos |
Subfactor 3.2 Accesibilidad software |
Todos |
Subfactor 3.3 Accesibilidad web |
Todos |
ADECUR |
|
Dimensión 1: Psico-didáctica |
Indicadores |
Subfactor 1.1 Ambiente virtual |
Potencia un contexto general motivador |
Favorece un ambiente afectivo y democrático |
|
Subfactor 1.2 Aprendizaje |
Contempla diferentes niveles de conocimientos iniciales |
Introduce recursos que ayudan a relacionar lo aprendido con las experiencias personales iniciales |
|
Emplea diferentes procedimientos para facilitar y mejorar la comprensión |
|
Impulsa la negociación y puesta en común de significados |
|
Subfactor 1.4 Contenidos |
Propone el uso de los diferentes contenidos como materia prima para la construcción de los aprendizajes |
Los contenidos surgen en el contexto de cada una de las actividades |
|
Los contenidos documentales están actualizados |
|
Se tienen en cuenta como contenido los conocimientos previos |
|
Permite realizar consultas a especialistas externos al curso virtual |
|
Los contenidos son relevantes |
|
La información y el lenguaje empleado son adecuados |
|
La formulación de los contenidos es adecuada al proceso constructivo |
|
Facilita y promueve el acceso a contenidos de tipo conceptual, procedimental y actitudinal |
|
Promueve un acceso gradual a los contenidos |
|
Subfactor 1.5 Actividades y secuenciación |
Incluye actividades dirigidas a relacionar los conocimientos previos con los nuevos contenidos |
Incluye actividades dirigidas a integrar conocimientos en esquemas más amplios |
|
Incluye actividades que facilitan la comunicación y el debate de conocimientos personales |
|
Incluye actividades de reflexión sobre lo aprendido, los procesos seguidos y las dificultades afrontadas |
|
Incluye actividades que favorecen la toma de decisiones |
|
Incluye actividades que favorecen el aprendizaje autónomo |
|
Incluye actividades que promueven el enfoque investigador |
|
Las actividades se organizan en secuencias coherentes con perspectivas constructivistas e investigadoras |
|
Subfactor 1.6 Evaluación y acción |
La evaluación es formativa |
Incluye procesos de evaluación protagonizados por estudiantes |
|
Subfactor 1.7 Tutorial |
Incluye la realización personal de diferentes pruebas de evaluación sobre los resultados de aprendizaje |
Presenta un espacio virtual para la evaluación |
|
Se orienta y se dinamiza el inicio y desarrollo de las actividades |
|
Se incorpora un elemento dinámico virtual que interviene como guía |
|
Dimensión 2: Técnica-estética |
Indicadores |
Subfactor 2.1 Recursos y aspectos técnicos |
Se facilita la recuperación de la información |
Es fácil de utilizar |
La figura 2 representa gráficamente las fortalezas de la Norma UNE y del instrumento ADECUR. Para ello, se simbolizan las dimensiones de los instrumentos como unos nodos de diferentes tamaños entrelazados. A su vez, cada dimensión está conectada a los subfactores integrantes de la misma. De esta manera se puede representar la fortaleza de cada herramienta como un mapa de dimensiones y subfactores no comunes. A su vez, el número dentro del nodo de cada subfactor representa los indicadores no comunes de la herramienta que lo conforman y es proporcional al tamaño del mismo. Así, el número dentro del nodo de cada dimensión representa los indicadores no comunes de todos los subfactores que lo integran y también es proporcional a su dimensión.
Figura 2. Representación gráfica de las fortalezas de los instrumentos analizados. Fuente: Elaboración propia
En este sentido, se puede deducir que la herramienta de la Norma UNE posee 6 indicadores no comunes de la dimensión 1, 13 de la dimensión 2 y 21 de la dimensión 3. En cuanto a la herramienta ADECUR, posee 30 indicadores no comunes de la dimensión 1 y 2 de la dimensión 2.
3.2. Diseño de nuevos instrumentos de evaluación de calidad de cursos MOOC
Una vez analizadas las fortalezas de los dos instrumentos anteriores, este estudio propone unas directrices o bases de configuración de un nuevo instrumento que no conlleve las deficiencias de los dos descritos anteriormente y sí sus fortalezas. Para ello, la nueva herramienta deberá constar de cuatro dimensiones: reconocimiento de la formación para la empleabilidad, metodología de aprendizaje, niveles de accesibilidad y ambiente/clima del aula virtual. En las tres dimensiones existentes de la herramienta de la Norma UNE se añadirán los indicadores no comunes de las dimensiones del instrumento ADECUR. Sin embargo, la cuarta posible dimensión la aporta el eje de progresión didáctica «Ambiente o clima del aula virtual» del instrumento ADECUR, que no tiene ningún indicador común con la Norma UNE, y ello conlleva un nuevo factor clave de eficiencia en la configuración de nuevas herramientas. En la figura 3 se representa este constructo de diseño como las dimensiones tetraédricas de los futuros instrumentos de evaluación de calidad de los cursos MOOC.
Figura 3. Representación de las dimensiones tetraédricas de los nuevos instrumentos de evaluación de calidad de los cursos MOOC. Fuente: Elaboración propia
En base a todo lo anterior, en la tabla 3 se muestra la posible configuración de las nuevas herramientas de evaluación de calidad de los cursos MOOC. Estos instrumentos deberán contemplar una base de indicadores comunes de calidad (tabla 1), las cuatro dimensiones tetraédricas (figura 3) y los subfactores o ejes de progresión de indicadores no comunes (tabla 2).
INDICADORES COMUNES DE CALIDAD |
|||
---|---|---|---|
Dimensión: Metodología de aprendizaje (herramientas ADECUR y Normas UNE) |
|||
Subfactor 2.1 |
Subfactor 2.2 |
Subfactor 2.3 |
Subfactor 2.4 |
DIMENSIONES TETRAÉDRICAS |
|||
Dimensión 1: Reconocimiento de la formación para la empleabilidad |
Dimensión 2: Metodología de aprendizaje |
Dimensión 3: Niveles de accesibilidad |
Dimensión 4: Ambiente/clima del aula virtual |
Subfactor 1.1 (todos los indicadores) |
Subfactor 2.1 |
Subfactor 3.1 |
Subfactor 4.1 (todos los indicadores) |
Subfactor 2.3 |
Subfactor 3.2 |
||
Subfactor 2.4 |
Subfactor 3.3 |
||
Herramienta Normas UNE |
Herramientas ADECUR y UNE |
Herramienta Normas UNE |
Herramienta ADECUR |
4. Discusión y conclusiones
Este estudio ajusta las diferencias entre los estándares de la Norma UNE y los indicadores de la herramienta ADECUR a la evaluación de la acción formativa de los cursos MOOC, con la idea de representar un nuevo escenario analítico y visual para el diseño de nuevas herramientas que reduzcan las debilidades de las dos analizadas. En este sentido, se hacen necesarias futuras investigaciones sobre el diseño de nuevos instrumentos que ponderen todos los indicadores de las dimensiones de este nuevo escenario estudiado. Así pues, serán más fiables cada una de las dimensiones a considerar y podría certificarse el nivel de calidad ofertado en dichos cursos de forma eficiente, tanto cualitativa como cuantitativamente.
De esta manera, se podría acreditar a las plataformas ofertantes con cursos MOOC certificados y evitar la oferta de acciones formativas con debilidades en las metodologías de enseñanza inapropiadas desde las actuales teorías pedagógicas (Valverde, 2014) e impedir, en la medida de lo posible, la tendencia a la estandarización del conocimiento y los graves problemas para atender las diferencias individuales debido a la masificación, que conduce a un diseño comunicativo unidireccional, centrado en el docente y basado en el contenido. Así pues, los MOOC se podrían mostrar como una democratización de la educación superior pero con unos intereses pedagógicos que priman sobre los económicos.
En cualquier caso, la valoración de la calidad de los cursos MOOC es una línea de investigación futura. En este sentido, se estima la necesidad de un mayor número de estudios sobre algunos indicadores de calidad de evaluación en cursos en línea, así como estudios longitudinales (Stödberg, 2012) o comparativos (Balfour, 2013). Y, más concretamente, continuar investigando para dar respuesta a preguntas sobre métodos que mejoren la fiabilidad, la validez, la autenticidad y la seguridad de las evaluaciones del estudiante, o sobre técnicas que ofrezcan una evaluación automatizada eficaz y sistemas de retroalimentación inmediata, y cómo pueden ser integrados en ambientes de aprendizaje abiertos (Oncu y Cakir, 2011), para dar más garantía de usabilidad a las herramientas de calidad que se puedan desarrollar.