¿Una imagen o mil palabras? Influencia de la extensión de las preguntas y el soporte gráfico en las tasas de éxito y abandono de las pruebas en línea
View/Open
This document contains embargoed files indefinitely
Other authors
Universitat Ramon Llull. La Salle
Publication date
2016-12-31Alternative title
One Picture or a Thousand Words? Influence of Question Length and Illustration Support on the Success and Skip Rates on Online Tests
ISSN
2444-8729
Abstract
The growing popularity of automatically graded online tests, either as an evaluation or self-assessment tool in online or blended education, demands a review of how these questions are designed and delivered to their intended audience. This paper analyzes the results of over 20,000 pre-university mock online quizzes designed to train the students for the Spanish university admission test (known as “Pruebas de Acceso a la Universidad” or “Selectividad”) in the technical drawing subject, corresponding to the June and September intakes of 2009 and 2015. The influence of two key aspects on the questions success and skip rates is assessed: (a) the presence or absence of illustration support and (b) the length of the question as a proxy of reading comprehension difficulty. The results support that the presence of an accompanying illustration in the questions result in fewer skipped qüestions and mode successful answers, while the length of the question has the opposite effect. The performance difference in the 6-year span is also discussed, showing a slight decline over time in the pass rates while the skip rates remain stable. When comparing both two intakes, corresponding to diferent academic profiles of students that passed the June exam and those who did not, the success ratio is unsurprisingly lower for the students in the second intake. These findings should help improving the design of online quizzes, including more visual content and/or rephrasing the questions to be more concise, to fit the requirements of students educated in a more visual environment of multimedia technologies.
La creciente popularidad de las pruebas en línea evaluadas automáticamente, tanto como herramientas de evaluación como de auto-aprendizaje en la educación a distancia o semipresencial, requiere una revisión de cómo estas preguntas se diseñan y presentan a sus receptores. Este artículo analiza los resultados de más de 20.000 exámenes simulados en línea diseñados para preparar el estudiantado para las pruebas de acceso a la universidad española (selectividad) en la materia de dibujo técnico, correspondientes a las convocatorias de junio y setiembre de 2009 y 2015. Se evalúa la influencia de dos aspectos clave en el número de preguntas respondidas correctamente o abandonadas: (a) la presencia o ausencia de una ilustración y (b) la extensión de la pregunta como indicador de la comprensión lectora. Los resultados apoyan que la presencia de una ilustración se traduce en menor número de preguntes abandonadas y mayor número de preguntas respondidas correctamente, mientras que la extensión de la pregunta tiene el efecto contrario. También se examinan los diferentes resultados durante el período de 6 años, que muestran un ligero empeoramiento de los resultados, mientras que la tasa de abandono se mantiene estable. Comparando ambas convocatorias, correspondientes a los perfiles académicos de los estudiantes que aprobaron en junio y los que no lo hicieron, la tasa de éxito es comprensiblemente menor para los estudiantes la segunda. Estos hallazgos deberían permitir mejorar el diseño de las pruebas en línea, incluyendo más contenido visual y/o haciendo las preguntas más concisas,para ajustarse a los requerimientos de unos estudiantes educados en el entorno visual de las tecnologías multimedia
Document Type
Article
Document version
Published version
Language
English
Castellano
Subject (CDU)
37 - Education
371 - Education and teaching organization and management
378 - Higher education. Universities. Academic study
Keywords
Ensenyament universitari
Ensenyament--Metodologia
Ensenyament a distància
Educació--Efecte de les innovacions tecnològiques
Pages
18
Publisher
Ediciones Universidad Salamanca
Is part of
Education in the Knowledge Society (EKS)
This item appears in the following Collection(s)
Rights
© Ediciones Universidad de Salamanca
Except where otherwise noted, this item's license is described as http://creativecommons.org/licenses/by-nc-nd/4.0/