Propostas para mensurar o grau de não-casualidade em avaliações objetivas

Abstract

Neste texto são introduzidos três índices para avaliar o grau de não-casualidade em provas compostas unicamente por questões objetivas de múltipla escolha. Esse tipo de prova é largamente utilizado em concursos de todo tipo, sendo que uma das principais utilizações se dá em vestibulares, ou seja, em concursos destinados aos candidatos a vagas nas universidades brasileiras, sejam elas públicas ou privadas. Em provas objetivas, o número de acertos casuais pode ser previsto pelo Modelo Probabilístico Binomial significando que, mesmo para alunos que respondam todas as questões a esmo, existe um número esperado de acertos. A título de ilustração serão utilizados os resultados dos últimos oito anos do concurso vestibular da Universidade Federal do Rio Grande do Sul, Brasil. Os resultados mostram que os índices são indicadores capazes de medir a distância do número de acertos do grupo de vestibulandos em relação ao número esperado de acertos casuais.

El artículo presenta tres índices para evaluar el grado de no-casualidad en exámenes objetivos de opción múltiple. Esta categoría de examen es utilizada en muchas situaciones como, por ejemplo, cuando se aplican pruebas de selectividad para entrada en las universidades. Son exámenes objetivos, donde el número de respuestas correctas ocasionales puede ser estimado por el Modelo Probabilística Binomial. Esto significa que, mismo cuando los estudiantes marcan a todas las preguntas al azar hay un número previsto de respuestas correctas. A titulo de ilustración se presentan los resultados de los exámenes de selectividad aplicados por la Universidad Federal del Río Grande del Sur durante los últimos ocho años. Los resultados demuestran que los índices son indicadores capazes de medir la distancia entre el número de respuestas correctas del grupo de candidatos en relación con el número esperado de aciertos ocasionales.

This paper presents three indexes to evaluate the degree of non-randomness in objective assessments of the multiple-choice kind. This form of assessment is widely used in an array of competitive examinations, including the university entrance examinations of the main private and public universities in Brazil. In objective tests, the number of casual correct answers can be predicted by the Binomial Probability Model, which means that even for students who answer all of the questions at random, there is an expected number of correct answers. The results for the university entrance examinations for the Federal University of Rio Grande do Sul over the last 8 years will be used in order to illustrate this fact. The results of these tests show that the indexes are indicators capable of measuring the distance between the number of correct answers by the group of candidates and the expected number of random correct answers.