Teste de progresso, uma avaliação seriada nos cursos de Medicina : análise, melhorias e seleção de boas questões

Abstract

O Teste de Progresso (TP), é um tipo de avaliação seriada dos alunos e dos cursos de medicina, largamente utilizado em vários países do mundo. No Brasil, ele é aplicado uma vez ao ano e a participação dos discentes não é obrigatória em todas escolas. Este trabalho, através de três artigos científicos, sugere que o TP é um instrumento confiável para avaliar o domínio cognitivo dos alunos do último ano, porém, seus resultados são pouco confiáveis àqueles das fases iniciais dos cursos (1º artigo). Demonstra-se, pela primeira vez, que a falta de alunos ao Teste não se dá de forma aleatória, e sim, por uma característica que pode falsear os resultados para as escolas. Existe uma tendência de que o grupo de faltantes seja constituído por estudantes com pior desempenho acadêmico. Evidencia-se também que os homens faltam mais ao TP do que as mulheres (2º artigo). Para corrigir estas limitações, propõem-se que: a participação passe a ser obrigatória; e, que seja adotada uma nova forma de avaliação longitudinal, denominada de Teste de Progresso Customizado (TPC). Neste novo formato, a prova seria assim composta: metade das questões em comum a todas as etapas do Curso; e, as demais, específicas para as diferentes etapas. Usando a Teoria de Resposta ao Item, é apresentada uma nova técnica de seleção de questões de qualidade, para diferentes níveis de domínio cognitivo (3º artigo). Elas poderiam ser usadas no TPC, na constituição de bancos de dados institucionais, em Testes Adaptativos Computadorizados e mais variados usos. Espera-se com este trabalho contribuir com a qualidade do Teste de Progresso no Brasil, com a melhoria das escolas e da educação médica no Brasil.

The Progress Test (TP) is a type of serial assessment of students and medical courses, widely used in several countries around the world. In Brazil, it is applied once a year and student participation is not mandatory in all schools. This work, through three scientific articles, suggests that the TP is a reliable instrument to assess the cognitive mastery of final year students, however, its results are not very reliable for students in the initial stages of the courses (1st article). It demonstrates, for the first time, that the lack of students for the Test does not happen randomly, but due to a characteristic that can distort the results for schools. There is a tendency for the group of absent students to be made up of students with worse academic performance. It is also evident that men miss labor more than women (2nd article). To correct these limitations, it is proposed that participation becomes mandatory and that a new form of longitudinal assessment be adopted, called the Customized Progress Test (TPC). In this new format, the test would consist of half of the questions common to all stages of the Course and the rest specific to the different stages. Using Item Response Theory, a new technique for selecting quality questions for different levels of cognitive domain is presented (3rd article). They could be used in TPC, in the constitution of institutional databases, in Computerized Adaptive Tests and more varied uses. This work is expected to contribute to the quality of the Progress Test in Brazil, with the improvement of schools and medical education in Brazil.