Auditoria em questionário de estudo epidemiológico utilizando os algoritmos K-Means e FindCBLOF

Abstract

Em estudos epidemiológicos, a qualidade dos questionários e dos dados coletados são fatores determinantes para a validade das conclusões. Nesse contexto, o Estudo Longitudinal de Saúde do Adulto (ELSA-Brasil) – o maior estudo epidemiológico em desenvolvimento na América Latina – adota variadas estratégias de controle de qualidade, conforme o tipo de questionário aplicado. Um dos questionários aplicados no ELSA-Brasil é o Formulário de Revisão Cardiovascular (FRC), cujo preenchimento é feito por um médico especialista, a partir da análise de diversos exames e registros de procedimentos realizados pelo participante do estudo, relacionados a eventos cardiovasculares. Como a entrada dos dados é manual, e muitos dos registros são em papel, esta atividade é propensa a erros. O FRC passa por um processo de auditoria, onde é realizada uma amostragem dos questionários, cujas respostas são conferidas manualmente na Plataforma Otus – plataforma tecnológica oferecida pela empresa Otus Solutions, para construção de questionários e gerenciamento de entrevistas – a fim de identificar possíveis erros de preenchimento. Dessa forma, uma técnica capaz de auxiliar no processo de auditoria, processando o conjunto de dados do questionário e indicando quais potencialmente possuem erros de preenchimento, torna-se desejável. Uma limitação existente para a escolha da técnica a ser utilizada é a não disponibilidade dos registros de erros encontrados e corrigidos em auditorias anteriores. Assim, uma abordagem de aprendizado de máquina não supervisionado mostra-se adequada. O objetivo deste trabalho é aplicar o algoritmo de agrupamento Kmeans juntamente com o algoritmo de detecção de anomalias FindCBLOF ao conjunto de dados do questionário FRC, e analisar sua capacidade de identificar possíveis erros de preenchimento, através da introdução artificial de erros no conjunto de dados. A partir da aplicação dos algoritmos citados ao conjunto de dados do questionário FRC, extraídos da Plataforma Otus, observa-se que quase metade dos erros introduzidos são detectados, para um tipo de questão. Para outros tipos, a capacidade de detecção é inferior. Conclui-se que mais estudos são necessários para identificar técnicas com possam auxiliar de maneira mais efetiva a auditoria dos questionários do ELSA-Brasil.

In epidemiological studies, the quality of questionnaires and collected data are determining factors for the legitimacy of conclusions. In this context the ELSA-Brasil (Estudo Longitudinal de Saúde do Adulto – Brazilian Longitudinal Study for Adult Health), the biggest epidemiological study in development in Latin America – adopts a variety of strategies for quality control, depending on the type of questionnaire that’s applied. One of these questionnaries is the FRC (Formulário de Revisão Cardiovascular – Cardiovascular Review Form) which is filled by a specialized doctor, according to their analysis of different exams and procedure records done by the study’s participant, related to cardiovascular incidents. Since data entry is manual and many of the records are done in paper, this activity is prone to mistakes. FRC passes through an auditorship process where a sample of the questionnaires is performed and its answers are manually checked in the Otus Platform – a technological platform offered by Otus Solutions to build questionnaires and manage interviews – aiming to identify possible filing errors. Thus, it becomes desirable to have a technique capable of assisting in the auditorship procedure, processing the questionnaire’s dataset and indicating which ones can potentially contain filing errors. An existing limitation to the choice of technique is the unavailability of error records found and corrected in previous auditorships. Thus, an unsupervised machine learning approach is suitable. This work aims to apply the clustering algorithm Kmeans and the outlier detection algorithm FindCBLOF to the FRC questionnaire dataset, to analyze its capability of identifying possible filing errors through introducting artificial errors to the dataset. When applying the previously mentioned algorithms to the FRC dataset, extracted from the Otus Patform, it is possible to observe that almost half of the introducted errors are detected, for one type of question. For other types, the detection ability is inferior. In is concluded that more studies are needed to identify techniques able to assist in a more effective way the auditorship of ELSA-Brazil questionnaires.