Medical image analysis based on mobile and virtual reality interfaces

Abstract

A radiologia é especialidade médica mais informatizada, graças a difusão de protocolos e a digitalização dos processos. Com os avanços da tecnologia, o diagnóstico por imagens se mantém em constante evolução e tais mudanças nunca tiveram tanta repercussão sobre o trabalho dor profissionais de saúde como agora. Nosso desafio enquanto pesquisadores de computação é propor abordagens que facilitem o trabalho médico, instigue a colaboração e, por fim, como objetivo mais audacioso, melhore os cuidados à saúde das pessoas. Nesse contexto, esta dissertação investiga a inserção de interfaces alternativas para análise de imagens médicas diagnósticas. Ela está organizada em duas áreas principais, a primeira diz respeito ao diagnóstico móvel, desde o desenvolvimento de ferramentas que permitam o acesso a imagens digitais em ambientes com recursos limitados, até a avaliação do diagnóstico realizado nesses ambientes comparado a dispositivos tradicionais (workstations radiológicas). A segunda etapa está relacionada a visualização avançada de exames volumétricos, nesse caso investigamos a capacidade diagnóstica de visualizar em realidade virtual, bem como a qualidade das reconstruções nesse ambiente, usabilidade e desconfortos dos usuários. Toda a experimentação e desenvolvimento foi realizada sobre sistemas profissionais e validados por médicos especialistas em imagens diagnósticas. As principais contribuições referentes a aplicações móveis são técnicas para acesso eficiente a imagens médicas em ambientes com recursos limitados, como tablets e smartphones, um estudo do comportamento típico de médicos radiologistas ao utilizarem um visualizador móvel e as respectivas avaliações de usabilidade dessa aplicação. Para o diagnóstico móvel, destaca-se a alta taxa de acerto para avaliação de exames de tomografia computadorizada (TC), ressonância magnética (RM) e radiografias, quando comparado a computadores desktop. Além disso, resultados obtidos na visualização de imagens médicas em realidade virtual mostraram uma alta taxa de acerto na identificação de fraturas expostas (para imagens 3D de TC). A percepção dos radiologistas após utilizar a aplicação imersiva trouxe indicativos de quais áreas da medicina a realidade virtual pode trazer reais benefícios, como no planejamento de cirurgias, visualização de fraturas complexas, distração de pacientes em procedimentos dolorosos, entre outros. À luz dos resultados apresentados, verifica-se o potencial dos dispositivos móveis para avaliação de imagens diagnósticas, principalmente em casos de emergência, sendo fundamental para agilidade no cuidado à saúde de pacientes. A realidade virtual na radiologia tem o potencial de revolucionar as interfaces para manipulação de dados clínicos, criando uma novo paradigma de interpretação em imagens médicas diagnósticas.

Radiology is considered the most digital medical specialty because of the diffusion of protocols and the digitization of processes. With fast technological advances, the imagingbased diagnosis remains in constant evolution and such changes have never had as much repercussion on the health workers as today. Our challenge as computer scientists is to propose new approaches that facilitate medical work, instigate collaboration and, finally, as the most audacious goal, improve people’s healthcare. In such context, this thesis investigates the use of alternative interfaces for medical images analysis. Our research is organized in two main areas. The first one concerns mobile diagnosis, from the development of tools that allow access to medical images in computation environments with limited resources, to the evaluation of the diagnosis performed in these environments when compared to traditional devices (radiological workstations). The second stage is related to advanced approaches to visualize volumetric exams. In this case, we investigate the diagnostic capability of visualizing in virtual reality, as well as the quality of the reconstructions provided in such environments, usability and user discomforts. All the experimentation and development were carried out on professional systems and validated by specialists in diagnostic imaging. Techniques for efficient medical images access in environments with limited resources, such as tablets and smartphones, are the main contributions regarding mobile applications. This also includes a study of the typical behavior of radiologist physicians when using a mobile viewer and the respective usability evaluations of that application. For the mobile diagnosis, the high accuracy rate for the evaluation of computed tomography (CT), magnetic resonance imaging (MRI) and radiography when compared to desktop computers, stands out. In addition, results obtained in the virtual reality visualization showed a highly accurate rate for the identification of superficial fractures (in 3D CT studies). The radiologists perception after using the immersive application has brought indications of what areas in medicine virtual reality can bring real benefits. Examples include surgeries planning, visualization of complex fractures and distraction of patients in painful procedures, among others. In light of the presented results, the potential of the mobile devices for the evaluation of diagnostic images, mainly in cases of emergency, being fundamental for agility in the patients health care is noticeable. Virtual reality in radiology has the potential to revolutionize the interfaces for manipulation of clinical data, creating a new paradigm of interpretation in diagnostic medical images.