Aprendizagem em sistemas hibridos

Abstract

O presente trabalho apresenta dois novas modelos conexionistas, baseados na teoria da adaptação ressonante (ART): Simplified Fuzzy ARTMAP e Semantic ART (SMART). Descreve-se a modelagem, adaptação, implementação e validação destes, enquanto incorporados ao sistema hibrido HYCONES, para resolução de problemas de diagnostico medico em cardiopatias congênitas e nefrologia. HYCONES é uma ferramenta para a construção de sistemas especialistas híbridos que integra redes neurais com frames, assimilando as qualidades inerentes aos dois paradigmas. 0 mecanismo de frames fornece tipos construtores flexíveis para a modelagem do conhecimento do domínio, enquanto as redes neurais, representadas na versão original de HYCONES pelo modelo neural combinatório (MNC), possibilitam tanto a automação da aquisição de conhecimento, a partir de uma base de casos, quanta a implementação de aprendizado indutivo e dedutivo. A teoria da adaptação ressonante 6 caracterizada, principalmente, pela manutenção do equilíbrio entre as propriedades de plasticidade e estabilidade durante o processo de aprendizagem. ART inclui vários modelos conexionistas, tais como: Fuzzy ARTMAP, Fuzzy ART, ART 1, ART 2 e ART 3. Dentre estes, a rede neural Fuzzy ARTMAP destaca-se por possibilitar o tratamento de padr6es analógicos a partir de dois módulos ART básicos. O modelo Simplified Fuzzy ARTMAP, como o pr6prio nome o diz, a uma simplificação da rede neural Fuzzy ARTMAP. Ao contrario desta, o novo modelo possibilita o tratamento de padrões analógicos, a partir de apenas um modulo ART, responsável pelo tratamento dos padrões de entrada, adicionado de uma camada, responsável pelos padrões alvo. Mesmo com apenas um modulo ART, o modelo Simplified Fuzzy ARTMAP 6 capaz de reter o mesmo nível de desempenho obtido com a rede neural Fuzzy ARTMAP pois, continua a garantir, conjuntamente, a maximização da generalização e a minimização do erro preditivo, através da execução da estratégia match-tracking. Para a construção da base de casos de cardiopatias congênitas, 66 prontuários médicos, das três cardiopatias congênitas mais freqüentes, foram extraídos do banco de dados de pacientes submetidos a cirurgia cardíaca no Instituto de Cardiologia RS (ICFUC-RS). Tais prontuários abrangem o período de janeiro de 1986 a dezembro de 1990 e reportam 22 casos de Comunicação Interatrial (CIA), 29 de Comunicação Interventricular (CIV) e 15 de Defeito Septal Atrioventricular (DSAV). Para a análise de desempenho do sistema, 33 casos adicionais, do referido período, foram extraídos aleatoriamente do banco de dados do ICFUC-RS. Destes 33 casos, 13 apresentam CIA, 10 CIV e 10 DSAV. Para a construção da base de casos de síndromes renais, 381 prontuários do banco de dados de síndromes renais da Escola Paulista de Medicina foram analisados e 58 evidencias, correspondentes a dados de hist6ria clinica e exame físico dos pacientes, foram extraídas semi-automaticamente. Do total de casos selecionados, 136 apresentam Uremia, 85 Nefrite, 100 Hipertensão e 60 Litiase. Dos 381 casos analisados, 254 foram escolhidos aleatoriamente para a composicao do conjunto de treinamento, enquanto que os demais foram utilizados para a elaboração do conjunto de testes. Para que HYCONES II fosse validado, foram construídas 46 versões da base de conhecimento hibrida (BCH) para o domínio de cardiopatias congênitas e 46 versões da BCH para o de nefrologia. Em ambos os domínios médicos as respectivas bases de conhecimento foram construídas, automaticamente, a partir das respectivas bases de casos de treinamento. Das 46 versões geradas para cada grupo, uma representa o modelo MNC e 45 os modelos ART. As versões ART dividem-se em grupos de 3: 15 versões foram formadas a partir do modelo Simplified Fuzzy ARTMAP; 15 a partir deste mesmo modelo, sem que os padrões de entrada fossem normalizados; e, finalmente, 15 para o modelo Semantic ART. Na base de testes CHD, o desempenho da versa° HYCONES II - Simplified Fuzzy ARTMAP foi semelhante ao da versa° MNC. A primeira acertou 29 dos 33 diagnósticos (87,9%), enquanto a segunda apontou corretamente 31 dos 33 diagnósticos apresentados (93,9%). Na base de testes de síndromes renais, o desempenho de HYCONES II Fuzzy ARTMAP foi superior ao da versão MNC (p < 0,05). Ambas -Simplified acertaram, respectivamente, 108 (85%) e 95 (74,8%) diagnósticos, em 127 casos submetidos. Ainda que o desempenho da versão HYCONES II - Simplified Fuzzy ARTMAP se revelasse promissor, ao se examinar o conteúdo das redes geradas por este modelo, pode-se observar que estas divergiam completamente daquelas obtidas pelo MNC. As redes que levaram a conclusão diagnostica, na versão HYCONES - MNC, possuíam conteúdo praticamente igual aos grafos de conhecimento, elicitados de especialistas em cardiopatias congênitas. JA, as redes ativadas na versa° HYCONES II - Simplified Fuzzy ARTMAP, além de representarem numero bem major de evidencias que as redes MNC, a grande maioria destas ultimas representam a negação do padrão de entrada. Este fato deve-se a um processo de normalização, inerente ao modelo Simplified Fuzzy ARTMAP, no qual cada padrão de entrada e duplicado. Nesta duplicação, são representadas as evidências presentes em cada caso e, ao mesmo tempo, complementarmente, as evidencias ausentes, em relação ao total geral das mesmas na base de casos. Esta codificação inviabiliza o mecanismo de explanação do sistema HYCONES, pois, na área módica, os diagnósticos costumam ser feitos a partir de um conjunto de evidencias presentes e, não, pela ausência delas. Tentou-se, então, melhorar o conteúdo semântico das redes Simplified Fuzzy ARTMAP. Para tal, o processo de normalização ou codificação complementar da implementação do modelo foi retirado, validando-o novamente, contra o mesma base de testes. Na base de testes CHD, o desempenho de HYCONES II - Simplified Fuzzy ARTMAP, sem a codificação complementar, foi inferior ao da versão MNC (p < 0,05). A primeira acertou 25 dos 33 diagnósticos (75,8%), enquanto a segunda apontou corretamente 31 dos mesmos (93,9%). Na base de testes renais, o desempenho da versa° HYCONES II - Simplified Fuzzy ARTMAP, sem a codificação complementar, foi semelhante ao da versa° MNC. Dos 127 casos apresentados, a primeira acertou 98 diagn6sticos (77,2%), contra 95 da segunda (74,8%). Constatou-se, ainda, que as categorias de reconhecimento formadas pelo modelo Simplified Fuzzy ARTMAP continuavam a apresentar diferenças marcantes quanto ao seu conteúdo, quando comparadas as redes MNC ou aos grafos de conhecimento elicitados de especialistas. O modelo Semantic ART foi, então, proposto, na tentativa de se melhorar o conteúdo semantic° das redes ART. Modificou-se, então, o algoritmo de aprendizado do modelo Simplified Fuzzy ARTMAP, introduzindo-se o mecanismo de aprendizado indutivo do modelo MNC, i.e., o algoritmo de punições e recompensas, associado ao de poda e normalização. Nova validação com a mesma base de testes foi realizada. Para a base de testes de CHD, o desempenho de HYCONES II - SMART foi semelhante ao da versão Simplified Fuzzy ARTMAP e da versão MNC. A primeira e a segunda acertaram 29 dos 33 diagnósticos (87,9%), enquanto a versão MNC apontou corretamente 31 dos 33 diagnósticos apresentados (93,9%). Na base de testes de síndromes renais, o desempenho de HYCONES II - SMART foi superior ao da versão MNC (p < 0,05) e igual ao da versão Simplified Fuzzy ARTMAP. A primeira e a Ultima acertaram 108 dos 127 diagnósticos (85%), enquanto a segunda apontou corretamente 95 dos mesmos (74,8%). Desta feita, observou-se que as redes neurais geradas por HYCONES II - SMART eram semelhantes em conteúdo as redes MNC e aos grafos de conhecimento elicitados de múltiplos especialistas. As principais contribuições desta dissertação são: o projeto, implementação e validação dos modelos Simplified Fuzzy ARTMAP e SMART. Destaca-se, porem, o modelo SMART, que apresentou major valor semântico nas categorias de reconhecimento do que o observado nos modelos ART convencionais, graças a incorporação dos conceitos de especificidade e relevância. Esta dissertação, entretanto, representa não só a modelagem e validação de dois novos modelos neurais, mas sim, o enriquecimento do sistema HYCONES, a partir da continuação de dissertação de mestrado previamente defendida. A partir do presente trabalho, portanto, é dada a possibilidade de escolha, ao engenheiro de conhecimento, de um entre três modelos neurais: o MNC, o Semantic ART e o Simplified Fuzzy ARTMAP que, sem exceção, apresentam Born desempenho. Os dois primeiros destacam-se, contudo, por suportarem semanticamente o contexto.

This dissertation presents two new connectionist models based on the adaptive resonance theory (ART): Simplified Fuzzy ARTMAP and Semantic ART (SMART). The modeling, adaptation, implementation and validation of these models are described, in their association to HYCONES, a hybrid connectionist expert system to solve classification problems. HYCONES integrates the knowledge representation mechanism of frames with neural networks, incorporating the inherent qualities of the two paradigms. While the frames mechanism provides flexible constructs for modeling the domain knowledge, neural networks, implemented in HYCONES' first version by the combinatorial neuron model (CNM), provide the means for automatic knowledge acquisition from a case database, enabling, as well, the implementation of deductive and inductive learning. The Adaptive Resonance Theory (ART) deals with a system involving selfstabilizing input patterns into recognition categories, while maintaining a balance between the properties of plasticity and stability. ART includes a series of different connectionist models: Fuzzy ARTMAP, Fuzzy ART, ART 1, ART 2, and ART 3. Among them, the Fuzzy ARTMAP one stands out for being capable of learning analogical patterns, using two basic ART modules. The Simplified Fuzzy ARTMAP model is a simplification of the Fuzzy ARTMAP neural network. Constrating the first model, the new one is capable of learning analogical patterns using only one ART module. This module is responsible for the categorization of the input patterns. However, it has one more layer, which is responsible for receiving and propagating the target patterns through the network. The presence of a single ART module does not hamper the Simplified Fuzzy ARTMAP model. The same performance levels are attained when the latter one runs without the second ART module. This is certified by the match-tracking strategy, that conjointly maximizes generalization and minimizes predictive error. Two medical domains were chosen to validate HYCONES performance: congenital heart diseases (CHD) and renal syndromes. To build up the CHD case base, 66 medical records were extracted from the cardiac surgery database of the Institute of Cardiology RS (ICFUC-RS). These records cover the period from January 1986 to December 1990 and describe 22 cases of Atrial Septal Defect (ASD), 29 of Ventriculal Septal Defect (VSD), and 15 of Atrial- Ventricular Septa! Defect (AVSD), the three most frequent congenital heart diseases. For validation purposes, 33 additional cases, from the same database and period mentioned above, were also extracted. From these cases, 13 report ASD, 10 VSD and 10 AVSD. To build the renal syndromes case base, 381 medical records from the database of the Escola Paulista de Medicina were analyzed and 58 evidences, covering the patients' clinical history and physical examination data, were semiautomatically extracted. From the total number of selected cases, 136 exhibit Uremia, 85 Nephritis, 100 Hypertension, and 60 Calculosis. From the 381 cases analyzed, 245 were randomically chosen to build the training set, while the remaining ones were used to build the testing set. To validate HYCONES II, 46 versions of the hybrid knowledge base (HKB) with congenital heart diseases were built; for the renal domain, another set of 46 HKB versions were constructed. For both medical domains, the HKBs were automatically generated from the training databases. From these 46 versions, one operates with the CNM model and the other 45 deals with two ART models. These ART versions are divided in three groups: 15 versions were built using the Simplified Fuzzy ARTMAP model; 15 used the Simplified Fuzzy ARTMAP model without the normalization of the input patterns, and 15 used the Semantic ART model. HYCONES II - Simplified Fuzzy ARTMAP and HYCONES - CNM performed similarly for the CH D domain. The first one pointed out correctly to 29 of the 33 testing cases (87,9%), while the second one indicated correctly 31 of the same cases (93,9%). In the renal syndromes domain, however, the performance of HYCONES II - Simplified Fuzzy ARTMAP was superior to the one exhibited by CNM (p < 0,05). Both versions pointed out correctly, respectively, 108 (85%) and 95 (74.8%) diagnoses of the 127 testing cases presented to the system. HYCONES II - Simplified Fuzzy ARTMAP, therefore, displayed a satisfactory performance. However, the semantic contents of the neural nets it generated were completely different from the ones stemming from the CNM version. The networks that pointed out the final diagnosis in HYCONES - CNM were very similar to the knowledge graphs elicited from experts in congenital heart diseases. On the other hand, the networks activated in HYCONES II - Simplified Fuzzy ARTMAP operated with far more evidences than the CNM version. Besides this quantitative difference, there was a striking qualitative discrepancy among these two models. The Simplified Fuzzy ARTMAP version, even though pointing out to the correct diagnoses, used evidences that represented the complementary coding of the input pattern. This coding, inherent to the Simplified Fuzzy ARTMAP model, duplicates the input pattern, generating a new one depicting the evidence observed (on-cell) and, at the same time, the absent evidence, in relation to the total evidence employed to represent the input cases (off-cell). This coding shuts out the HYCONES explanation mechanism, since medical doctors usually reach a diagnostic conclusion rather from a set of observed evidences than from their absence. The next step taken was to improve the semantic contents of the Simplified Fuzzy ARTMAP model. To achieve this, the complement coding process was removed and the modified model was, then, revalidated, through the same testing sets as above described. In the CHD domain, the performance of HYCONES II - Simplified Fuzzy ARTMAP, without complementary coding, proved to be inferior to the one presented by CNM (p < 0,05). The first model singled out correctly 25 out of the 33 testing cases (75,8%), while the second one singled out correctly 31 out of the same 33 cases (93,9%). In the renal syndromes domain, the performances of HYCONES II - Simplified Fuzzy ARTMAP, without complementary coding, and HYCONES - CNM were similar. The first pointed out correctly to 98 of the 127 testing cases (77,2%), while the second one pointed out correctly to 95 of the same cases (74.8%). However, the recognition categories formed by this modified Simplified Fuzzy ARTMAP still presented quantitative and qualitative differences in their contents, when compared to the networks activated by CNM and to the knowledge graphs elicited from experts. This discrepancy, although smaller than the one observed in the original Fuzzy ARTMAP model, still restrained HYCONES explanation mechanism. The Semantic ART model (SMART) was, then, proposed. Its goal was to improve the semantic contents of ART recognition categories. To build this new model, the Simplified Fuzzy ARTMAP archictecture was preserved, while its learning algorithm was replaced by the CNM inductive learning mechanism (the punishments and rewards algorithm, associated with the pruning and normalization mechanisms). A new validation phase was, then, performed over the same testing sets. For the CHD domain, the perfomance comparison among SMART, Simplified Fuzzy ARTMAP, and CNM versions showed similar results. The first and the second versions pointed out correctly to 29 of the 33 testing cases (87,9%), while the third one singled out correctly 31 of the same testing cases (93,9%). For the renal syndromes domain, the performance of HYCONES II - SMART was superior to the one presented by the CNM version (p < 0,05), and equal to the performance presented by the Simplified Fuzzy ARTMAP version. SMART and Simplified Fuzzy ARTMAP singled out correctly 108 of the 127 testing cases (85%), while the CNM version pointed out correctly 95 of the same 127 testing cases (74.8%). Finally, it was observed that the neural networks generated by HYCONES II - SMART had a similar content to the networks generated by CNM and to the knowledge graphs elicited from multiple experts. The main contributions of this dissertation are: the design, implementation and validation of the Simplified Fuzzy ARTMAP and SMART models. The latter one, however, stands out for its learning mechanism, which provides a higher semantic value to the recognition categories, when compared to the categories formed by conventional ART models. This important enhancement is obtained by incorporating specificity and relevance concepts to ART's dynamics. This dissertation, however, represents not only the design and validation of two new connectionist models, but also, the enrichment of HYCONES. This is obtained through the continuation of a previous MSc dissertation, under the same supervision supervision. From the present work, therefore, it is given to the knowledge engineering, the choice among three different neural networks: CNM, Semantic ART and Simplified Fuzzy ARTMAP, all of which, display good performance. Indeed, the first and second models, in contrast to the third, support the context in a semantic way.