Representações reduzidas por redes neurais com aprendizado local não-supervisionado sobre campos receptivos restritos

Abstract

Algoritmos ótimos na extração de componentes principais com aprendizado não-supervisionado em redes neurais de múltiplos neurônios de saída são não-locais, ou seja, as modificações em uma dada sinapse entre dois neurônios dependem também da atividade de outros neurônios. Esta rede ótima extrairá as principais componentes dos dados e submetidos à sua primeira camada. As principais componentes são as projeções destes vetores nos autovalores máximos da matriz de correlação Gij = (eiej), onde a média (-) é sobre a distribuição de e. Existem fortes evidências indicando que sinapses biológicas só se modificam via regras locais, como por exemplo a regra de Hebb. Mas se aplicarmos regras locais numa rede com múltiplas saídas, todos os neurônios da saída serão equivalentes e darão respostas redundantes. A rede será bastante ineficiente. Um modo de contornar este problema é através da restrição dos campos receptivos dos neurônios de saída. Se cada neurônio acessar diferentes partes dos estímulos de entrada, a redundância diminui significativamente. Em contrapartida, ao mesmo tempo que a redundância diminui, também diminui a informação contida em cada neurônio; assim, devemos balancear os dois efeitos otimizando o campo receptivo. O valor ótimo, em geral, depende da natureza dos estímulos, sua estatística, e também do ruído intrínseco à rede. Objetivamos com este trabalho determinar a estrutura ótima de campos receptivos com aprendizado não-supervisionado para uma rede neural de uma camada em diversas condições medindo seu desempenho a partir de técnicas de reconstrução.