Redes neurais atratoras com padrões que possuem atividade em grafos aleatórios

Abstract

Com o avanço das técnicas analíticas, tem sido possível estudadar redes neurais atratoras onde cada unidade de processamento é conectada com um número finito de vizinhos, sendo que esse número independe do tamanho do sistema. Aplicamos essas técnicas ao estudo de redes atratoras com padrões que possuem uma quebra de simetria sobre o número de bits ativos e quiscentes. O objetivo deste trabalho é estudar a capacidade da rede neural em armazenar padrões com atividade não nula, uma vez que a conectividade por neurônio é finita. Inicialmente, apresentamos os modelos predecessores de redes atratoras, como o modelo de Hopfield e os modelos de Amit, Gutfreund e Sompolinsky. Em tais modelos, o aprendizado é definido através de modificações sinápticas, inspiradas nas ideias de Hebb. Mostramos como é estimada a capacidade da rede. Mencionamos a introdução de uma função de energia para o sistema, que permite uma ligação com estudo de sistemas magnéticos através da mecânica estatística. Apresentamos também regras de aprendizado para lidar com padrões com atividade não nula. Num segundo momento, aplicamos o método de réplicas, utilizado para tratar sistemas desordenados, ao problema da rede atratora com conectividade e atividade dos padrões finitas. Utilizamos o formalismo de funções de ordem e fazemos uso do conceito de sub-redes, que permite particionar o grafo de acordo com os padrões a serem armazenados em cada neurônio. Obtemos, assim, uma função de ordem por sub-rede que contém toda informação sobre o estado do sistema. Aplicando o ansatz de simetria de réplicas, é possível derivar distribuições autoconsistentes dos campos locais para cada sub-rede. Tais distribuições passam a fornecer toda informação necessária para calcularmos os observáveis relevantes. As distribuições são calculadas numericamente a partir do método da dinâmica de populações. Em seguida, traçamos diagramas de fases para três regras de aprendizado. A partir desses, estimamos a capacidade, temperatura e atividade críticas. Observa-se a presença de fases de vidro de spin, transições decontínuas e pontos tricríticos.

With the advance of analytical tools it has been possible to study attractor neural networks in which each processing unit is connected to a finite number of neighbours. Being that, the number of neighbours is independent of the size of the system. We apply these tools to the study of attractor networks in which the patterns have a broken symmetry with respect to the number of active and inactive bits. The objetive of this work is to study the capacity of the neural network to store patterns with activity different from zero, being that the conectivity per neuron is finite. First, we present the predecessor models of attractor networks like the Hopfield and Amit, Gutfreund e Sompolinsky ones. In such models the learning is defined through sinaptic modifications, inspired by Hebb’s ideas. We show how to estimate the storage capacity of the network. We mention the introduction of a energy function for the system, which allows a link with the study of magnetic systems through statistical machanics. We present learning rules to deal with patterns which have non zero activity. In the second part, we apply the replic method, utilized to deal with disordered systems to the problem of an attractor neural network with finite conectivity and activity. We utilized the formalism of order functions and the concept of sublattices, this concept allows to partition the graph according with the patterns to be stored in each neuron. This way, we obtain an order function per sublattice which contain all the information about the state of the system. Applying the replica symmetry ansatz it is possible to derive self-consistent distributions of the local fields per sublattice. Such distributions start to provide all the necessary information to calculate the relevant observables. These distributions are calculated numerically using the population dynamics method. Then, we draw phase diagrams for three learning rules. Using these, we estimate the storage capacity, the temperature and the critical activity. We observe the presence of spin glass phases, discontinuos phase transiotions and tricritical points.