Redes neurais e padrões correlacionados

Abstract

Estudamos os efeitos gerais que a 'correlação', definida como superposição entre os padrões exerce sobre as propriedades de equilíbrio de redes neurais atratoras. Inicialmente, estudamos analiticamente o modelo de Hopfield de memória associativa, com um número finito de padrões armazenados de acordo com a regra de Hebb. Determinamos as propriedades de recuperação dos estados que apresentam uma superposição assimétrica com mais de um padrão (estados mistos assimétricos). Os diagramas de fase demonstram que estes estados são relevantes se a quantidade de ruido na rede e a correlação entre os padrões não são ambas demasiado grandes. Estudamos a capacidade de armazenamento a = P/N em uma rede com a inclusão de P — p padrões não correlacionados, e obtivemos resultados para a, crítico, que corresponde ao valor de a acima do qual não há mais estados de recuperação. Efetuamos simulações numéricas para discutir a qualidade da recuperação e a dimensão das bacias de atração. Na segunda parte do trabalho, estudamos as propriedades de armazenamento de padrões correlacionados acima do limite de saturação, em redes neurais de Gardner—Derrida com sinapses contínuas ótimas. Utilizando o método de réplicas para calcular médias configuracionais na rede de neurônios, determinamos, na teoria de simetria de réplicas, a fração mínima de padrões erroneamente armazenados por neurônio e a capacidade de armazenamento crítica como função das correlações. Estudamos a estabilidade destas soluções, e verificamos que a quebra de simetria de réplicas é relevante. Finalmente, apresentamos um estudo preliminar dos efeitos de quebra de simetria de réplicas na ordem mais baixa do esquema iterativo de Parisi para vidros de spin.

We studied here the general effects that the 'correlation', defined as the overlap among the set of stored patterns causes to the equilibrium properties of atractor neural networks. Initially, the Hopfield model for associative memory was studied analitically with a finite number of patterns stored according to the Hebb learning rule. The retrieval properties of states that show an asymmetric overlap with more than one stored pattern (asymmetric mixed states) were determined. The phase diagrams for the overlaps demonstrate that these states are relevant if the amount of thermal noise is not too large and the correlations are not too strong. The storage capacity a = P/N is considered in a network with the adition of P — p uncorrelated patterns and results are given for the critical ac. This corresponds to the value of cx above wich the retrieval state is no longer present. Numerical simulations are carried out to discuss the retrieval quality and the size of the basins of attraction of the network. In the second part of the work, we studied the storage properties of correlated patterns, in the saturation regime, in Gardner—Derrida neural networks with optimal, continuous synapses. The average over quenched disorder were performed with the replica method, and the minimal fraction of storage errors 'per neuron' and the critical storage capacity in function of the corelations were calculated in the replica symmetry theory. We studied the stability in the space of replicas of these solutions, verifying that the symmetry breaking is relevant. Finally, we show a preliminar study of the replica symmetry breaking effects in the first order of the iterative Parisi's scheme for spin glasses.