O que é LSTM: Long Short-Term Memory

Long Short-Term Memory (LSTM), ou memória de curto longo prazo, é uma técnica de trei­na­mento de redes neurais que armazena in­for­ma­ções im­por­tan­tes a longo prazo. Ela utiliza memórias de curto e de longo prazo, sendo crucial para o de­sen­vol­vi­mento da in­te­li­gên­cia ar­ti­fi­cial (IA).

Definição de Long Short-Term Memory

Long Short-Term Memory é uma técnica da in­for­má­tica usada para armazenar in­for­ma­ções em uma rede neural por um longo período. Isso é par­ti­cu­lar­mente im­por­tante no pro­ces­sa­mento de dados se­quen­ci­ais. Com a LSTM, a rede pode acessar eventos an­te­ri­o­res e considerá-los em novos cálculos, o que pode di­fe­ren­ciá-la das redes neurais re­cor­ren­tes (RNN) ou com­ple­mentá-las de maneira ideal. Em vez de uma simples “memória de curto prazo”, a LSTM possui uma “memória de longo prazo” adicional, onde in­for­ma­ções se­le­ci­o­na­das são ar­ma­ze­na­das por mais tempo.

Redes com Long Short-Term Memory conseguem preservar in­for­ma­ções por longos períodos e iden­ti­fi­car de­pen­dên­cias de longo prazo, o que é es­pe­ci­al­mente im­por­tante nas áreas de deep learning e in­te­li­gên­cia ar­ti­fi­cial. A base para isso são os chamados Gates, ou portas, cuja função será explicada mais de­ta­lha­da­mente ao longo deste artigo. Essas redes oferecem modelos efi­ci­en­tes para previsão e pro­ces­sa­mento com base em dados temporais.

Quais são os elementos de uma célula LSTM?

Uma célula com Long Short-Term Memory é composta de diversos blocos que oferecem di­fe­ren­tes opções para a rede. Ela precisa ser capaz de armazenar in­for­ma­ções por um longo período e vinculá-las a novas in­for­ma­ções conforme ne­ces­sá­rio. Ao mesmo tempo, é im­por­tante que a célula elimine de maneira autônoma co­nhe­ci­men­tos ir­re­le­van­tes ou obsoletos. Por isso, uma célula LSTM é formada por quatro com­po­nen­tes prin­ci­pais:

• Input gate (porta de entrada): decide quais novas in­for­ma­ções devem ser ar­ma­ze­na­das e de que maneira.
• Forget gate (porta de es­que­ci­mento): determina quais in­for­ma­ções per­ma­ne­cem ou são removidas da célula.
• Output gate (porta de saída): define como os valores de uma célula serão dis­po­ni­bi­li­za­dos, com base no estado atual e nas in­for­ma­ções de entrada.

O quarto com­po­nente é o núcleo da célula. Ele segue uma lógica de in­ter­co­ne­xão própria, regulando como as outras partes interagem e como os fluxos de in­for­ma­ções e operações de ar­ma­ze­na­mento devem ocorrer.

Como funciona a Long Short-Term Memory?

Assim como nas Redes Neurais Re­cor­ren­tes (RNN) ou nas redes neurais fe­ed­forward (FNN) mais simples, as células com Long Short-Term Memory operam em camadas. No entanto, di­fe­ren­te­mente de outras redes, elas armazenam in­for­ma­ções ao longo do tempo e podem processá-las ou acessá-las pos­te­ri­or­mente. Para isso, cada célula LSTM utiliza os três portões acima men­ci­o­na­dos, além de uma espécie de memória de curto prazo e uma de longo prazo.

• A memória de curto prazo, ou seja, o ar­ma­ze­na­mento onde as in­for­ma­ções dos cálculos an­te­ri­o­res são mantidas tem­po­ra­ri­a­mente, também é conhecida em outras redes e, no contexto da Long Short-Term Memory, é chamada de hidden state. Diferente de outras redes, uma célula LSTM consegue manter in­for­ma­ções por mais tempo, ar­ma­ze­nando-as no chamado* cell state*. Novas in­for­ma­ções passam, então, pelos três portões.
• Na input gate, a entrada atual é mul­ti­pli­cada pelo hidden state e pelo peso da última execução, decidindo assim o valor do novo dado. In­for­ma­ções im­por­tan­tes são adi­ci­o­na­das ao cell state atual, formando o novo cell state.
• A forget gate decide quais in­for­ma­ções serão mantidas ou removidas, usando o último hidden state e a entrada atual. Essa decisão é tomada com uma função Sigmoid, que produz valores entre 0 e 1: 0 significa esquecer uma in­for­ma­ção anterior, enquanto 1 preserva o status atual. O resultado é mul­ti­pli­cado pelo cell state atual, des­car­tando valores iguais a 0.
• A output gate calcula a saída final, usando o hidden state e a função Sigmoid. Em seguida, o cell state é ativado por uma função tanh e mul­ti­pli­cado, de­ter­mi­nando quais in­for­ma­ções serão liberadas pela saída.

Quais são as di­fe­ren­tes ar­qui­te­tu­ras da Long Short-Term Memory?

Embora essa fun­ci­o­na­li­dade seja se­me­lhante em todas as redes LSTM, há grandes variações nas ar­qui­te­tu­ras das variantes da LSTM. Citamos, como exemplo, Peephole LSTMs, chamadas assim porque cada porta pode vi­su­a­li­zar o estado de uma célula. Existem também Peephole LSTMs con­vo­lu­ci­o­nais, que além de mul­ti­pli­car matrizes, utilizam uma con­vo­lu­ção discreta para calcular a atividade de um neurônio.

Quais são as prin­ci­pais áreas de aplicação da Long Short-Term Memory?

Inúmeras apli­ca­ções utilizam redes neurais com Long Short-Term Memory, seja total ou par­ci­al­mente. Os campos de aplicação são variados e incluem con­tri­bui­ções valiosas para as seguintes áreas:

• Geração au­to­ma­ti­zada de texto
• Análise de dados de séries temporais
• Re­co­nhe­ci­mento de fala
• Previsão de ten­dên­cias de mercado
• Com­po­si­ção musical

A técnica de iden­ti­fi­ca­ção de anomalias, como em ten­ta­ti­vas de fraude ou ataques a redes com­pu­ta­ci­o­nais, também utiliza Long Short-Term Memory. Apli­ca­ções adequadas podem re­co­men­dar mídias, como filmes, séries, bandas ou livros, com base em dados do usuário, além de analisar vídeos, imagens ou músicas. Assim, é possível aumentar a segurança de maneira prática e reduzir sig­ni­fi­ca­ti­va­mente o esforço ne­ces­sá­rio para mo­ni­to­ra­mento e análise.

Inúmeras grandes empresas utilizam Long Short-Term Memory em seus serviços e produtos. A Google aplica essas redes em seus as­sis­ten­tes in­te­li­gen­tes, no Google Tradutor, no software de jogo AlphaGo e no re­co­nhe­ci­mento de voz em smartpho­nes. Os as­sis­ten­tes de voz Siri (Apple) e Alexa (Amazon), assim como o recurso de au­to­com­ple­tar do teclado da Apple, também se baseiam em Long Short-Term Memory.