O que é zero-shot learning em IA?

O zero-shot learning permite que modelos de IA resolvam tarefas sem precisar de exemplos de trei­na­mento es­pe­cí­fi­cos. Como resultado, os sistemas se tornam mais flexíveis, se adaptam mais ra­pi­da­mente a novas situações e se aproximam de uma ver­da­deira “in­te­li­gên­cia geral”.

O que é zero-shot learning?

O zero-shot learning é um método de apren­di­zado de máquina em que um modelo de IA lida com classes ou tarefas que não foram ex­pli­ci­ta­mente incluídas em seu trei­na­mento. Em vez de depender de exemplos concretos, o modelo usa des­cri­ções se­mân­ti­cas, atributos ou pistas em linguagem natural. Isso permite que ele deduza conceitos des­co­nhe­ci­dos a partir daqueles que já conhece.

Você pode pensar no zero-shot learning como uma espécie de “palpite in­te­li­gente”, baseado em co­nhe­ci­mento es­tru­tu­rado em vez de pura ca­su­a­li­dade. O modelo es­ta­be­lece conexões entre sig­ni­fi­ca­dos apren­di­dos e novos termos-alvo. Ele é es­pe­ci­al­mente relevante em áreas com muitas classes ou classes raras, em que tra­di­ci­o­nal­mente não há dados de trei­na­mento su­fi­ci­en­tes. Isso pos­si­bi­lita um uso muito mais eficiente dos dados e amplia sig­ni­fi­ca­ti­va­mente as apli­ca­ções possíveis da in­te­li­gên­cia ar­ti­fi­cial.

Como funciona o zero-shot learning?

O zero-shot learning funciona mapeando in­for­ma­ções em chamados espaços se­mân­ti­cos. Essas são es­tru­tu­ras ma­te­má­ti­cas em que sig­ni­fi­ca­dos são re­pre­sen­ta­dos como vetores numéricos. Em termos simples, palavras, pro­pri­e­da­des e des­cri­ções são po­si­ci­o­na­das de modo que sig­ni­fi­ca­dos se­me­lhan­tes fiquem próximos uns dos outros.

Novas classes ou tarefas são in­tro­du­zi­das nesse espaço por meio de des­cri­ções em texto, atributos ou exemplos em linguagem natural. Ao mesmo tempo, o modelo converte entradas como imagens, áudio ou outros dados em vetores com­pa­rá­veis. Isso cria uma re­pre­sen­ta­ção com­par­ti­lhada em que di­fe­ren­tes tipos de dados, sejam texto ou imagem, podem ser pro­ces­sa­dos da mesma maneira.

Quando se depara com uma nova entrada, o modelo iden­ti­fica a cor­res­pon­dên­cia semântica mais próxima e a atribui de forma adequada. A mul­ti­mo­da­li­dade cruzada de­sem­pe­nha um papel fun­da­men­tal aqui, pois o sistema pode conectar in­for­ma­ções em di­fe­ren­tes formatos, como re­la­ci­o­nar texto e imagens. Modelos baseados em trans­for­mers são comumente usados para isso, pois processam e alinham de forma eficiente dados de linguagem e visuais dentro de uma re­pre­sen­ta­ção com­par­ti­lhada.

Durante o trei­na­mento, a IA aprende padrões, relações e as ca­rac­te­rís­ti­cas de­fi­ni­do­ras de di­fe­ren­tes conceitos. No momento da in­fe­rên­cia, você fornece um prompt em linguagem natural que descreve a tarefa. Em seguida, o modelo usa esse co­nhe­ci­mento para resolver a tarefa sem depender de exemplos es­pe­cí­fi­cos de trei­na­mento. Ele vai além do re­co­nhe­ci­mento de padrões su­per­fi­ci­ais ao conectar sig­ni­fi­ca­dos, o que lhe permite lidar com tarefas mais complexas ou abstratas.

Quais tipos de zero-shot learning existem?

O zero-shot learning apresenta várias variantes que diferem na forma como usam e combinam in­for­ma­ções. Em essência, o objetivo é sempre com­pre­en­der classes des­co­nhe­ci­das, mas cada variante se baseia em um mecanismo diferente para alcançar isso.

Zero-shot learning baseado em atributos

Nesse método, as classes são descritas por listas de atributos, como “tem listras”, “quatro patas” ou “vive na água”. O modelo primeiro aprende a re­co­nhe­cer esses atributos. Depois, ele atribui objetos des­co­nhe­ci­dos às com­bi­na­ções de atributos apro­pri­a­das. Essa variante foi uma das primeiras formas de zero-shot learning e é es­pe­ci­al­mente adequada para tarefas de clas­si­fi­ca­ção visual. No entanto, ela exige conjuntos de atributos limpos e bem definidos. A abordagem é precisa, mas pouco flexível.

Zero-shot learning baseado em espaço vetorial

No zero-shot learning baseado em espaço vetorial, tanto os dados de entrada quanto as des­cri­ções são in­cor­po­ra­dos em um espaço vetorial com­par­ti­lhado. Em seguida, o modelo tenta encontrar a re­pre­sen­ta­ção semântica com melhor cor­res­pon­dên­cia. Esse método é a base de modelos mul­ti­mo­dais modernos como o CLIP. Sua vantagem está na alta fle­xi­bi­li­dade e es­ca­la­bi­li­dade. Ele consegue processar fa­cil­mente linguagem natural ou dados não es­tru­tu­ra­dos. No entanto, o sucesso do método depende for­te­mente da qualidade dos em­bed­dings.

Zero-shot learning ge­ne­ra­tivo

Modelos de IA ge­ne­ra­tiva como GANs ou modelos de difusão geram exemplos ar­ti­fi­ci­ais para classes des­co­nhe­ci­das com base em sua descrição. Isso trans­forma o zero-shot learning par­ci­al­mente em few-shot learning sintético. Essa abordagem é es­pe­ci­al­mente útil para fechar lacunas de trei­na­mento. Ela é par­ti­cu­lar­mente vantajosa quando os dados reais são escassos ou ine­xis­ten­tes. Ao mesmo tempo, existe o risco de que os exemplos gerados contenham re­pre­sen­ta­ções in­cor­re­tas ou ten­den­ci­o­sas.

Apli­ca­ções típicas de zero-shot learning

O zero-shot learning é usado em inúmeras áreas em que a fle­xi­bi­li­dade é mais im­por­tante do que grandes quan­ti­da­des de dados:

• Visão com­pu­ta­ci­o­nal: na visão com­pu­ta­ci­o­nal, o zero-shot learning torna possível clas­si­fi­car objetos raros ou novos sem quaisquer dados de trei­na­mento adi­ci­o­nais.
• Análise de linguagem: na análise de linguagem, o método é usado para iden­ti­fi­car novas ca­te­go­rias de sen­ti­mento ou tópicos sem anotação manual.
• Sistemas de re­co­men­da­ção: no campo dos sistemas de re­co­men­da­ção, o zero-shot learning ajuda a associar ime­di­a­ta­mente novos produtos ou conteúdos.
• Robótica: na robótica, o zero-shot learning é usado para que os robôs possam entender novas tarefas sem que elas sejam de­mons­tra­das an­te­ci­pa­da­mente.
• Medicina: na medicina, o zero-shot learning pode detectar condições médicas que foram descritas apenas em texto.

O zero-shot learning também de­sem­pe­nha um papel fun­da­men­tal em large language models, que precisam in­ter­pre­tar cons­tan­te­mente novas tarefas e formatos. Ele também pode apoiar sistemas de ci­ber­se­gu­rança, ajudando a detectar tipos de ataques até então des­co­nhe­ci­dos.

Vantagens e des­van­ta­gens do zero-shot learning

O zero-shot learning é poderoso, mas está longe de ser simples. Embora ofereça enormes vantagens em termos de fle­xi­bi­li­dade, ao mesmo tempo depende for­te­mente de se­mân­ti­cas con­fiá­veis e de re­pre­sen­ta­ções de dados robustas.

Vantagens do zero-shot learning

O zero-shot learning torna possível re­co­nhe­cer classes com­ple­ta­mente novas sem custos adi­ci­o­nais de trei­na­mento. Isso deixa os modelos menos de­pen­den­tes de dados, mais efi­ci­en­tes e mais rápidos de im­ple­men­tar. As empresas podem usar sistemas sem antes ter de realizar longos processos de coleta de dados ou rotulagem cara. A ca­pa­ci­dade de ge­ne­ra­li­za­ção da IA também aumenta sig­ni­fi­ca­ti­va­mente, o que é crucial em áreas dinâmicas. Os modelos respondem melhor a mudanças e exigem menos ma­nu­ten­ção. Além disso, o zero-shot learning abre áreas de aplicação que o apren­di­zado de máquina tra­di­ci­o­nal não consegue cobrir.

Des­van­ta­gens do zero-shot learning

A maior des­van­ta­gem é que o zero-shot learning depende for­te­mente da qualidade das in­for­ma­ções se­mân­ti­cas. Erros em des­cri­ções ou em­bed­dings podem levar a clas­si­fi­ca­ções in­cor­re­tas. Há também o risco de viés semântico, já que os modelos trans­fe­rem vieses exis­ten­tes dos dados de trei­na­mento para novas classes. Os modelos de zero-shot também são mais difíceis de avaliar porque não há exemplos reais de trei­na­mento para as classes-alvo. Em áreas críticas para a segurança, a incerteza quanto à con­fi­a­bi­li­dade pode ser pro­ble­má­tica. Além disso, im­ple­men­tar zero-shot learning é tec­ni­ca­mente exigente, es­pe­ci­al­mente quando dados mul­ti­mo­dais estão en­vol­vi­dos.

Vantagens e des­van­ta­gens do zero-shot learning em resumo