Stable Diffusion: cómo crear imágenes a partir de texto

Stable Diffusion es un modelo de IA que genera imágenes digitales a partir de in­s­tru­c­cio­nes en forma de texto. Esta he­rra­mie­n­ta de in­te­li­ge­n­cia ar­ti­fi­cial destaca es­pe­cia­l­me­n­te por su capacidad para crear co­n­te­ni­dos de­ta­lla­dos y de apa­rie­n­cia realista. Aunque se utiliza pri­n­ci­pa­l­me­n­te para la ge­ne­ra­ción de imágenes, también se aplica a la edición de imágenes y al diseño de in­te­r­fa­ces de usuario.

¿Qué es Stable Diffusion?

Stable Diffusion es un modelo de IA ge­ne­ra­ti­vo que produce imágenes únicas y realistas a partir de texto. Esto se lleva a cabo mediante in­s­tru­c­cio­nes es­pe­cí­fi­cas en forma de texto, también conocidas como “prompts”. Ac­tua­l­me­n­te, Stable Diffusion también integra entre sus funciones el re­co­no­ci­mie­n­to de comandos de voz. Asimismo, las versiones más recientes de este modelo también permiten crear ani­ma­cio­nes o vídeos cortos con ex­te­n­sio­nes como Deforum.

Basado en el apre­n­di­za­je profundo o deep learning, el modelo Stable Diffusion emplea redes neu­ro­na­les ar­ti­fi­cia­les para procesar in­fo­r­ma­ción. Esto permite al modelo aprender de forma autónoma a partir de datos. Además, gracias a su en­tre­na­mie­n­to con millones de pares de imágenes y textos, la he­rra­mie­n­ta Stable Diffusion de IA es capaz de ide­n­ti­fi­car patrones y re­la­cio­nes en grandes volúmenes de in­fo­r­ma­ción y generar contenido adecuado.

Esta he­rra­mie­n­ta de IA tiene sus raíces en un proyecto de­sa­rro­lla­do por in­ve­s­ti­ga­do­res de la LMU de Múnich y la Uni­ve­r­si­dad de Hei­de­l­be­rg. Desde su la­n­za­mie­n­to en agosto de 2022, ha ido co­n­ti­nua­me­n­te mejorando y, ac­tua­l­me­n­te, el modelo puede manejar hasta ocho mil millones de pa­rá­me­tros, lo que le permite in­te­r­pre­tar las entradas con mayor precisión y, de este modo, ofrecer mejores re­su­l­ta­dos. Además, como Stable Diffusion es un software de código abierto, su código fuente está di­s­po­ni­ble li­bre­me­n­te.

¿Qué ca­ra­c­te­ri­za a Stable Diffusion?

El modelo Stable Diffusion se ca­ra­c­te­ri­za por una serie de funciones y pro­pie­da­des que hacen que esta he­rra­mie­n­ta de in­te­li­ge­n­cia ar­ti­fi­cial sea igua­l­me­n­te atractiva tanto para pa­r­ti­cu­la­res como para empresas. Entre las ca­ra­c­te­rí­s­ti­cas más de­s­ta­ca­das se en­cue­n­tran:

• Código abierto: cualquier persona puede descargar el código fuente del modelo de in­te­li­ge­n­cia ar­ti­fi­cial y uti­li­zar­lo en proyectos pa­r­ti­cu­la­res. Además, Stable Diffusion cuenta con una comunidad activa que pro­po­r­cio­na numerosos do­cu­me­n­ta­les y tu­to­ria­les de­ta­lla­dos.
• Re­su­l­ta­dos ex­ce­p­cio­na­les: incluso con entradas complejas, el modelo Stable Diffusion genera co­n­te­ni­dos realistas y de­ta­lla­dos gracias a su ar­qui­te­c­tu­ra y al extenso conjunto de datos LAION. Esto lo posiciona como uno de los mejores ge­ne­ra­do­res de imágenes por IA en el mercado.
• In­de­pe­n­de­n­cia de pla­ta­fo­r­ma: Stable Diffusion puede eje­cu­tar­se tanto en se­r­vi­do­res de gran potencia como en hardware estándar de consumo, lo que significa que es posible utilizar la he­rra­mie­n­ta en or­de­na­do­res y po­r­tá­ti­les co­n­ve­n­cio­na­les. Esta es­ca­la­bi­li­dad permite que una amplia variedad de usuarios emplee el modelo para fines creativos y pro­fe­sio­na­les sin la necesidad de recurrir a servicios en la nube más costosos.
• Alta fle­xi­bi­li­dad: si dispones del co­no­ci­mie­n­to necesario, puedes adaptar el modelo de in­te­li­ge­n­cia ar­ti­fi­cial a tus re­qui­si­tos creativos es­pe­cí­fi­cos o de­sa­rro­llar apli­ca­cio­nes basadas en flujos de trabajo pe­r­so­na­li­za­dos.

¿Cómo funciona Stable Diffusion?

A di­fe­re­n­cia de otros ge­ne­ra­do­res de imágenes por IA, Stable Diffusion utiliza un llamado modelo de difusión. Este enfoque tra­n­s­fo­r­ma ini­cia­l­me­n­te las imágenes del conjunto de en­tre­na­mie­n­to en ruido visual. Durante la ge­ne­ra­ción, el proceso se invierte. A lo largo del en­tre­na­mie­n­to, el modelo aprende a generar imágenes a partir del ruido, co­m­pro­ba­n­do co­n­s­ta­n­te­me­n­te la di­fe­re­n­cia entre las imágenes creadas y las reales. La ar­qui­te­c­tu­ra de Stable Diffusion se compone de cuatro elementos pri­n­ci­pa­les:

• Au­toe­n­co­der va­ria­cio­nal (VAE): el VAE está compuesto por un co­di­fi­ca­dor y un de­co­di­fi­ca­dor. El co­di­fi­ca­dor comprime la imagen para facilitar su ma­ni­pu­la­ción y captura su si­g­ni­fi­ca­do semántico, mientras que el de­co­di­fi­ca­dor es re­s­po­n­sa­ble de generar la imagen final.
• Procesos de difusión: la difusión directa añade pro­gre­si­va­me­n­te ruido gaussiano a la imagen hasta que solo queda ruido aleatorio. La difusión inversa revierte este proceso de manera iterativa, generando una imagen única a partir del ruido.
• Predictor de ruido: este co­m­po­ne­n­te predice la cantidad de ruido en el espacio latente y lo resta de la imagen. El proceso se repite un número de­te­r­mi­na­do de veces para reducir el ruido de forma pro­gre­si­va. Hasta la versión 3.0, se utilizaba un modelo U-Net (red neuronal co­n­vo­lu­cio­nal). Las versiones más recientes emplean el Rectified Flow Tra­n­s­fo­r­mer.
• Co­n­di­cio­na­mie­n­to de texto: un to­ke­ni­za­dor traduce la entrada de texto en unidades co­m­pre­n­si­bles para el modelo de in­te­li­ge­n­cia ar­ti­fi­cial, lo que permite captar e in­te­r­pre­tar con precisión la intención del usuario. A co­n­ti­nua­ción, la in­s­tru­c­ción se envía al predictor de ruido para su pro­ce­sa­mie­n­to.

Usos de Stable Diffusion

El principal campo de apli­ca­ción de Stable Diffusion es la creación de imágenes. Sin embargo, los fines para los que se generan estas imágenes son muy variados. Mientras que los creativos y di­se­ña­do­res utilizan este generador de imágenes por IA para plasmar ideas, muchas agencias de pu­bli­ci­dad recurren a esta he­rra­mie­n­ta para elaborar bocetos digitales de campañas y proyectos.

El modelo Stable Diffusion también se emplea en la edición de imágenes. En este ámbito, la he­rra­mie­n­ta ofrece un gran abanico de opciones. Por ejemplo, es posible eliminar objetos de una imagen, re­pi­n­tar­los o cambiar su color, sustituir el fondo por otro y ajustar la ilu­mi­na­ción.

Además, el modelo Stable Diffusion de IA se utiliza para el diseño de in­te­r­fa­ces de usuario. Mediante prompts de texto, se pueden generar tanto in­te­r­fa­ces gráficas completas como elementos de UI, como botones, iconos y fondos. Esto permite que los di­se­ña­do­res puedan probar rá­pi­da­me­n­te y sin esfuerzo di­fe­re­n­tes conceptos o enfoques, que mejorarán po­te­n­cia­l­me­n­te la ex­pe­rie­n­cia de usuario.

Li­mi­ta­cio­nes de Stable Diffusion

Aunque Stable Diffusion cuenta con numerosas ca­ra­c­te­rí­s­ti­cas y ca­pa­ci­da­des im­pre­sio­na­n­tes, también presenta algunas li­mi­ta­cio­nes im­po­r­ta­n­tes. Entre ellas destacan:

• Errores en las imágenes: aunque este modelo de in­te­li­ge­n­cia ar­ti­fi­cial puede generar imágenes de­ta­lla­das, suelen aparecer im­pre­ci­sio­nes, es­pe­cia­l­me­n­te en conceptos ab­s­tra­c­tos. Además, para los usuarios in­e­x­pe­r­tos puede resultar co­m­pli­ca­do lograr los re­su­l­ta­dos deseados.
• Casos de uso de­s­co­no­ci­dos: Stable Diffusion solo puede utilizar los ejemplos del conjunto de datos con los que fue entrenado para generar imágenes. Por ello, la he­rra­mie­n­ta tiene di­fi­cu­l­ta­des, o una capacidad muy limitada, para procesar con éxito aquellas so­li­ci­tu­des que no estén re­s­pa­l­da­das por datos exi­s­te­n­tes durante su en­tre­na­mie­n­to.
• Problemas de derechos de autor: los datos que se uti­li­za­ron para entrenar a esta he­rra­mie­n­ta de IA se re­co­le­c­ta­ron sin el co­n­se­n­ti­mie­n­to explícito de los autores ori­gi­na­les. Esto ha dado lugar a múltiples co­n­fli­c­tos legales, ya que algunos creadores no están de acuerdo con el uso no au­to­ri­za­do de sus obras.
• Sesgos y es­te­reo­ti­pos: al igual que con otros modelos de in­te­li­ge­n­cia ar­ti­fi­cial, existe el riesgo de que Stable Diffusion herede pre­jui­cios presentes en los datos de en­tre­na­mie­n­to. Esto puede resultar en re­pre­se­n­ta­cio­nes es­te­reo­ti­pa­das o di­s­cri­mi­na­to­rias, como sesgos re­la­cio­na­dos con género, cultura o edad, entre otros.
• Re­qui­si­tos de hardware: para generar imágenes, Stable Diffusion requiere recursos co­mpu­tacio­na­les si­g­ni­fi­ca­ti­vos, en concreto una tarjeta gráfica potente (GPU) con su­fi­cie­n­te memoria gráfica de acceso aleatorio (VRAM). Esto puede suponer un problema para los usuarios con hardware estándar, ya que los tiempos de carga y la velocidad de ge­ne­ra­ción de imágenes se ven co­n­si­de­ra­ble­me­n­te reducidos en estos sistemas de menor potencia.