En el episodio de hoy, vamos a hablar sobre DreamBooth, una nueva tecnología desarrollada por un equipo de investigadores de Google Research. En agosto de 2022, publicaron un paper titulado “DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation” donde presentaron al mundo a DreamBooth, una herramienta para la personalización de los modelos de generación de imágenes especializándolos según las necesidades del usuario. Según los creadores, de 3 a 5 imágenes son suficientes para que el modelo pueda reconocer el token del usuario, pero se pueden proporcionar más para obtener un resultado interesante.
En septiembre de 2022, Xavier Xiao publicó en su Github una nueva integración de DreamBooth con Stable Diffusion, lo que permite que cualquier persona pueda personalizar su modelo sin necesidad de tener acceso al modelo Imagen de Google o a los pesos preentrenados.
Para utilizar DreamBooth, se requieren las imágenes de entrada, el token con el que se quiere asociar y una clase a la que pertenece. Por ejemplo, si queremos añadir una persona específica, subimos las imágenes, especificamos su nombre como token y le indicamos que pertenece a la clase Persona. Como resultado, obtenemos un modelo personalizado que podremos cargar de manera similar a como hacemos con el modelo oficial de Stable Diffusion y generar imágenes del nuevo objeto agregado.