Generation of realistic children's book images based on diffusion models

• Nayeli Joaquinita Meléndez Acosta ^[2] ; Edmundo Bonilla Huerta ^[1] ; José Federico Ramírez Cruz ^[1] ; Yesenia Nohemí González Meneses ^[1]
  1. [1] Tecnológico Nacional de México

     Tecnológico Nacional de México

     México

     
  2. [2] Universidad del Istmo (México)
• Localización: Ingeniare: Revista Chilena de Ingeniería, ISSN-e 0718-3305, ISSN 0718-3291, Vol. 32, Nº. 1, 2024
• Idioma: inglés
• Títulos paralelos:
  • Generación de imágenes realistas de libros infantiles basadas en modelos de difusión
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    En este artículo se presenta un modelo para la generación de imágenes realistas para libros infantiles usando modelos de difusión, se explica cada etapa del modelo propuesto, pero nos enfocamos en la revisión del área de investigación existente sobre los modelos de difusión controlados. En particular nos enfocamos en ControlNet. ControlNet es un modelo de red neuronal para controlar modelos de difusión estable, lo que permite agregar controles para guiar la generación de imágenes. Se utilizan los bordes y bocetos como control, en el caso de los bordes se prueban los bordes de Canny, Sobel y Prewitt. También se pretende diseñar un banco de imágenes extraídas de libros infantiles, para generar nuevas versiones de libros con imágenes realistas. Se usa el modelo pre entrenado ControlNet para crear las imágenes realistas para libros infantiles, específicamente libros de cuentos clásicos, nuestras pruebas se realizan utilizando los libros: "El principito" y "La gaviota y el pingüino". Los resultados muestran que ControlNet genera imágenes visualmente atractivas, diversas y de muy buena calidad, por lo que es un buen generador de ilustraciones para libros infantiles, además se concluye que es mejor utilizar los bordes como control en la generación de imágenes, debido a que los bordes proporcionan más detalles de la imagen original.

  • English

    This paper describes a model for generating realistic images for children's books using diffusion models and explains each step of the proposed model. However, the focus is on reviewing the existing area of research on controlled diffusion models. The focus is on ControlNet, a neural network model for controlling stable diffusion models that allows the addition of controls to guide image generation. In this work, edges and sketches have been used as controls. The edges have been tested using the Canny, Sobel and Prewitt edges. Furthermore, the project aims to design a bank of images extracted from children's books to generate new versions of books with realistic images. The ControlNet pre-training model has been used to create realistic images of children's books, specifically classic storybooks; our tests have been carried out with the books 'The Little Prince' and 'The Seagull and the Penguin'. The research findings bear significant practical implications, affirming that ControlNet is a potent tool for generating visually attractive, diverse, and high-quality images. This reassures illustrators and developers working on children's books about the relevance and applicability of this invaluable resource. In addition, it was concluded that using edges as a control in image generation is better, as edges provide more detail of the original image.