Esta película de IA es un vistazo al futuro de los generadores de texto a película
agosto 28, 2022
Si está impresionado por la reciente ola de generadores de texto a imagen, prepárese para el siguiente paso en el arte de IA: texto a video.
Si bien los enormes costos computacionales y la escasez de conjuntos de datos de texto y video han impedido el crecimiento de la técnica, investigaciones recientes han acercado la promesa a la realidad.
Un artista informático llamado Glenn Marshall dio una idea del potencial.
Saludos humanoides
Suscríbase a nuestro boletín ahora para recibir un resumen semanal de nuestras historias favoritas de IA en su bandeja de entrada.
El compositor residente en Belfast ganó recientemente el Premio del Jurado en el Festival de Cortometrajes de Cannes por su película sobre IA El Cuervo.
Marshall había ganado aplausos anteriormente por un video de Daft Punk generado por IA, pero adoptó un enfoque diferente para El Cuervo.
Mientras que su técnica anterior transformaba el texto en mutaciones visuales aleatorias, El Cuervo utiliza una película subyacente como referencia de imagen.
“Había pensado mucho en la idea de una transferencia al estilo de la IA utilizando imágenes de video como fuente”, dijo Marshall a TNW.
«Así que todos los días buscaba algo en YouTube o sitios de videos de stock, y trataba de crear un video interesante resumiéndolo o convirtiéndolo en algo diferente usando mis técnicas.
«Fue durante este tiempo que descubrí Pintado en YouTube -un corto de danza en vivo- que se convertiría en la base de El Cuervo.”
Marshall alimentó las imágenes de video de Pintado a CLIP, una red neuronal creada por OpenAI.
Luego hizo que el sistema generara un video de «una pintura de un cuervo en un paisaje desolado».
¡Mi película de IA «The Crow» gana el premio del jurado en Cannes! https://t.co/WHDsI7UzJM pic.twitter.com/Ww1DGyBbxw
—Glenn Marshall (@GlennIsZen) 24 de agosto de 2022
Marshall dice que los lanzamientos requerían poca selección. Él atribuye esto a la similitud entre el mensaje y el video subyacente, que muestra a una bailarina con un chal negro que imita los movimientos de un cuervo.
«Eso es lo que hace que la película funcione tan bien, porque la IA intenta hacer que cada cuadro de acción en vivo se vea como una pintura con un cuervo, así que la encuentro a la mitad y la película se convierte en una especie de batalla entre humanos e IA. con todo el simbolismo sugerente.
En el futuro, Marshall quiere agregar animación 3D a sus creaciones de IA. El también explora Generación de video guiada por CLIP, que puede agregar instrucciones de texto detalladas, como movimientos de cámara específicos.
Esto podría conducir a la producción de largometrajes completos mediante sistemas de texto a video. Aún así, Marshall cree que incluso sus técnicas actuales podrían atraer el reconocimiento de la corriente principal.
El dice El Cuervo ahora es elegible para ser presentado a los prestigiosos premios BAFTA.
«No he preparado un discurso, pero sueño con recibir un premio, en el papel de heraldo de la IA, y proclamar a la audiencia repleta de estrellas que [for] cada uno de ustedes, actor, director, escenógrafo, diseñador de vestuario, artista, compositor… La IA está llegando, y pronto se encontrarán haciendo trabajos muy diferentes, o ningún trabajo a la vez.
