La tecnología de inteligencia artificial generativa llegó a Google con el anuncio de Lumiere, la última innovación del buscador en el campo de vídeo.
Esta avanzada IA tiene la capacidad de transformar texto y fotos en vídeos dinámicos, según lo explicó Google en su blog.
El gigante tecnológico dio a conocer la herramienta a través de un video explicando las capacidades de Lumiere. Con solo unas pocas indicaciones escritas o una imagen estática como punto de referencia, esta IA puede crear vídeos completos, llenos de movimiento o incluso recrear vídeos en estilos específicos.
La función principal de Lumiere es su capacidad para generar vídeos a partir de texto. Utilizando un modelo de difusión de texto a vídeo, esta IA es capaz de interpretar instrucciones escritas y traducirlas en vídeos completamente nuevos a partir de simples descripciones.
Otra función destacada de Lumiere es su capacidad para generar vídeos basados en estilos específicos. Con solo una imagen de referencia, esta IA puede crear vídeos que imiten ciertos estilos visuales.
Finalmente, Lumiere también cuenta con capacidades de inpainting de vídeo, lo que le permite rellenar áreas faltantes en un vídeo de manera realista. Esta función es útil para corregir errores en el metraje o eliminar objetos no deseados de una manera que parezca natural y coherente con el resto del vídeo.
Para lograr esto, Google explica el proceso de desarrollo de esta herramienta. “Al implementar un muestreo descendente y ascendente tanto espacial como (lo más importante) temporal y aprovechar un modelo de difusión de texto a imagen previamente entrenado, nuestro modelo aprende a generar directamente un video de baja resolución y velocidad de cuadros completa procesándolo en múltiples escalas espacio-temporales”, dice Google en su blog.
Lumiere “facilita una amplia gama de tareas de creación de contenido y aplicaciones de edición de video, incluida la conversión de imagen a video, pintura de video y generación estilizada”, concluye Google. Hasta el momento, este es un proyecto de investigación de Google por lo que no se ha detallado si su uso estará disponible para el público.
