Netflix y Eyeline Labs presentan ID-V2V para la restilización de vídeo con preservación de identidad
Netflix Research y Eyeline Labs han presentado ID-V2V, un marco de restilización de vídeo con preservación de identidad (identity-preserving video restylization) pensado para entornos de producción. Partiendo de un único fotograma clave editado, el sistema propaga los cambios de escena, iluminación y estilo a todo el vídeo de origen, preservando estrictamente el parecido facial y la interpretación del sujeto, incluidas las expresiones, la dirección de la mirada y la sincronización de labios. El artículo ha sido aceptado en SIGGRAPH Asia 2026.
- ID-V2V usa un fotograma clave editado para restilizar un vídeo completo preservando el parecido facial y la interpretación detallada
- El marco separa la preservación de identidad de la síntesis basada en edición, y construye pares de entrenamiento a partir de un solo vídeo sin material emparejado
- Admite escenas con uno o varios sujetos y tolera fotogramas clave imperfectos; investigación de Netflix Research y Eyeline Labs
Vídeo oficial de explicación y resultados (fuente: Eyeline Labs)
El reto
Las interpretaciones humanas son esenciales en la narración visual, pero mantener intactas la identidad y la interpretación mientras se permiten ediciones visuales flexibles ha sido difícil para los modelos de vídeo generativos. ID-V2V formaliza este problema como restilización de vídeo con preservación de identidad: aplicar los cambios de escena, iluminación y estilo definidos por un fotograma clave editado a todo el vídeo de origen, sin alterar el parecido facial ni la interpretación original.
Separar la identidad de la síntesis
El principal obstáculo son los datos. Rara vez se dispone de vídeos emparejados de la misma persona realizando acciones idénticas bajo estilos distintos, y los enfoques previos de autorreconstrucción que usan señales de control abstractas, como puntos de referencia faciales o incrustaciones de identidad de baja dimensión, son demasiado gruesos para conservar la interpretación facial detallada.
La idea clave del equipo es que la apariencia y la expresión facial deben permanecer invariantes, siendo la iluminación la única variación principal permitida. Por tanto, la preservación de identidad se plantea como un problema de reiluminación de vídeo, mientras que la propagación de la edición visual se convierte en síntesis de vídeo controlada guiada por el fotograma clave editado. ID-V2V combina regiones faciales reiluminadas y mapas normales faciales para limitar estrictamente el parecido y la interpretación, y fotogramas clave editados con secuencias de profundidad para una generación flexible y temporalmente coherente.
Entrenamiento sin datos emparejados
Durante el entrenamiento, las regiones faciales se mantienen como entrada mientras el resto se enmascara. Partiendo de un vídeo de entrenamiento ordinario rodado con iluminación cinematográfica, el equipo aplica un modelo de reiluminación de imágenes a los rostros, convirtiéndolos a iluminación regular que se aproxima a la del vídeo de origen en la inferencia. El modelo aprende entonces a invertir el proceso, restaurando la iluminación cinematográfica original mientras preserva el parecido y la expresión sutil.
Como el objetivo del entrenamiento es simplemente el vídeo original, cada par está perfectamente alineado, lo que proporciona supervisión directa tanto para la preservación de identidad como para la generación de escenas, sin necesidad de material emparejado real.
Fotogramas clave imperfectos y aplicaciones
Modelos de edición de imágenes como NanoBanana a menudo no logran mantener la pose o expresión exactas al restilizar un fotograma, dejando el primer fotograma estilizado desalineado con el vídeo de origen. ID-V2V sigue el fotograma clave imperfecto en el primer fotograma y se realinea con la identidad y la interpretación del vídeo de origen a partir del segundo.
La reiluminación de vídeo también se admite como caso especial. En las demostraciones, el equipo reilumina el primer fotograma con NanoBanana Pro y propaga la nueva iluminación por todo el vídeo, preservando movimiento, expresión y objetos. Los experimentos muestran que ID-V2V supera significativamente a los métodos existentes en parecido facial e interpretación facial detallada, y admite de forma robusta escenas con uno o varios sujetos.
Imagen de portada generada por IA con fines ilustrativos.
Fuente: Página del proyecto ID-V2V · arXiv · GitHub
