AITech Trends

Netflix dan Eyeline Labs Perkenalkan ID-V2V untuk Restyling Video yang Menjaga Identitas

Netflix Research dan Eyeline Labs memperkenalkan ID-V2V, sebuah kerangka kerja restyling video yang menjaga identitas (identity-preserving video restylization) untuk lingkungan produksi. Berawal dari satu keyframe yang telah diedit, sistem ini menyebarkan perubahan scene, pencahayaan, dan gaya ke seluruh video sumber, sambil menjaga kemiripan wajah dan performa subjek secara ketat, termasuk ekspresi, arah pandangan, dan sinkronisasi bibir. Makalah ini diterima di SIGGRAPH Asia 2026.

Poin Penting

  • ID-V2V menggunakan satu keyframe hasil editan untuk me-restyle seluruh video sambil menjaga kemiripan wajah dan performa detail
  • Kerangka kerja ini memisahkan pelestarian identitas dari sintesis berbasis editan, membangun pasangan pelatihan dari satu video tanpa footage berpasangan
  • Mendukung scene satu dan banyak subjek serta toleran terhadap keyframe yang tidak sempurna; riset oleh Netflix Research dan Eyeline Labs

Video penjelasan dan hasil resmi (sumber: Eyeline Labs)

Tantangannya

Performa manusia sangat penting dalam penceritaan visual, tetapi menjaga identitas dan performa tetap utuh sambil mengizinkan perubahan visual yang fleksibel sulit dilakukan model video generatif. ID-V2V merumuskan ini sebagai restyling video yang menjaga identitas: menerapkan perubahan scene, pencahayaan, dan gaya yang ditentukan oleh keyframe editan ke seluruh video sumber, tanpa mengubah kemiripan wajah atau performa asli.

Memisahkan identitas dari sintesis

Kendala utamanya adalah data. Video berpasangan dari orang yang sama melakukan aksi identik dengan gaya berbeda jarang tersedia, dan pendekatan rekonstruksi diri sebelumnya yang memakai sinyal kontrol abstrak seperti landmark wajah atau embedding identitas berdimensi rendah terlalu kasar untuk mempertahankan performa wajah detail.

Wawasan utama tim adalah penampilan dan ekspresi wajah harus tetap invarian, dengan pencahayaan sebagai satu-satunya variasi utama yang diizinkan. Pelestarian identitas karena itu diposisikan sebagai masalah relighting video, sementara propagasi editan visual menjadi sintesis video terkontrol yang dipandu keyframe editan. ID-V2V menggabungkan region wajah yang di-relight dan normal map wajah untuk membatasi kemiripan dan performa secara ketat, serta keyframe editan dengan urutan depth untuk generasi yang fleksibel dan koheren secara temporal.

Pelatihan tanpa data berpasangan

Selama pelatihan, region wajah dipertahankan sebagai input sementara bagian lain dimasking. Berawal dari video pelatihan biasa yang direkam dengan pencahayaan sinematik, tim menerapkan model relighting gambar ke wajah, mengubahnya menjadi pencahayaan reguler yang mendekati pencahayaan video sumber saat inferensi. Model kemudian belajar membalik prosesnya, memulihkan pencahayaan sinematik asli sambil menjaga kemiripan dan ekspresi halus.

Karena target pelatihan hanyalah video asli, setiap pasangan selaras sempurna, memberikan supervisi langsung untuk pelestarian identitas dan generasi scene tanpa footage berpasangan dari dunia nyata.

Keyframe tidak sempurna dan aplikasi

Model pengeditan gambar seperti NanoBanana sering tidak bisa mempertahankan pose atau ekspresi yang tepat saat me-restyle satu frame, membuat frame pertama yang di-stylize tidak selaras dengan video sumber. ID-V2V mengikuti keyframe tidak sempurna pada frame pertama, lalu menyelaraskan kembali dengan identitas dan performa video sumber mulai frame kedua.

Relighting video juga didukung sebagai kasus khusus. Dalam demo, tim me-relight frame pertama dengan NanoBanana Pro dan menyebarkan pencahayaan baru ke seluruh video, menjaga gerakan, ekspresi, dan objek. Eksperimen menunjukkan ID-V2V mengungguli metode yang ada secara signifikan dalam kemiripan wajah dan performa wajah detail, serta mendukung scene satu dan banyak subjek secara andal.

Gambar sampul dibuat AI untuk ilustrasi.

Sumber: Halaman proyek ID-V2V · arXiv · GitHub