NetflixとEyeline Labs、アイデンティティを保持する映像スタイル変換「ID-V2V」を発表

Netflix ResearchとEyeline Labsは、制作現場向けのアイデンティティ保持型映像スタイル変換（identity-preserving video restylization）フレームワーク「ID-V2V」を発表した。編集済みの単一キーフレームを起点に、シーン、照明、スタイルの変更をソース映像全体に伝播させながら、表情、視線、リップシンクを含む被写体の顔の類似性と演技を厳密に保持する。論文はSIGGRAPH Asia 2026に採択された。

公式解説・結果動画（出典：Eyeline Labs）

課題

人間の演技は映像表現の核だが、柔軟な視覚編集を可能にしながらアイデンティティと演技を保つことは、生成映像モデルにとって難しい課題だった。ID-V2Vはこれをアイデンティティ保持型の映像スタイル変換として定式化する。編集済みキーフレームが定義するシーン、照明、スタイルの変更をソース映像全体に適用し、顔の類似性と元の演技を変えない。

アイデンティティと合成の分離

最大の障壁はデータだ。同じ人物が異なるスタイルで同一の動作をするペア映像はほとんど存在せず、顔のランドマークや低次元のアイデンティティ埋め込みといった抽象的な制御信号に頼る従来の自己再構成アプローチでは、細かな顔の演技を保持するには粗すぎる。

チームの鍵となる洞察は、顔の外観と表情は不変に保ち、照明を唯一許容される主要な変化とすること。アイデンティティ保持は映像の再照明問題として、視覚編集の伝播は編集済みキーフレームに導かれる制御合成として扱われる。ID-V2Vは再照明した顔領域と顔の法線マップで類似性と演技を厳密に制約し、編集済みキーフレームと深度シーケンスで柔軟で時間的に一貫した生成を実現する。

ペアデータ不要の訓練手法

訓練時は顔領域を入力として残し、それ以外をマスクする。シネマティックな照明で撮影した通常の訓練映像から、画像再照明モデルを顔に適用して推論時のソース映像の照明に近い通常照明へ変換し、モデルはその逆過程を学習して類似性と微妙な表情を保ちながら元の映画的な照明を復元する。

訓練ターゲットは元の映像そのものなので、すべてのペアは完全に整合し、実際のペアデータなしでアイデンティティ保持とシーン生成の両方を直接監修できる。

不完全なキーフレームと応用

NanoBananaなどの画像編集モデルはフレームの再スタイル化時に正確なポーズや表情を維持できないことが多く、スタイル化された先頭フレームがソース映像とずれる。ID-V2Vは先頭フレームでは不完全なキーフレームに従い、2フレーム目以降はソース映像のアイデンティティと演技へ再整列する。

映像の再照明も特殊ケースとして対応する。デモではNanoBanana Proで先頭フレームを再照明し、動き、表情、オブジェクトを保ちながら新しい照明を映像全体へ伝播させている。実験では、ID-V2Vは顔の類似性と細かな顔の演技で既存手法を大きく上回り、単一・複数被写体のシーンを安定して処理する。

カバー画像はAI生成のイメージです。

出典: ID-V2Vプロジェクトページ · arXiv · GitHub