Netflix और Eyeline Labs ने ID-V2V पेश किया: पहचान बनाए रखने वाला वीडियो रीस्टाइलिजेशन
Netflix Research और Eyeline Labs ने ID-V2V पेश किया है, जो प्रोडक्शन वातावरण के लिए पहचान बनाए रखने वाला वीडियो रीस्टाइलिजेशन (identity-preserving video restylization) फ्रेमवर्क है। एक संपादित कीफ्रेम से शुरू करके, सिस्टम सीन, लाइटिंग और स्टाइल के बदलावों को स्रोत वीडियो में फैलाता है, साथ ही विषय की चेहरे की समानता और परफॉर्मेंस को सख्ती से बनाए रखता है, जिसमें भाव, नज़र की दिशा और होंठों का सिंक शामिल है। यह शोधपत्र SIGGRAPH Asia 2026 में स्वीकृत हुआ है।
- ID-V2V एक संपादित कीफ्रेम से पूरे वीडियो को रीस्टाइल करता है और चेहरे की समानता तथा बारीक परफॉर्मेंस बनाए रखता है
- यह फ्रेमवर्क पहचान संरक्षण को संपादन-आधारित सिंथेसिस से अलग करता है और एक ही वीडियो से जोड़ीदार फुटेज के बिना प्रशिक्षण जोड़े बनाता है
- यह एक या कई विषयों वाले सीन को सपोर्ट करता है और अपूर्ण कीफ्रेम को सहन करता है; शोध Netflix Research और Eyeline Labs द्वारा
आधिकारिक व्याख्या और परिणाम वीडियो (स्रोत: Eyeline Labs)
चुनौती
विज़ुअल स्टोरीटेलिंग में मानव परफॉर्मेंस केंद्रीय होती है, लेकिन लचीले विज़ुअल संपादन की अनुमति देते हुए पहचान और परफॉर्मेंस को बरकरार रखना जनरेटिव वीडियो मॉडल के लिए कठिन रहा है। ID-V2V इसे पहचान-संरक्षण वीडियो रीस्टाइलिजेशन के रूप में परिभाषित करता है: संपादित कीफ्रेम द्वारा तय किए गए सीन, लाइटिंग और स्टाइल के बदलावों को स्रोत वीडियो पर लागू करना, बिना चेहरे की समानता या मूल परफॉर्मेंस बदले।
पहचान को सिंथेसिस से अलग करना
मुख्य बाधा डेटा है। अलग-अलग स्टाइल में समान क्रियाएँ करते एक ही व्यक्ति के जोड़ीदार वीडियो शायद ही उपलब्ध होते हैं, और चेहरे के लैंडमार्क या निम्न-आयामी पहचान एम्बेडिंग जैसे अमूर्त नियंत्रण संकेतों पर निर्भर पिछले स्व-पुनर्निर्माण दृष्टिकोण बारीक चेहरे की परफॉर्मेंस बनाए रखने के लिए बहुत मोटे हैं।
टीम की मुख्य अंतर्दृष्टि यह है कि चेहरे की उपस्थिति और भाव अपरिवर्तनीय रहने चाहिए, और रोशनी ही एकमात्र अनुमत प्रमुख परिवर्तन है। इसलिए पहचान संरक्षण को वीडियो रीलाइटिंग समस्या के रूप में रखा गया है, जबकि विज़ुअल संपादन का प्रसार संपादित कीफ्रेम द्वारा निर्देशित नियंत्रित वीडियो सिंथेसिस बन जाता है। ID-V2V रीलिट किए गए चेहरे के क्षेत्रों और चेहरे के नॉर्मल मैप को जोड़ता है ताकि समानता और परफॉर्मेंस को सख्ती से सीमित किया जा सके, साथ ही लचीली और समय-सुसंगत पीढ़ी के लिए संपादित कीफ्रेम और डेप्थ सीक्वेंस का उपयोग करता है।
जोड़ीदार डेटा के बिना प्रशिक्षण
प्रशिक्षण के दौरान चेहरे के क्षेत्रों को इनपुट के रूप में रखा जाता है और बाकी सब मास्क किया जाता है। सिनेमैटिक लाइटिंग में शूट किए गए सामान्य प्रशिक्षण वीडियो से शुरू करके, टीम चेहरों पर एक इमेज रीलाइटिंग मॉडल लागू करती है, जो उन्हें नियमित लाइटिंग में बदल देता है जो इन्फरेंस पर स्रोत वीडियो की लाइटिंग के करीब होती है। फिर मॉडल समानता और सूक्ष्म भाव को बनाए रखते हुए मूल सिनेमैटिक लाइटिंग को बहाल करने की प्रक्रिया को उल्टा करना सीखता है।
क्योंकि प्रशिक्षण लक्ष्य केवल मूल वीडियो है, हर जोड़ी पूरी तरह से संरेखित होती है, जिससे वास्तविक जोड़ीदार फुटेज के बिना पहचान संरक्षण और सीन निर्माण दोनों के लिए सीधी निगरानी मिलती है।
अपूर्ण कीफ्रेम और अनुप्रयोग
NanoBanana जैसे इमेज एडिटिंग मॉडल अक्सर फ्रेम को रीस्टाइल करते समय सटीक पोज़ या भाव नहीं बनाए रख पाते, जिससे स्टाइल किया गया पहला फ्रेम स्रोत वीडियो से असंरेखित हो जाता है। ID-V2V पहले फ्रेम में अपूर्ण कीफ्रेम का अनुसरण करता है, फिर दूसरे फ्रेम से स्रोत वीडियो की पहचान और परफॉर्मेंस के साथ फिर से संरेखित हो जाता है।
वीडियो रीलाइटिंग भी एक विशेष मामले के रूप में समर्थित है। डेमो में, टीम NanoBanana Pro के साथ पहले फ्रेम को रीलिट करती है और गति, भाव और वस्तुओं को बनाए रखते हुए नई लाइटिंग को पूरे वीडियो में फैलाती है। प्रयोग बताते हैं कि ID-V2V चेहरे की समानता और बारीक चेहरे की परफॉर्मेंस में मौजूदा तरीकों से काफी बेहतर प्रदर्शन करता है, और एक या कई विषयों वाले सीन को मज़बूती से सपोर्ट करता है।
कवर छवि केवल उदाहरण हेतु AI द्वारा बनाई गई है।
स्रोत: ID-V2V प्रोजेक्ट पेज · arXiv · GitHub
