सोशल मीडिया प्लेटफॉर्म एक्स पर आर्टिफिशियल इंटेलिजेंस के कंटेंट को रेगुलेट करने के लिए कड़े कानूनों की मांग शुरू होने से करीब तीन हफ्ते पहले रश्मिका मंदाना (Rashmika Mandana) का डीपफेक वीडियो इंटरनेट पर शेयर किया गया था. ये वीडियो उनके एक फैन पेज ने बनाया गया था, जिसे अब हटा दिया गया है.
इस आर्टिकल को लिखते समय उस रील पर 8 मिलियन व्यूज आ चुके थे.
ये क्लिप, जिसमें मंदाना को काले रंग के कपड़े पहने लिफ्ट में जाते हुए दिखाया गया, मॉडल-इंफ्लूएंसर जारा पटेल की बॉडी पर रश्मिका के चेहरे को AI की मदद से एडिट करके बनाया गया था. इससे एक आम यूजर के लिए असली और नकली वीडियो के बीच अंतर करना काफी मुश्किल हो गया.
अब डिलीट हो चुके इस इंस्टाग्राम पेज को करीब से देखने पर पता चला कि यह इकलौता वीडियो नहीं था. कम से कम 6 और वीडियो में एक्ट्रेस का चेहरा दूसरी महिलाओं के शरीर पर एडिट किया गया था.
हालांकि, बाकी वीडियो कम विश्वसनीय थे. इसे आमतौर पर 'शैलोफेक्स' भी कहते हैं. इस फैन पेज ने कई और इंस्टाग्राम अकॉउंट्स से खुद को लिंक किया था और उन अकाउंट्स पर भी ऐसा ही कंटेंट था.
क्विंट ने इंस्टाग्राम सेलेब्रिटी फैन पेज के डीपफेक क्रिएटर्स में से एक से उनके काम करने के तरीके और उद्देश्यों को समझने के लिए बात की.
रश्मिका मंदाना डीपफेक विवाद: वीडियो कौन बना रहा और क्यों? ₹1000 में देते हैं 'ट्यूशन'
1. कौन हैं क्रिएटर्स?
इंस्टाग्राम पर @rashmikaa_mandaanaa नाम के एक फैन पेज ने 18 अक्टूबर को वायरल वीडियो शेयर किया था. ध्यान से देखने पर हमें पता चला कि ये इस पेज पर पोस्ट होने वाला पहला डिजिटली मॉर्फ्ड वीडियो है.
यह अकाउंट नवंबर 2021 में बना था. इसपर शुरू में अपने फॉलोअर्स के साथ मंदाना के वीडियो शेयर करने के लिए कुछ एंटरटेनमेंट पत्रकारों के अकाउंट से वीडियो लिए गए थे. तीन हफ्ते पहले तक, पहला डीपफेक वीडियो आने के साथ ये पैटर्न टूट गया.
कुछ दिनों में ही मंदाना के वीडियो ने इंस्टाग्राम पर 8.2 मिलियन से ज्यादा व्यूज, 41000 से ज्यादा लाइक और 721 कॉमेंट हासिल कर लिए.
मॉर्फ्ड वीडियो पर जबरदस्त रिस्पॉन्स मिलने के बाद अकाउंट ने मंदाना के और डीपफेक वीडियो शेयर करने शुरू कर दिए. इनमें से एक वीडियो जो इस फैन पेज ने डाला था वो @bollywood_foxes नाम के किसी और फैन पेज ने बनाया था.
मंदाना के फैन पेज से अलग इस पेज पर कई और सेलिब्रिटी के डीपफेक वीडियो भी शेयर किए गए थे, इनमें आलिया भट्ट, ऐशवर्या राय जैसे नाम हैं.
बॉलीवुड फॉक्सेस इंस्टाग्राम पर 8 और सेलिब्रिटी पेज चलाता है, इनमें से कई पर फॉलोअर्स की संख्या हजारों में है.
इस पेज ने दूसरे एक्टर्स के कथित फैन फेज के साथ कोलैब भी किया, जिनपर उनके डीपफेक वीडियो मौजूद थे.
बॉलीवुड फॉक्स नेटवर्क से जुड़ा मंदाना का एक और फैन पेज, सिर्फ आठ हफ्तों में 100 फॉलोअर्स से 164,000 फॉलोअर्स तक पहुंच गया.
ये सभी पेज दिल्ली स्थित एक सोशल मीडिया ऐड कंपनी से जुड़े हुए प्रतीत होते हैं, जो इंस्टाग्राम और फेसबुक पेज और हैंडल को प्रोमोट करने में मदद करने का दावा करती है.
फैन पेज "विनबज" नाम के एक ऑनलाइन सट्टेबाजी वेबसाइट को भी प्रोमोट करते हुए दिखाई दिए, जिसपर यूजर्स अलग-अलग खेलों के साथ-साथ भारतीय चुनावों पर भी दांव लगा सकते हैं. वेबसाइट/एप्लिकेशन के इस सोशल मीडिया प्लेटफॉर्म से पता चलता है कि इसका प्रचार शक्ति कपूर, तुषार कपूर और गायक जस्सी गिल जैसे एक्टर्स ने किया था.
Expand2. डीपफेक ट्यूटोरियल के लिए 1000 रुपये
इंस्टाग्राम हैंडल्स को देखते समय, हमने उनके बायो में लिखे एक सामान्य लिंक देखा, जो हमें "डीपफेक ट्यूटोरियल" वाली एक वेबसाइट तक ले गया.
हम यह समझने के लिए कि ये क्रिएटर्स कैसे काम करते हैं, बॉलीवुड फॉक्स के एडमिन के पास पहुंचे. ये वेबसाइट भी चलाते हैं. जब उनसे काम करने के तरीके के बारे में पूछा गया, तो उन्होंने बताया कि एआई-जेनरेटिव डीपफेक बनाने की प्रक्रिया सीखने के लिए शुरुआत में किसी दूसरे व्यक्ति से ट्रेनिंग ली थी. उन्होंने यूजर्स को पैसे के बदले "फेस-स्वैप ट्यूटोरियल" देने के लिए अपनी वेबसाइट बनाई.
शुरू में, ट्यूटोरियल की कीमत 9,999 रुपये थी, जो '90 प्रतिशत छूट' ऑफर के बाद जल्द ही 1,038.96 रुपये पर आ गई.
लोगों को लुभाने के लिए, वेबसाइट ने यूजर्स को एक बोनस "रीलों का बंडल" भी दिया जो उन्हें इंस्टाग्राम, यूट्यूब और एक्स जैसे सोशल मीडिया प्लेटफार्मों पर एंगेजमेंट हासिल करने में मदद करेगा.
वेबसाइट ने उन कई फैन पेज अकाउंट्स को भी लिस्ट किया है जिन्हें बॉलीवुड फॉक्स इंस्टाग्राम पर यूजर्स को उनके "काम" का रेफरल देने के लिए चलाता है.
इसी तरह, इंस्टाग्राम पर एडमिन डीपफेक रील्स को एक खास कैप्शन के साथ शेयर करेगा, जो आम तौर पर यूजर्स को अपने बायो में लिंक पर जाने के लिए कहेगा. इसमें कुछ हैशटैग भी शामिल हैं, अगर वे अपना "फेस-चेंज कोर्स" खरीदना चाहते हैं.
जब उनसे उनकी वेबसाइट से मिलने वाली प्रतिक्रिया के बारे में पूछा गया, तो एडमिन ने हमें बताया, "हां, कुछ लोग ये डीपफेक बनाना सीखने के लिए हमारे पास आते हैं, लेकिन अब मैंने सिखाना बंद कर दिया है. यूट्यूब पर बहुत सारे ट्यूटोरियल उपलब्ध हैं और लोग वहां निःशुल्क सीख सकते हैं."
एडमिन ने स्पष्ट किया कि उनके अकाउंट पर दिखाए गए कुछ वीडियो उन्होंने नहीं बनाए गए, बल्कि इंटरनेट से उठाए गए थे. एडमिन ने कहा, "वहां अभी भी ऐसे लोग हैं जो मुझे अपने वीडियो देते हैं, और सेलिब्रिटी के चेहरे के साथ मॉर्फ करने के लिए कहते हैं."
Expand3. इसके पीछे का मकसद
एआई-संचालित उपकरणों में तेजी से विकास के साथ फेक न्यूज के खिलाफ लड़ाई और भी मुश्किल हो गई है, जिसके कारण सोशल मीडिया पर इन डीपफेक का पता लगाना और भी मुश्किल हो गया है.
जब हमने एडमिन से इस तरह के डीपफेक वीडियो बनाने के पीछे उनके इरादों के बारे में पूछा, तो उन्होंने बताया कि ये किसी की प्राइवेसी का उल्लंघन करने के लिए नहीं है, बल्कि इससे कुछ पैसे कमाने के लिए है. उन्होंने कहा,
"हर दूसरा व्यक्ति जो इंटरनेट से पैसा कमाता है, वो किसी न किसी ऐसी चीज में शामिल है जो अक्सर नैतिक रूप से गलत या सामाजिक रूप से अस्वीकार्य होती है. मेरे पास अभी तक ठोस कमाई का कोई स्रोत नहीं है. मैं मुश्किल से 15,000-16,000 रुपये हर महीने कमा पाता हूं. इसीलिए मैंने वो वेबसाइट बनाई".
अपनी साइट के बारे में बात करते हुए, एडमिन ने कहा, "ये सिर्फ पैसे की बर्बादी थी. मैं इसे ऐसे ही रखना चाहूंगा. उस वेबसाइट को बनाने का मेरा इरादा ये था कि मैं इससे कुछ पैसे कमा सकूं. हालांकि, चूंकि ये चीजें फ्री में उपलब्ध है तो ऐसा कुछ नहीं हुआ. मैंने इससे एक पैसा भी नहीं कमाया."
एआई एल्गोरिदम विकसित करने वाली मिलान स्थित फर्म डीपट्रेस टेक्नोलॉजीज के 2019 के एक अध्ययन के अनुसार, "96 प्रतिशत डीपफेक वीडियो अश्लील होते हैं, और उनमें से लगभग सभी में महिलाएं शामिल हैं."
एडमिन ने कहा, "मैं इस तरह के वीडियो बनाता था, लेकिन उनमें से कुछ इतने अश्लील निकले कि मुझे हंसी आ गई, लेकिन अब मैं ऐसे वीडियो डिलीट करने जा रहा हूं जो मैंने पहले अपने पेज पर पोस्ट किए थे. ये तो बस मेरा शुरुआती चरण थी."
मंदाना के वायरल डीपफेक वीडियो से जुड़े विवाद के बारे में बात करते हुए एडमिन ने कहा कि उन्होंने अपने अकाउंट से सभी अश्लील चीजें हटाने का फैसला किया है.
(क्विंट हिन्दी, हर मुद्दे पर बनता आपकी आवाज, करता है सवाल. आज ही मेंबर बनें और हमारी पत्रकारिता को आकार देने में सक्रिय भूमिका निभाएं.)
Expand
कौन हैं क्रिएटर्स?
इंस्टाग्राम पर @rashmikaa_mandaanaa नाम के एक फैन पेज ने 18 अक्टूबर को वायरल वीडियो शेयर किया था. ध्यान से देखने पर हमें पता चला कि ये इस पेज पर पोस्ट होने वाला पहला डिजिटली मॉर्फ्ड वीडियो है.
यह अकाउंट नवंबर 2021 में बना था. इसपर शुरू में अपने फॉलोअर्स के साथ मंदाना के वीडियो शेयर करने के लिए कुछ एंटरटेनमेंट पत्रकारों के अकाउंट से वीडियो लिए गए थे. तीन हफ्ते पहले तक, पहला डीपफेक वीडियो आने के साथ ये पैटर्न टूट गया.
कुछ दिनों में ही मंदाना के वीडियो ने इंस्टाग्राम पर 8.2 मिलियन से ज्यादा व्यूज, 41000 से ज्यादा लाइक और 721 कॉमेंट हासिल कर लिए.
मॉर्फ्ड वीडियो पर जबरदस्त रिस्पॉन्स मिलने के बाद अकाउंट ने मंदाना के और डीपफेक वीडियो शेयर करने शुरू कर दिए. इनमें से एक वीडियो जो इस फैन पेज ने डाला था वो @bollywood_foxes नाम के किसी और फैन पेज ने बनाया था.
मंदाना के फैन पेज से अलग इस पेज पर कई और सेलिब्रिटी के डीपफेक वीडियो भी शेयर किए गए थे, इनमें आलिया भट्ट, ऐशवर्या राय जैसे नाम हैं.
बॉलीवुड फॉक्सेस इंस्टाग्राम पर 8 और सेलिब्रिटी पेज चलाता है, इनमें से कई पर फॉलोअर्स की संख्या हजारों में है.
इस पेज ने दूसरे एक्टर्स के कथित फैन फेज के साथ कोलैब भी किया, जिनपर उनके डीपफेक वीडियो मौजूद थे.
बॉलीवुड फॉक्स नेटवर्क से जुड़ा मंदाना का एक और फैन पेज, सिर्फ आठ हफ्तों में 100 फॉलोअर्स से 164,000 फॉलोअर्स तक पहुंच गया.
ये सभी पेज दिल्ली स्थित एक सोशल मीडिया ऐड कंपनी से जुड़े हुए प्रतीत होते हैं, जो इंस्टाग्राम और फेसबुक पेज और हैंडल को प्रोमोट करने में मदद करने का दावा करती है.
फैन पेज "विनबज" नाम के एक ऑनलाइन सट्टेबाजी वेबसाइट को भी प्रोमोट करते हुए दिखाई दिए, जिसपर यूजर्स अलग-अलग खेलों के साथ-साथ भारतीय चुनावों पर भी दांव लगा सकते हैं. वेबसाइट/एप्लिकेशन के इस सोशल मीडिया प्लेटफॉर्म से पता चलता है कि इसका प्रचार शक्ति कपूर, तुषार कपूर और गायक जस्सी गिल जैसे एक्टर्स ने किया था.
डीपफेक ट्यूटोरियल के लिए 1000 रुपये
इंस्टाग्राम हैंडल्स को देखते समय, हमने उनके बायो में लिखे एक सामान्य लिंक देखा, जो हमें "डीपफेक ट्यूटोरियल" वाली एक वेबसाइट तक ले गया.
हम यह समझने के लिए कि ये क्रिएटर्स कैसे काम करते हैं, बॉलीवुड फॉक्स के एडमिन के पास पहुंचे. ये वेबसाइट भी चलाते हैं. जब उनसे काम करने के तरीके के बारे में पूछा गया, तो उन्होंने बताया कि एआई-जेनरेटिव डीपफेक बनाने की प्रक्रिया सीखने के लिए शुरुआत में किसी दूसरे व्यक्ति से ट्रेनिंग ली थी. उन्होंने यूजर्स को पैसे के बदले "फेस-स्वैप ट्यूटोरियल" देने के लिए अपनी वेबसाइट बनाई.
शुरू में, ट्यूटोरियल की कीमत 9,999 रुपये थी, जो '90 प्रतिशत छूट' ऑफर के बाद जल्द ही 1,038.96 रुपये पर आ गई.
लोगों को लुभाने के लिए, वेबसाइट ने यूजर्स को एक बोनस "रीलों का बंडल" भी दिया जो उन्हें इंस्टाग्राम, यूट्यूब और एक्स जैसे सोशल मीडिया प्लेटफार्मों पर एंगेजमेंट हासिल करने में मदद करेगा.
वेबसाइट ने उन कई फैन पेज अकाउंट्स को भी लिस्ट किया है जिन्हें बॉलीवुड फॉक्स इंस्टाग्राम पर यूजर्स को उनके "काम" का रेफरल देने के लिए चलाता है.
इसी तरह, इंस्टाग्राम पर एडमिन डीपफेक रील्स को एक खास कैप्शन के साथ शेयर करेगा, जो आम तौर पर यूजर्स को अपने बायो में लिंक पर जाने के लिए कहेगा. इसमें कुछ हैशटैग भी शामिल हैं, अगर वे अपना "फेस-चेंज कोर्स" खरीदना चाहते हैं.
जब उनसे उनकी वेबसाइट से मिलने वाली प्रतिक्रिया के बारे में पूछा गया, तो एडमिन ने हमें बताया, "हां, कुछ लोग ये डीपफेक बनाना सीखने के लिए हमारे पास आते हैं, लेकिन अब मैंने सिखाना बंद कर दिया है. यूट्यूब पर बहुत सारे ट्यूटोरियल उपलब्ध हैं और लोग वहां निःशुल्क सीख सकते हैं."
एडमिन ने स्पष्ट किया कि उनके अकाउंट पर दिखाए गए कुछ वीडियो उन्होंने नहीं बनाए गए, बल्कि इंटरनेट से उठाए गए थे. एडमिन ने कहा, "वहां अभी भी ऐसे लोग हैं जो मुझे अपने वीडियो देते हैं, और सेलिब्रिटी के चेहरे के साथ मॉर्फ करने के लिए कहते हैं."
इसके पीछे का मकसद
एआई-संचालित उपकरणों में तेजी से विकास के साथ फेक न्यूज के खिलाफ लड़ाई और भी मुश्किल हो गई है, जिसके कारण सोशल मीडिया पर इन डीपफेक का पता लगाना और भी मुश्किल हो गया है.
जब हमने एडमिन से इस तरह के डीपफेक वीडियो बनाने के पीछे उनके इरादों के बारे में पूछा, तो उन्होंने बताया कि ये किसी की प्राइवेसी का उल्लंघन करने के लिए नहीं है, बल्कि इससे कुछ पैसे कमाने के लिए है. उन्होंने कहा,
"हर दूसरा व्यक्ति जो इंटरनेट से पैसा कमाता है, वो किसी न किसी ऐसी चीज में शामिल है जो अक्सर नैतिक रूप से गलत या सामाजिक रूप से अस्वीकार्य होती है. मेरे पास अभी तक ठोस कमाई का कोई स्रोत नहीं है. मैं मुश्किल से 15,000-16,000 रुपये हर महीने कमा पाता हूं. इसीलिए मैंने वो वेबसाइट बनाई".
अपनी साइट के बारे में बात करते हुए, एडमिन ने कहा, "ये सिर्फ पैसे की बर्बादी थी. मैं इसे ऐसे ही रखना चाहूंगा. उस वेबसाइट को बनाने का मेरा इरादा ये था कि मैं इससे कुछ पैसे कमा सकूं. हालांकि, चूंकि ये चीजें फ्री में उपलब्ध है तो ऐसा कुछ नहीं हुआ. मैंने इससे एक पैसा भी नहीं कमाया."
एआई एल्गोरिदम विकसित करने वाली मिलान स्थित फर्म डीपट्रेस टेक्नोलॉजीज के 2019 के एक अध्ययन के अनुसार, "96 प्रतिशत डीपफेक वीडियो अश्लील होते हैं, और उनमें से लगभग सभी में महिलाएं शामिल हैं."
एडमिन ने कहा, "मैं इस तरह के वीडियो बनाता था, लेकिन उनमें से कुछ इतने अश्लील निकले कि मुझे हंसी आ गई, लेकिन अब मैं ऐसे वीडियो डिलीट करने जा रहा हूं जो मैंने पहले अपने पेज पर पोस्ट किए थे. ये तो बस मेरा शुरुआती चरण थी."
मंदाना के वायरल डीपफेक वीडियो से जुड़े विवाद के बारे में बात करते हुए एडमिन ने कहा कि उन्होंने अपने अकाउंट से सभी अश्लील चीजें हटाने का फैसला किया है.
(क्विंट हिन्दी, हर मुद्दे पर बनता आपकी आवाज, करता है सवाल. आज ही मेंबर बनें और हमारी पत्रकारिता को आकार देने में सक्रिय भूमिका निभाएं.)