स्कूल में AI डिटेक्टर

AI से बने टेक्स्ट का कोई डिटेक्टर एक आसान सवाल का आसान जवाब देने का वादा करता है: यह टेक्स्ट किसी व्यक्ति ने लिखा है या किसी मशीन ने? इन औज़ारों पर प्रकाशित शोध कुछ और कहता है: वे गलती करते हैं, और उनकी गलतियाँ सब पर संयोग से नहीं गिरतीं। फिर भी स्कूल और संस्थान ये औज़ार अपनी जाँच-प्रक्रियाओं में पहले से जोड़ रहे हैं, अक्सर यह जाने बिना कि किसी स्कोर का असल में मतलब क्या है।

कोई डिटेक्टर असल में क्या नापता है

कोई डिटेक्टर मशीन के छोड़े किसी हस्ताक्षर को नहीं पहचानता, जैसे कोई उँगली का निशान होता है। वह किसी टेक्स्ट की सांख्यिकीय नियमितता, यानी उसके एक के बाद एक आने वाले शब्दों के पूर्वानुमेय होने को, उस चीज़ से तुलना करता है जो आम तौर पर किसी भाषा मॉडल के बनाए टेक्स्ट की पहचान होती है। नतीजा एक संभावना का स्कोर है, कोई सबूत नहीं: वही औज़ार, थोड़ा फिर से लिखे गए उसी टेक्स्ट पर, अपना फ़ैसला बदल सकता है।

दो गलतियाँ, और उनकी कीमत एक जगह नहीं चुकती

कोई डिटेक्टर दो तरह से गलती कर सकता है: किसी इंसानी टेक्स्ट पर गलत आरोप लगाना कि वह मशीन का बना है, या मशीन के बने टेक्स्ट को इंसानी मानकर जाने देना। 2023 का एक अध्ययन, जिसे Weixin Liang और उनके सह-लेखकों ने किया, पहली गलती को एक तय बिंदु पर नापता है: मूल अंग्रेज़ी न बोलने वालों के लिखे निबंध व्यवस्थित रूप से AI-निर्मित बता दिए जाते हैं, जबकि मूल भाषा बोलने वालों के निबंध, किसी मिलते-जुलते विषय पर, ठीक-ठीक इंसानी पहचान लिए जाते हैं। वजह शब्दावली में है: कम विविध, ज़्यादा पूर्वानुमेय वाक्य-रचनाएँ, जो सांख्यिकीय रूप से उस चीज़ जैसी लगती हैं जो कोई मॉडल बनाता है, बिना कि किसी मॉडल ने उन्हें कभी छुआ हो।

इस विषय पर सबसे बड़ा स्वतंत्र मूल्यांकन, जो 2023 में Debora Weber-Wulff और 7 सह-लेखकों ने किया, 14 औज़ार परखता है: 12 जनता के लिए उपलब्ध और 2 व्यापारिक, जो स्कूलों और संस्थानों में पहले से इस्तेमाल हो रहे थे। नतीजा: इन 14 में से कोई भी एक साथ भरोसेमंद और सटीक नहीं है। यहाँ मुख्य झुकाव पिछले अध्ययन से उलटा हो जाता है: ये औज़ार किसी टेक्स्ट को इंसानी बताने की तरफ़ झुकते हैं, बजाय मशीन के बने टेक्स्ट को ठीक-ठीक पकड़ने के, और टेक्स्ट में ज़रा-सा बदलाव अक्सर उन्हें धोखा देने के लिए काफ़ी होता है।

एक बनाने वाला अपना ही औज़ार हटा लेता है

OpenAI जनवरी 2023 में एक क्लासिफ़ायर लॉन्च करता है, जिसका काम इंसानी टेक्स्ट को उसके अपने मॉडलों के बनाए टेक्स्ट से अलग करना है। छह महीने बाद कंपनी उसे हटा लेती है। 20 जुलाई 2023 को वह औज़ार के परिचय-पन्ने को ताज़ा करके उसके हटाए जाने की घोषणा करती है, और वजह उसकी कम सटीकता की दर बताती है; इस बात को 25 जुलाई को TechCrunch साइट ने आगे बढ़ाया, जिसने लॉन्च के वक़्त खुद यह औज़ार परखा था।

जो बनाने वाला अपने ही मॉडल को सबसे अच्छी तरह जानता है, वह भी उससे एक भरोसेमंद डिटेक्टर नहीं बना सका।

अगर अपने ही मॉडल को जानने के लिए सबसे अच्छी जगह पर बैठी कंपनी भी यह नहीं कर पाई, तो मुश्किल किसी एक बार की कोशिश की कमी से नहीं आती: वह खुद इस काम की प्रकृति से आती है।

गलती की कीमत कौन चुकाता है

गलती की दोनों दिशाएँ एक ही लोगों पर नहीं पड़तीं। ज़्यादा शक करने वाला डिटेक्टर पहले उस विद्यार्थी को सज़ा देता है जो अपनी भाषा में नहीं लिखता, या जो बस सादा और नियमित ढंग से लिखता है। ज़्यादा भरोसा करने वाला डिटेक्टर मशीन के बने टेक्स्ट को किसी को बताए बिना जाने देता है। दोनों हालात में दिखाया गया स्कोर किसी वस्तुनिष्ठ नाप जैसा लगता है, जबकि यहाँ दिए गए किसी भी सार्वजनिक अध्ययन ने उसे किसी संस्थान के पैमाने पर भरोसेमंद नहीं माना है। जब कोई फ़ैसला इस स्कोर पर टिकता है, तो सबूत का बोझ अक्सर उस आरोपित विद्यार्थी की तरफ़ खिसक जाता है, जिसे तब अपने ही काम की सफ़ाई देनी पड़ती है, जबकि कोई मान्य औज़ार अपनी तरफ़ से उसे पूरे यक़ीन के साथ न सही ठहरा सकता है और न गलत।

पकड़ने का कोई स्कोर क्या करने देता है, और क्या नहीं:

The AI Manual के पढ़ाने वालों के लिए बने रास्ते इस पर लौटते हैं कि किसी शक पर कैसे बरता जाए, बिना किसी सांख्यिकीय स्कोर को फ़ैसला बना दिए।

स्रोत

• GPT detectors are biased against non-native English writers Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, 2023।
• OpenAI scuttles AI-written text detector over ‘low rate of accuracy’ Devin Coldewey, TechCrunch, 2023।
• Testing of detection tools for AI-generated text Debora Weber-Wulff et al., 2023।

ब्लॉग पर वापस