किसी कॉर्पस को बिगाड़िए, और देखिए मॉडल उसका क्या करता है

इस डेमो का कॉर्पस इसी के लिए लिखा गया है, और शुरुआत में उसकी बनावट संतुलित है। हर स्लाइडर किसी एक पेशे के लिए यह तय करता है कि कितने वाक्यों में कर्ता स्त्रीलिंग में है। पचास पर कॉर्पस दोनों को बराबर कहता है। कोई स्लाइडर खिसकाइए, और आप तय कर देते हैं कि मॉडल ने क्या पढ़ा होगा। कॉर्पस के वाक्य फ़्रेंच में हैं, क्योंकि यह डेमो फ़्रेंच के व्याकरणिक लिंग पर चलता है।

डेमो क्या दिखाता है

नतीजे में कोई हैरानी नहीं है, और ठीक यही समझने वाली बात है। मॉडल जो स्त्रीलिंग का हिस्सा लौटाता है, वही हिस्सा है जो आपने स्लाइडर पर रखा। कोई पास-पास का मान नहीं, कोई रुझान नहीं: वही मान। कोई n-ग्राम मॉडल गिनने के सिवा कुछ नहीं करता, इसलिए उसका नतीजा एक गिनती है।

इससे दो सबक निकलते हैं, और वे एक-दूसरे में मिलते नहीं।

पूर्वाग्रह एक नतीजा है, कोई इरादा नहीं

किसी ने मॉडल में यह नहीं लिखा कि कोई पेशा किसी एक लिंग का है। नियम गिनतियों में उभर आया, क्योंकि वह डेटा में था। इसीलिए किसी मॉडल में इरादा ढूँढ़ना वक़्त की बरबादी है: काम का सवाल हमेशा यह है कि “यह कॉर्पस किस चीज़ से बना है”, और यह सवाल उन लोगों पर आता है जिन्होंने डेटा जुटाया, छाँटा और प्रकाशित किया।

जो गैर-हाज़िर है, वह नामुमकिन है, असंभव-सा नहीं

कॉर्पस से कोई शहर हटा दीजिए, और मॉडल उसे फिर कभी नहीं सुझाता। वह उसे कम बार नहीं सुझाता: वह उसे सुझा ही नहीं सकता, क्योंकि उसकी कोई गिनती नहीं है। तापमान की कोई सेटिंग, कोई कटाई, संदर्भ की कोई लंबाई उसे लौटा नहीं सकती। और यह भी देखिए कि इस कॉर्पस में कभी क्या नहीं रहा: पेरिस, लंदन, न्यूयॉर्क, टोक्यो उसका हिस्सा नहीं हैं। इस पर सीखा मॉडल ऐसी दुनिया का आभास देता जहाँ ये शहर मौजूद ही नहीं, और उस गैर-हाज़िरी की सूचना कभी नहीं देता।

यही समस्या का वह आधा हिस्सा है जो भुला दिया जाता है। पूर्वाग्रह तब नज़र आता है जब कोई जवाब गलत हो। गैर-हाज़िरी कभी नज़र नहीं आती, क्योंकि देखने के लिए कुछ ही नहीं होता।

तरीका

यह पूरा हिसाब है। इसे इस पन्ने के बिना, एक पेंसिल से दोहराया जा सकता है।

1. कॉर्पस बनाइए। हर पेशे के लिए चालीस छोटे वाक्य लिखिए। अगर स्लाइडर नब्बे पर है, तो इन वाक्यों के नब्बे प्रतिशत “Elle est ingénieure.” होते हैं (“वह इंजीनियर है”, स्त्रीलिंग में) और बाकी “Il est ingénieur.” (पुल्लिंग में)। यह बाँट पूरी गिनती से फैलाई जाती है, किसी दाँव से कभी नहीं: इसलिए एक ही सेटिंग पर कॉर्पस सबके लिए एक ही रहता है।
2. बाँटिए। टेक्स्ट इकाइयों की एक कतार बन जाता है: “Elle”, “est”, “ingénieure”, “.”। यहाँ जो बँटवारा इस्तेमाल हुआ है, वह शब्दों में बँटवारा है, जो असली मॉडलों के उप-शब्दों में बँटवारे से ज़्यादा पढ़ने लायक है, और जिसका अपना अध्याय है।
3. गिनिए। दो इकाइयों के हर संदर्भ के लिए, वे सारी इकाइयाँ दर्ज कीजिए जो उसके बाद आईं और कितनी बार। संदर्भ “Elle est” अस्सी वाक्यों के बाद आया? तब उसकी तालिका में स्त्रीलिंग वाले पेशे होंगे, हर एक अपनी गिनती के साथ।
4. भाग दीजिए। किसी संदर्भ के बाद किसी इकाई की संभावना उसकी गिनती है, जिसे तालिका के कुल से भाग दिया जाता है। मॉडल इससे ज़्यादा कुछ नहीं जानता।
5. दाँव लगाइए। टेक्स्ट बनाने के लिए इस तालिका में इन संभावनाओं के हिसाब से दाँव लगाइए, ऐसे जनरेटर से जिसका बीज दिखते हुए सीड से पड़ा है।

चौथे कदम पर सेटिंग और नतीजे की बराबरी रहस्य नहीं रह जाती: कोई सापेक्ष बार-बारी वही अनुपात है जो आपने रखा था। गिनने वाला मॉडल यही करता है, और यही वह आधार है जिस पर बड़े मॉडल अपनी मशीनरियाँ जोड़ते हैं।

कोई असली मॉडल क्या जोड़ता है, और क्या नहीं हटाता

यह डेमो एक शर्त पर ईमानदार है: यह बता देना कि तुलना कहाँ रुक जाती है।

शोध ने क्या नापा है

तीन प्रकाशित नतीजे उस बात की जगह तय करते हैं जो यह डेमो महसूस कराता है।

आम टेक्स्ट के बड़े कॉर्पस पर, खासकर अखबारी लेखों पर सीखी गई शब्दों की एम्बेडिंग नापे जा सकने वाले लैंगिक रूढ़िवाद दोहरा देती हैं, और कुछ पेशों को किसी एक लिंग से ज़्यादा जोड़ देती हैं। किसी आम वेब कॉर्पस पर सीखा एक मानक सांख्यिकीय मॉडल अपने आप वे इंसानी पूर्वाग्रह दोहरा देता है जो मनोवैज्ञानिक परीक्षणों से पहले से जाने और नापे जा चुके हैं, लिंग और मूल पर भी। और असर टेक्स्ट में रुकता नहीं: तस्वीर से लिंग वर्गीकरण करने वाले व्यापारिक सिस्टमों में गहरे रंग की त्वचा वाली महिलाओं के लिए गलती की दर 34.7% तक पहुँची, जबकि हलके रंग की त्वचा वाले पुरुषों के लिए वह 0.8% थी, और यह फ़र्क़ त्वचा के रंग और लिंग, दोनों को मिलाकर नापा गया।

यह आखिरी आंकड़ा असली कीमत बताता है। इस पैमाने का प्रदर्शन-अंतर कोई तकनीकी खामी नहीं है: यह एक ऐसी सेवा है जो कुछ लोगों के लिए चलती है और दूसरों के लिए नहीं।

याद रखने लायक आदत

जब कोई जवाब अपनी नियमितता से आपको चौंका दे, तो मॉडल से यह न पूछिए कि वह ऐसा क्यों सोचता है: उसे कुछ पता नहीं, और उसकी सफ़ाई भी बाकी सब की तरह हिसाब से बनती है। पूछिए कि उसे किस पर सिखाया गया, और उस कॉर्पस को किसने दर्ज किया। जब इस सवाल का जवाब ही मौजूद न हो, तो वही जवाब है।

आगे पढ़ने के लिए

टेक्स्ट को इकाइयों में बाँटना अध्याय शब्द, टुकड़ों में में लिया गया है। वितरण और उसका दाँव अध्याय अगला शब्द में लिए गए हैं। किसी सेवा को सौंपी गई सामग्री का क्या होता है, यह अध्याय हम उसे क्या देते हैं में लिया गया है। जिन हालात में यह औज़ार बंद हो जाता है, वे कब इस्तेमाल न करें में एक जगह हैं। साइट के सारे डेमो डेमो वाले पन्ने पर एक जगह हैं, और कोर्स की सूची समझें वाले पन्ने पर है।

स्रोत

• Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, Adam Tauman Kalai, 2016। स्थापित करता है कि आम टेक्स्ट के बड़े कॉर्पस पर प्रशिक्षित शब्दों की एम्बेडिंग नापे जा सकने वाले लैंगिक रूढ़िवाद दोहरा देती हैं, मिसाल के लिए कुछ पेशों को एक लिंग से दूसरे की तुलना में ज़्यादा जोड़कर।
• Semantics derived automatically from language corpora contain human-like biases Aylin Caliskan, Joanna J. Bryson, Arvind Narayanan, 2017। स्थापित करता है कि किसी आम वेब कॉर्पस पर प्रशिक्षित एक मानक सांख्यिकीय मॉडल अपने आप वे इंसानी पूर्वाग्रह दोहरा देता है जो IAT जैसे मनोवैज्ञानिक परीक्षणों से पहले से जाने और नापे जा चुके हैं, लिंग और नस्ल पर भी।
• Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification Joy Buolamwini, Timnit Gebru, 2018। स्थापित करता है कि तस्वीर से लिंग वर्गीकरण करने वाले व्यापारिक सिस्टमों में गहरे रंग की त्वचा वाली महिलाओं के लिए गलती की दर 34.7% तक पहुँची, जबकि हलके रंग की त्वचा वाले पुरुषों के लिए वह 0.8% थी।
• Datasheets for Datasets Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, 2018। स्थापित करता है कि किसी डेटासेट का स्रोत, उसकी बनावट और उसे जुटाने का तरीका दर्ज करने का एक मानकीकृत प्रस्ताव मौजूद है, ताकि सामने आए किसी पूर्वाग्रह की जड़ तक पहुँचा जा सके, बजाय मॉडल तैनात होने के बाद ही उसका पता चलने के।
• ODERSA का बनावटी कॉर्पस, इस डेमो के लिए लिखा गया ODERSA, 2026, CC BY 4.0 लाइसेंस के तहत प्रकाशित। उसकी डिफ़ॉल्ट बनावट संतुलित है, उसके वाक्य इस पन्ने पर पूरे पढ़े जा सकते हैं, और वह किसी असली आबादी का ब्यौरा नहीं देता।