পক্ষপাত কোথা থেকে আসে
একটি মডেলের কোনো মত নেই। সে যা দেখেছে তা গোনে, তার পর নিজের গোনা থেকেই তুলে আনে। এই প্রদর্শনে আপনি নিজেই একটি কর্পাসের গড়ন বিকৃত করবেন, আর দেখবেন মডেল ঠিক সেই বিকৃতিটিই ফিরিয়ে দিচ্ছে, যা আপনি এইমাত্র বসিয়েছেন।
সবই আপনার ব্রাউজারে হিসাব হয়। কর্পাস এই ডিভাইসেই তৈরি হয়, মডেল সেখানেই শেখে, আর আপনি যা সেট করেন তার কিছুই আপনার যন্ত্র ছেড়ে যায় না। আপনার ব্রাউজারের নেটওয়ার্ক ট্যাব খুলুন আর প্রদর্শনটি নাড়াচাড়া করুন: কোনো অনুরোধই বাইরে যায় না।
একটি কর্পাস বিকৃত করা, আর মডেল তা নিয়ে কী করে তা দেখা
এই প্রদর্শনের কর্পাস তার নিজের জন্যই লেখা, আর শুরুতে তার গড়ন ভারসাম্যে আছে। প্রতিটি স্লাইডার একটি পেশার জন্য ঠিক করে দেয়, কত অংশ বাক্যে কর্তাটি স্ত্রীবাচক। পঞ্চাশে কর্পাস একটির কথা যতবার বলে, অন্যটিরও ততবারই বলে। একটি স্লাইডার সরান, আর মডেল কী পড়বে, তা আপনিই ঠিক করে দিলেন।
এই কর্পাসের বাক্যগুলি ফরাসিতে, কারণ প্রদর্শনটি ফরাসি ব্যাকরণের একটি ধর্মের উপরে দাঁড়ানো: পেশার নামের একটি পুরুষবাচক আর একটি স্ত্রীবাচক রূপ আছে, যা মডেল আলাদা দুটি শব্দ হিসেবেই গোনে। প্রতিটি স্লাইডারের পাশে পেশাটির বাংলা অর্থ দেওয়া আছে।
গড়নটি সেট করুন, তার পর শেখানো চালু করুন। মডেলের বিন্যাস, তৈরি হওয়া কর্পাস আর একটি তৈরি লেখা এখানে দেখা যাবে।
প্রদর্শনটি যা দেখায়
ফলটিতে বিস্ময়ের কিছুই নেই, আর ঠিক সেটাই বোঝার কথা। মডেল যে স্ত্রীবাচকের অংশ ফিরিয়ে দেয়, তা ঠিক সেই অংশ যা আপনি স্লাইডারে বসিয়েছেন। কাছাকাছি কোনো মান নয়, কোনো ঝোঁক নয়: সেই একই মান। একটি n-গ্রাম মডেল কেবল গোনেই, তাই তার ফলও একটি গণনা।
এর থেকে দুটি শিক্ষা বেরিয়ে আসে, আর সেগুলি এক নয়।
পক্ষপাত একটি পরিণাম, কোনো উদ্দেশ্য নয়
কেউ মডেলের ভেতরে লিখে দেয়নি যে একটি পেশা একটি লিঙ্গের। নিয়মটি গণনার ভেতরেই ফুটে উঠেছে, কারণ তা তথ্যের ভেতরেই ছিল। সেই জন্যই একটি মডেলের ভেতরে উদ্দেশ্য খোঁজা সময়ের অপচয়: কাজের প্রশ্নটি সব সময়ই “এই কর্পাস কী দিয়ে তৈরি”, আর এই প্রশ্নটি সেই মানুষদের নিয়ে, যাঁরা তথ্য সংগ্রহ করেছেন, বেছেছেন আর প্রকাশ করেছেন।
যা অনুপস্থিত, তা অসম্ভব, অসম্ভাব্য নয়
কর্পাস থেকে একটি শহর সরিয়ে দিন, আর মডেল আর কখনও তার নাম বলবে না। সে কম বার বলে না: সে বলতেই পারে না, কারণ তার কোনো গণনাই নেই। তাপমাত্রার কোনো সেটিং, কোনো কাটা, প্রসঙ্গের কোনো দৈর্ঘ্য তাকে ফিরিয়ে আনবে না। আর খেয়াল করুন, এই কর্পাসে কখনও যা ছিলই না: প্যারিস, লন্ডন, নিউ ইয়র্ক, টোকিও তার অংশ নয়। এর উপরে শেখা একটি মডেল এমন একটি দুনিয়ার ছাপ দিত, যেখানে এই শহরগুলি নেই, আর অনুপস্থিতিটি কখনও জানাত না।
সমস্যাটির এই অর্ধেকই আমরা ভুলে যাই। একটি পক্ষপাত চোখে পড়ে যখন একটি উত্তর ভুল হয়। একটি অনুপস্থিতি কখনও চোখে পড়ে না, কারণ দেখার মতো কিছুই থাকে না।
পদ্ধতি
গোটা হিসাবটি এখানে। এই পাতা ছাড়াই, একটি পেনসিল দিয়ে তা আবার করা যায়।
- কর্পাসটি তৈরি করা। প্রতিটি পেশার জন্য চল্লিশটি ছোট বাক্য লেখা। স্লাইডার যদি নব্বইয়ে থাকে, তবে এই বাক্যগুলির নব্বই শতাংশ হবে “Elle est ingénieure.” আর বাকিটা “Il est ingénieur.”। ভাগটি ছড়ানো হয় পূর্ণসংখ্যার একটি গণনায়, কখনও একটি তোলায় নয়: তাই সেটিং সমান হলে কর্পাসও সবার জন্য একই।
- ভাগ করা। লেখাটি হয়ে যায় এককের একটি সারি: “Elle”, “est”, “ingénieure”, “.”। এখানে ব্যবহৃত ভাগটি শব্দে ভাগ, যা সত্যিকারের মডেলের উপ-শব্দে ভাগের চেয়ে বেশি পড়ার মতো, আর যার নিজের একটি অধ্যায় আছে।
- গোনা। দুটি এককের প্রতিটি প্রসঙ্গের জন্য দেখে নিন, তার পরে কোন কোন একক এসেছে আর কতবার। “Elle est” প্রসঙ্গটির পরে আশিটি বাক্য এসেছে? তা হলে তার তালিকায় আছে স্ত্রীবাচক পেশাগুলি, প্রত্যেকটি তার নিজের গণনার সঙ্গে।
- ভাগ করা। একটি প্রসঙ্গের পরে একটি এককের সম্ভাবনা হলো তার গণনা ভাগ তালিকার মোট দিয়ে। মডেল যা জানে, তা এটুকুই।
- তোলা। লেখা তৈরি করতে, দেখানো বীজ দিয়ে বপন করা একটি জেনারেটর নিয়ে এই তালিকা থেকে, এই সম্ভাবনা অনুযায়ী তোলা।
চার নম্বর ধাপে সেটিং আর ফলের সমতাটি আর রহস্য থাকে না: একটি আপেক্ষিক হার হলো সেই অনুপাতটিই, যা আপনি বসিয়েছেন। যে মডেল গোনে, সে এটিই করে, আর এটিই সেই ভিত, যার উপরে বড় মডেলগুলি নিজেদের কলকৌশল যোগ করে।
একটি সত্যিকারের মডেল যা যোগ করে, আর যা সে সরিয়ে নেয় না
এই প্রদর্শন একটি শর্তেই সৎ: বলে দেওয়া, উপমাটি কোথায় থেমে যায়।
- মূল কলকৌশলটি একই। একটি মডেল একটি কর্পাসে পরিসংখ্যানের নিয়ম শেখে, আর সেগুলিই ফিরিয়ে দেয়।
- হাতে-কলমে উপসংহারটি একই। তথ্য না ছুঁয়ে মডেলের ভেতরে একটি পক্ষপাত শোধরালে কারণটির চিকিৎসা হয় না।
- অনুপস্থিতির প্রভাবটিও একই, আর একটি সত্যিকারের মডেলে তা আরও গুরুতর, যেখানে কী নেই তা যাচাই করতে কর্পাসটি কেউই পড়তে পারে না।
- একটি সত্যিকারের মডেল অনুপাত নকল করে না: সে সাধারণীকরণ করে, আর একটি শব্দের উপরে শেখা একটি নিয়ম এমন অন্য শব্দেও চলে যায়, যেগুলি এই প্রসঙ্গে কখনও দেখাই যায়নি। তাই একটি বিকৃতি তথ্যে থাকা ক্ষেত্রগুলির বাইরেও ছড়িয়ে পড়তে পারে।
- এই কর্পাস কৃত্রিম আর জেনেবুঝেই খুদে। তার অনুপাত কোনো দেশ, কোনো পেশা, কোনো জনসংখ্যার বর্ণনা দেয় না। সেগুলি আপনি এইমাত্র একটি স্লাইডারে যে কাজটি করলেন, তারই বর্ণনা দেয়।
- একটি সত্যিকারের কর্পাস প্রায় কখনোই পড়ার মতো নয়। ঠিক সেই জন্যই ডেটাসেটের একটি মানসম্মত নথিভুক্তির প্রস্তাব করা হয়েছে, আর নথিভুক্ত নয় এমন একটি গড়ন একটি অনুপস্থিত তথ্য, কোনো খুঁটিনাটি নয়।
গবেষণা যা মেপেছে
প্রকাশিত তিনটি ফল, প্রদর্শনটি যা অনুভব করায়, তার জায়গা ঠিক করে দেয়।
সাধারণ লেখার বড় কর্পাসের উপরে, বিশেষ করে সংবাদপত্রের লেখার উপরে, শেখা শব্দের এমবেডিং মাপা যায় এমন লিঙ্গ-প্রথা ফিরিয়ে দেয়, কিছু পেশাকে একটি লিঙ্গের সঙ্গে আরও জোরে জুড়ে দিয়ে। একটি সাধারণ ওয়েব কর্পাসের উপরে শেখা একটি চলতি পরিসংখ্যানগত মডেল স্বয়ংক্রিয়ভাবেই এমন মানবিক পক্ষপাত ফিরিয়ে দেয়, যা মনস্তাত্ত্বিক পরীক্ষায় আগেই জানা আর মাপা, লিঙ্গ আর জাতিসত্তার ক্ষেত্রেও। আর প্রভাবটি লেখার ভেতরেই থেকে যায় না: ছবি দিয়ে লিঙ্গ শ্রেণিবদ্ধ করার কিছু বাণিজ্যিক ব্যবস্থা গাঢ় ত্বকের মহিলাদের ক্ষেত্রে 34.7% পর্যন্ত ভুলের হার দেখিয়েছে, আর হালকা ত্বকের পুরুষদের ক্ষেত্রে 0.8%, একটি ফারাক যা ত্বকের রং আর লিঙ্গ একসঙ্গে ধরে মাপা।
এই শেষ সংখ্যাটিই আসল দামটি বলে। এই মাত্রার একটি কার্যকারিতার ফারাক কোনো কৌশলগত অপূর্ণতা নয়: এটি এমন একটি পরিষেবা, যা কারও জন্য চলে আর কারও জন্য চলে না।
যে অভ্যাসটি রেখে দিতে হবে
যে উত্তর তার নিয়মিত চেহারায় আপনাকে অবাক করে, তার সামনে মডেলকে জিজ্ঞেস করবেন না সে কেন এমন ভাবছে: সে কিছুই জানে না, আর তার ব্যাখ্যাটিও বাকি সবের মতোই হিসাব হয়। জিজ্ঞেস করুন, সে কিসের উপরে শেখা, আর কে এই কর্পাসটি নথিভুক্ত করেছে। এই প্রশ্নের উত্তর যখন নেই, সেটিই উত্তর।
আরও দূর যেতে
লেখাকে এককে ভাগ করা সামলানো হয়েছে শব্দ, টুকরো টুকরো করে অধ্যায়ে। বিন্যাস আর তার তোলা সামলানো হয়েছে পরের শব্দ অধ্যায়ে। কোনো পরিষেবার হাতে তুলে দেওয়া একটি বিষয়বস্তুর কী হয়, তা সামলানো হয়েছে আমরা তাকে যা দিই অধ্যায়ে। যে পরিস্থিতিতে যন্ত্রটি বন্ধ হয়ে যায়, সেগুলি এক জায়গায় আছে কখন এটি ব্যবহার করবেন না-তে। সাইটের সব প্রদর্শন এক জায়গায় আছে প্রদর্শন পাতায়, আর পাঠক্রমের সূচি আছে বোঝা পাতায়।
উৎস
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, Adam Tauman Kalai, 2016। প্রমাণ করে যে সাধারণ লেখার বড় কর্পাসের উপরে প্রশিক্ষিত শব্দের এমবেডিং মাপা যায় এমন লিঙ্গ-প্রথা ফিরিয়ে দেয়, যেমন কিছু পেশাকে এক লিঙ্গের সঙ্গে অন্যটির চেয়ে আরও জোরে জুড়ে দিয়ে।
- Semantics derived automatically from language corpora contain human-like biases Aylin Caliskan, Joanna J. Bryson, Arvind Narayanan, 2017। প্রমাণ করে যে একটি সাধারণ ওয়েব কর্পাসের উপরে প্রশিক্ষিত একটি চলতি পরিসংখ্যানগত মডেল স্বয়ংক্রিয়ভাবেই এমন মানবিক পক্ষপাত ফিরিয়ে দেয়, যা IAT ধরনের মনস্তাত্ত্বিক পরীক্ষায় আগেই জানা আর মাপা, লিঙ্গ আর জাতির ক্ষেত্রেও।
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification Joy Buolamwini, Timnit Gebru, 2018। প্রমাণ করে যে ছবি দিয়ে লিঙ্গ শ্রেণিবদ্ধ করার বাণিজ্যিক ব্যবস্থাগুলি গাঢ় ত্বকের মহিলাদের ক্ষেত্রে 34.7% পর্যন্ত ভুলের হার দেখিয়েছে, আর হালকা ত্বকের পুরুষদের ক্ষেত্রে 0.8%।
- Datasheets for Datasets Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, 2018। প্রমাণ করে যে একটি ডেটাসেটের উৎস, গড়ন আর সংগ্রহের ধরন নথিভুক্ত করার একটি মানসম্মত প্রস্তাব আছে, যাতে চোখে পড়া কোনো পক্ষপাতের উৎসে ফিরে যাওয়া যায়, মডেল নেমে যাওয়ার পরেই কেবল তা আবিষ্কার করার বদলে।
- এই প্রদর্শনের জন্য লেখা ODERSA-র কৃত্রিম কর্পাস ODERSA, 2026, প্রকাশিত CC BY 4.0 লাইসেন্সে। তার ডিফল্ট গড়ন ভারসাম্যে আছে, তার বাক্যগুলি এই পাতায় পুরোটাই পড়া যায়, আর সে কোনো সত্যিকারের জনসংখ্যার বর্ণনা দেয় না।