من أين تأتي التحيّزات
النموذج ليس لديه رأي. إنه يعدّ ما رآه، ثم يسحب من أعداده. وهذا العرض يتيح لك أن تشوّه بنفسك تركيبة متن، ويُظهر لك النموذج يعيد بالضبط التشويه الذي وضعته للتوّ.
كل شيء يُحسَب في متصفّحك. فالمتن يُصنَع على هذا الجهاز، والنموذج يتعلّم عليه على هذا الجهاز، ولا شيء من الذي تضبطه يغادر جهازك. افتح تبويب الشبكة في متصفّحك وجرّب العرض: لا طلب واحدًا يخرج.
تشويه متن، ثم النظر في ما يفعله النموذج به
متن هذا العرض مكتوب له، وتركيبته متوازنة في البداية. وكل مؤشّر يحدّد، لمهنة، نسبة الجمل التي يكون فيها الفاعل مؤنّثًا. وعند الخمسين، يقول المتن هذا بقدر ما يقول ذاك. حرّك مؤشّرًا، فتكون قد قرّرت ما سيقرؤه النموذج. وجمل هذا المتن مكتوبة بالفرنسية، لغة العرض المدمج.
اضبط التركيبة، ثم أطلق التعلّم. وسيظهر هنا توزيع النموذج، والمتن المصنوع، ونصّ مولَّد.
ما يُظهره العرض
النتيجة ليست مفاجئة بحال، وهذا بالضبط ما يجب فهمه. فنسبة المؤنّث التي يعطيها النموذج هي النسبة التي وضعتها على المؤشّر. لا قيمة مجاورة، ولا اتجاهًا عامًّا: بل القيمة نفسها. فنموذج n-gram لا يفعل غير العدّ، ونتيجته إذن عدٌّ.
ودرسان يخرجان من ذلك، وهما لا يختلطان.
التحيّز نتيجة، لا قصد
لم يكتب أحد في النموذج أن مهنةً تنتمي إلى جنس. فالقاعدة ظهرت في الأعداد، لأنها كانت في البيانات. ولهذا فإن البحث عن القصد في نموذج مضيعة للوقت: فالسؤال المفيد هو دائمًا «ممّ صُنع هذا المتن»، وهذا السؤال يتعلّق بأشخاص جمعوا البيانات وفرزوها ونشروها.
الغائب مستحيل، لا قليل الاحتمال
اسحب مدينة من المتن، فلا يقترحها النموذج بعد ذلك أبدًا. وهو لا يقترحها نادرًا: بل لا يستطيع اقتراحها، لأنها بلا أي عدّ. ولا ضبطٌ لدرجة الحرارة، ولا قطعٌ، ولا طول سياق سيعيدها. ولاحظ ما لم يحتوِه هذا المتن أبدًا: فباريس ولندن ونيويورك وطوكيو ليست منه. والنموذج المتعلّم على هذا سيعطي انطباعًا بعالم لا توجد فيه هذه المدن، دون أن يشير أبدًا إلى الغياب.
وهذا هو نصف المشكلة الذي يُنسى. فالتحيّز يُلاحَظ حين يكون الجواب خاطئًا. أما الغياب فلا يُلاحَظ أبدًا، لأن لا شيء هناك للنظر إليه.
المنهج
وهذا هو الحساب كاملًا. وهو يُعاد بلا هذه الصفحة، بقلم.
- صناعة المتن. لكل مهنة، تُكتَب أربعون جملة قصيرة. فإن كان المؤشّر على تسعين، صارت تسعون في المئة من هذه الجمل «Elle est ingénieure.» والباقي «Il est ingénieur.». والتوزيع يُبسَط بعدٍّ صحيح، لا بسحب أبدًا: فالمتن إذن هو نفسه عند الجميع بالضبط نفسه.
- التقطيع. النصّ يصير سلسلة وحدات: «Elle» و«est» و«ingénieure» و«.». والتقطيع المستعمل هنا تقطيعٌ إلى كلمات، وهو أوضح من التقطيع إلى أجزاء من الكلمة في النماذج الحقيقية، وله فصله الخاص.
- العدّ. لكل سياق من وحدتين، تُرصَد كل الوحدات التي تبعته وكم مرة. هل تبع السياق «Elle est» ثمانين جملة؟ إذن يحتوي جدوله المهن في المؤنّث، كل واحدة مع عدّها.
- القسمة. احتمال وحدة بعد سياق هو عدّها مقسومًا على مجموع الجدول. وهذا كل ما يعرفه النموذج.
- السحب. لتوليد نصّ، يُسحَب من هذا الجدول حسب هذه الاحتمالات، بمولّد مُبذَّر بالبذرة المعروضة.
وفي الخطوة الرابعة، يتوقّف التساوي بين الضبط والنتيجة عن أن يكون غامضًا: فالتكرار النسبي هو النسبة التي وضعتها أنت. وهذا ما يفعله نموذج يعدّ، وهو الأساس الذي تضيف عليه النماذج الكبيرة آلياتها.
ما يضيفه النموذج الحقيقي، وما لا يحذفه
هذا العرض صادق بشرط واحد: أن يقول أين يتوقّف القياس.
- الآلية العميقة هي نفسها. فالنموذج يتعلّم انتظامات إحصائية في متن، ثم يعيدها.
- النتيجة العملية هي نفسها. فتصحيح تحيّز في النموذج دون المساس بالبيانات لا يعالج السبب.
- أثر الغياب هو نفسه، وهو أخطر في النموذج الحقيقي، حيث لا يستطيع أحد قراءة المتن للتحقّق من الناقص.
- النموذج الحقيقي لا ينسخ نسبًا: بل يعمّم، والانتظام المتعلَّم على كلمة يُنقَل إلى كلمات أخرى لم تُرَ أبدًا في هذا السياق. فالتشويه قد يمتدّ إذن إلى ما وراء الحالات الموجودة في البيانات.
- هذا المتن مُصطَنَع وصغير جدًا بقصد. ونسبه لا تصف أي بلد، ولا أي مهنة، ولا أي مجموعة سكانية. إنها تصف الخطوة التي قمت بها للتوّ على مؤشّر.
- والمتن الحقيقي لا يكون مقروءًا إلا في النادر. ولهذا بالضبط اقتُرح توثيق موحَّد لمجموعات البيانات، ولهذا فإن التركيبة غير الموثَّقة معلومة ناقصة، لا تفصيلًا.
ما قاسه البحث العلمي
ثلاث نتائج منشورة تحدّد موقع ما يجعله هذا العرض ملموسًا.
فتضمينات الكلمات المتعلّمة على متون كبيرة من النصوص العادية، ومنها مقالات صحفية، تعيد قوالب نمطية جنسانية قابلة للقياس، بربط بعض المهن بجنس ربطًا أقوى. والنموذج الإحصائي المعياري المتعلّم على متن ويب عادي يعيد تلقائيًا تحيّزات بشرية معروفة سلفًا ومقيسة بالاختبارات النفسية، بما في ذلك على الجنس والأصل. والأثر لا يبقى في النصّ: فأنظمة تجارية لتصنيف الجنس عبر الصورة أظهرت معدّل خطأ يبلغ 34.7% للنساء ذوات البشرة الداكنة مقابل 0.8% للرجال ذوي البشرة الفاتحة، وهو فارق مقيس حسب لون البشرة والجنس مجتمعين.
وهذا الرقم الأخير يقول الكلفة الحقيقية. ففارق أداء بهذا الحجم ليس نقصًا تقنيًا: إنه خدمة تعمل عند بعضهم ولا تعمل عند غيرهم.
الخطوة التي تُحفَظ
أمام جواب يفاجئك بانتظامه، لا تسأل النموذج لماذا يفكّر هكذا: فهو لا يعرف شيئًا عن ذلك، وشرحه يُحسَب مثل بقية الأشياء. اسأل على أي شيء تعلّم، ومن وثّق هذا المتن. وحين لا يوجد جواب عن هذا السؤال، فهذا هو الجواب.
للمضيّ أبعد
تقطيع النصّ إلى وحدات مُعالَج في فصل الكلمات مقطّعة. والتوزيع والسحب منه مُعالَجان في فصل الكلمة التالية. وما يصير إليه محتوى يُسلَّم إلى خدمة مُعالَج في فصل ما نسلّمه إليه. والأوضاع التي تُغلَق فيها الأداة مجتمعة في متى لا تستخدمه. وكل عروض الموقع التفاعلية مجتمعة في صفحة العروض التفاعلية، وفهرس الدورة في صفحة الفهم.
المصادر
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings Tolga Bolukbasi، Kai-Wei Chang، James Zou، Venkatesh Saligrama، Adam Tauman Kalai، 2016. يُثبِت أن تضمينات كلمات مدرَّبة على متون كبيرة من النصوص العادية تعيد قوالب نمطية جنسانية قابلة للقياس، مثلًا بربط بعض المهن بجنس ربطًا أقوى من ربطها بالآخر.
- Semantics derived automatically from language corpora contain human-like biases Aylin Caliskan، Joanna J. Bryson، Arvind Narayanan، 2017. يُثبِت أن نموذجًا إحصائيًا معياريًا مدرَّبًا على متن ويب عادي يعيد تلقائيًا تحيّزات بشرية معروفة سلفًا ومقيسة بالاختبارات النفسية من نوع IAT، بما في ذلك على الجنس والعِرق.
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification Joy Buolamwini، Timnit Gebru، 2018. يُثبِت أن أنظمة تجارية لتصنيف الجنس عبر الصورة أظهرت معدّل خطأ يبلغ 34.7% للنساء ذوات البشرة الداكنة مقابل 0.8% للرجال ذوي البشرة الفاتحة.
- Datasheets for Datasets Timnit Gebru، Jamie Morgenstern، Briana Vecchione، Jennifer Wortman Vaughan، Hanna Wallach، Hal Daumé III، Kate Crawford، 2018. يُثبِت وجود مقترح موحَّد لتوثيق منشأ مجموعة بيانات وتركيبتها وطريقة جمعها، بغية التمكّن من تعقّب أصل تحيّز ملحوظ بدل اكتشافه بعد نشر النموذج فقط.
- متن مُصطَنَع من ODERSA، مكتوب لهذا العرض ODERSA، 2026، منشور برخصة CC BY 4.0. تركيبته الافتراضية متوازنة، وجمله مقروءة كاملة في هذه الصفحة، وهو لا يصف أي مجموعة سكانية حقيقية.