الكلمة التالية، لا يقين أبدًا
النموذج لا يعرف ما سيكتبه قبل أن يكتبه. فعند كل كلمة، يحسب احتمالًا لكل مرشّح ممكن، ثم يسحب منها. وهذه الصفحة تشغّل هذا السحب أمام عينيك، ضبطًا بعد ضبط: درجة الحرارة، وtop-k، وtop-p.
كل شيء يُحسَب في متصفّحك. فالمتن يُحمَّل مع الصفحة، والنموذج يتعلّم عليه على هذا الجهاز، ولا شيء من الذي تضبطه يغادر جهازك. افتح تبويب الشبكة في متصفّحك وجرّب العرض: لا طلب واحدًا يخرج.
حساب توزيع، ثم السحب منه
النموذج اللغوي لا يعرف ما سيكتبه قبل أن يكتبه. فعند كل كلمة، يحسب احتمالًا لكل مرشّح ممكن: قائمة كاملة، لا جوابًا واحدًا محسومًا أبدًا. وقائمة الاحتمالات هذه هي التوزيع. أما ما يشبه الاختيار فيأتي بعد ذلك: سحبٌ من هذا التوزيع، كما تُسحَب بطاقة من مجموعة موزونة.
ولهذا فإن طرح السؤال نفسه مرتين لا يعطي بالضرورة الجواب نفسه. فما دام التوزيع يحفظ عدة مرشّحين ممكنين، يحتفظ السحب بواحد، وليس الواحد نفسه دائمًا. وهنا يتبع السحب بذرة ظاهرة وقابلة للتغيير، حتى تبقى النتيجة قابلة للإعادة: فالبذرة نفسها تعطي الكلمة نفسها دائمًا. أما الخدمة العادية فتخفي بذرتها، وهذا يعطي انطباعًا بعشوائية بلا أصل.
ونموذج هذه الصفحة يتعلّم على Le Tour du monde en quatre-vingts jours («حول العالم في ثمانين يومًا») لجول فيرن، المنشورة في 1873 والتي هي في الملك العام. وهو يعدّ، لكل سلسلة من كلمة إلى ثلاث كلمات وردت سلفًا في هذا النصّ، أي كلمة تبعتها وكم مرة. وعلى هذا المتن، يعرف في هذه اللحظة … رمزًا، بمعجم من … كلمة مختلفة، موزّعة على … سياق كلمة واحدة، و… سياق كلمتين و… سياق ثلاث كلمات. وقد عُدّل النقل الحرفي لأجل هذا العرض: صارت الفواصل العليا مطبعية، وحُذفت شُرَط النقل وعلامات التنصيص فيه، وحُذفت علامات الخطّ المائل، واستُثنيت عناوين الفصول وجدول المحتويات، واستُثنيت المقاطع التي تقلّ عن أربعين محرفًا.
وهذا العرض يقطّع النصّ إلى كلمات كاملة، ليبقى مقروءًا. أما النموذج الحقيقي فيقطّع إلى وحدات أصغر من الكلمة، رموزٍ تُستخرَج بحساب مختلف تمامًا: انظر فصل الكلمات مقطّعة. أما آلية التوزيع والسحب فتبقى هي نفسها في الحالتين.
ما يُظهره العرض
خطوة واحدة: الصيغة نفسها، ونتيجة تتغيّر أمام عينيك
حرّك مؤشّر درجة الحرارة، فتتحرّك أعمدة الجدول في الحال: فاللوغاريتم لا يتغيّر، أما قسمته على درجة الحرارة فتتغيّر، ويتغيّر معها عمود «بعد softmax». وشغّل top-k أو top-p، فيصير مرشّحون كانوا مُحتفَظًا بهم «مُستبعَدين»، بكل الحروف، لا بشحوب شريطهم فقط. ولا شيء من هذا كله يغيّر المتن ولا الأعداد: فما يتغيّر هو طريقة قراءة التوزيع نفسه فقط.
عدة خطوات: نصّ يتكرّر، أو يتشتّت
عند درجة حرارة قريبة من الصفر، يحتفظ السحب في الغالب دائمًا بالمرشّح الأكثر احتمالًا: فالنصّ المولَّد يسقط سريعًا في حلقة، تعود فيها الكلمات القليلة نفسها بالترتيب نفسه. وعند درجة حرارة قريبة من اثنين، يصير المرشّحون النادرون شبه متساوين في الاحتمال مع المرشّحين المتكرّرين: فالنصّ يتفرّق قطعًا، معقولًا محليًا، جملةً جملة، لكن بلا خيط جامع. جرّب الضبطين، على البداية نفسها والبذرة نفسها، لترى الأثرين يتعاقبان.
المنهج
هذا ما يفعله زرّ «ولّد النصّ»، خطوةً واحدة في المرة. وجدول قسم «خطوة واحدة» يُظهر هذه الخطوات نفسها على المرشّحين الحقيقيين للبداية الجارية: ويكفي إعادة قراءته عمودًا بعد عمود لإعادته باليد، على خمسة مرشّحين وآلة حاسبة.
- العدّ. للسياق الجاري، تُرصَد في كل
المتن كل كلمة تبعته، وكم مرة. واحتمال
البداية لمرشّحٍ ما هو عدّه مقسومًا على مجموع أعداد
كل مرشّحي هذا السياق:
p = compte ÷ total. - الانتقال إلى اللوغاريتم. كل احتمال يصير
logit = log(p)، حيثlogهو اللوغاريتم الطبيعي، أي مفتاح «ln» في آلة حاسبة علمية. واللوغيت دائمًا سالب أو صفر، لأن p يقع بين الصفر والواحد. - إضافة انحياز، إن وُجد. انحياز اختياري
يُضاف إلى اللوغيت قبل كل شيء آخر:
logit biaisé = logit + biais. وهذه الصفحة لا تضيف أي انحياز؛ أما فصل العلامات المائية فيضيف واحدًا، في هذه الخطوة بعينها. - القسمة على درجة الحرارة. كل لوغيت منحاز
يُقسَم على درجة الحرارة T:
z = logit biaisé ÷ T. ودرجة الحرارة الصغيرة تكبّر الفارق بين أفضل مرشّح والباقين؛ ودرجة الحرارة الكبيرة تمحوه. - الانتقال إلى softmax. تصير قيم z احتمالات
مجموعها واحد:
probabilité = exp(z) ÷ somme des exp(z) de tous les candidats. وعند درجة حرارة صفر، تُتجاوَز هذه الخطوة والتي تليها: فيُحتفَظ بالمرشّح صاحب أعلى لوغيت مباشرةً، بلا سحب. - القطع عند top-k. يُرتَّب المرشّحون من الأكثر احتمالًا إلى الأقلّ. وإن كان top-k بقيمة k مُشغَّلًا، فلا يبقى في المنافسة إلا الأوائل k؛ ويُستبعَد الباقون.
- القطع عند top-p. وإن كان top-p بعتبةٍ مُشغَّلًا، يحفظ النموذج أقصر بادئة من هذه القائمة نفسها تبلغ احتمالاتها التراكمية هذه العتبة؛ ويُستبعَد الباقي، بما في ذلك ما كان قطع top-k المحتمل قد أبقاه.
- إعادة التسوية. تُقسَم احتمالات المرشّحين الباقين على مجموعها هي، لاستعادة مجموع واحد: وهذا هو الاحتمال النهائي لكل واحد.
- السحب. رقم مأخوذ بين الصفر داخلًا والواحد خارجًا يقع في قائمة الاحتمالات النهائية هذه، موضوعةً طرفًا إلى طرف: والمرشّح الذي يحتوي مجاله هذا الرقم هو الرمز المُحتفَظ به. ثم يطول السياق بكلمة، وتُعاد الخطوة الأولى للكلمة التالية.
ما يضيفه النموذج الحقيقي، وما لا يحذفه
هذا العرض صادق بشرط واحد: أن يقول أين يتوقّف القياس.
ما يبقى صحيحًا في نموذج كبير
- يعطي توزيع احتمالات على الوحدة التالية، لا يقينًا أبدًا.
- يسحب من هذا التوزيع: فالنتيجة تتوقّف على عشوائية، صارت هنا ظاهرة وقابلة للإعادة ببذرة.
- درجة الحرارة وtop-k وtop-p تعمل على توزيعه بالصيغة نفسها، وفي الخطوات نفسها.
- يجيب دائمًا: لا صمت أبدًا، ولا «لا أعرف» يأتي من مبادرته هو.
ما لا يفعله هذا النموذج المصغّر
- لا تعلّم بانحدار التدرّج: فهذا النموذج يعدّ، ولا يعدّل أي وزن.
- لا تضمين للكلمات: فكل كلمة لافتة خامّ، لا نقطة في فضاء معنى.
- لا انتباه: فالسياق المأخوذ في الحساب يتوقّف عند ثلاث كلمات، وهي دائمًا الأحدث.
- لا معنى، ولا تعميم: فالسياق الذي لم يُرَ أبدًا عند الرتبة المطلوبة يجعل النموذج يتراجع، لا يخمّن أبدًا.
ما قاسه البحث العلمي
ثلاث نتائج منشورة تحدّد موقع ما يجعله هذا العرض ملموسًا.
فاختيار الكلمة الأكثر احتمالًا على نحو منهجي ينتج نصًّا مسطّحًا ومتكرّرًا؛ أما المعاينة النووية، التي تقطع الجزء القليل الموثوقية من التوزيع (وهي top-p في هذه الصفحة)، فتنتج نصًّا أكثر طبيعية. ومُعامل درجة الحرارة في صيغة softmax يلطّف أو يشدّد توزيع الاحتمالات الذي يحسبه النموذج: فدرجة الحرارة الأعلى تجعل الاختيارات أقلّ قابلية للتوقّع وأكثر توزّعًا بانتظام بين عدة كلمات ممكنة. أما المعاينة top-k، التي تقصر السحب على الكلمات k الأكثر احتمالًا في كل خطوة، فهي طريقة مستخدَمة لتوليد نصّ أكثر تنوّعًا من اختيار حتميّ دائمًا.
لماذا النصّ المعقول ليس نصًّا صحيحًا
نموذج هذه الصفحة لم يقرأ غير رواية من 1873. اطلب منه متابعة جملة تشبه هذه الرواية، فيجيب بسياق حقيقي، عند الرتبة الصحيحة. واطلب منه متابعة جملة لا مقابل لها في هذا النصّ، فيتراجع إلى سياق أقصر، حتى يعطي الكلمة الأكثر تكرارًا في المتن كله: فهو يجيب على أي حال، بالثقة الظاهرة نفسها، دون أن يشير أبدًا إلى أنه يخمّن.
والجواب المعقول جوابٌ يشبه، بشكله، ما يحتويه المتن. ولا شيء في الحساب يتحقّق إن كان يوافق واقعة. أما النموذج الكبير، المتعلّم على مليارات الكلمات لا على رواية واحدة، فيتراجع أقلّ وبصورة أقلّ ظهورًا: وهذا موضوع فصل لماذا يختلق.
للمضيّ أبعد
تقطيع النصّ إلى وحدات أصغر من الكلمة مُعالَج في فصل الكلمات مقطّعة. والحالات التي يختلق فيها النموذج بدل أن يجيب مُعالَجة في فصل لماذا يختلق. وكل عروض الموقع التفاعلية مجتمعة في صفحة العروض التفاعلية، وفهرس الدورة في صفحة الفهم.
المصادر
- The Curious Case of Neural Text Degeneration Ari Holtzman، Jan Buys، Li Du، Maxwell Forbes، Yejin Choi، 2020. يُثبِت أن اختيار الكلمة الأكثر احتمالًا على نحو منهجي ينتج نصًّا مسطّحًا ومتكرّرًا، وأن المعاينة النووية (top-p)، التي تقطع الجزء القليل الموثوقية من التوزيع، تنتج نصًّا أكثر طبيعية.
- Distilling the Knowledge in a Neural Network Geoffrey Hinton، Oriol Vinyals، Jeff Dean، 2015. يُثبِت أن مُعامل درجة الحرارة في صيغة softmax يلطّف أو يشدّد توزيع الاحتمالات الذي يحسبه النموذج، وأن درجة الحرارة الأعلى تجعل الاختيارات أقلّ قابلية للتوقّع وأكثر توزّعًا بانتظام بين عدة كلمات ممكنة.
- Hierarchical Neural Story Generation Angela Fan، Mike Lewis، Yann Dauphin، 2018. يُثبِت أن المعاينة top-k، التي تقصر السحب على الكلمات k الأكثر احتمالًا في كل خطوة، طريقة مستخدَمة لتوليد نصّ أكثر تنوّعًا من اختيار حتميّ دائمًا.
- Le Tour du monde en quatre-vingts jours Jules Verne، J. Hetzel et Compagnie، 1873، ملك عام. النقل الحرفي: Wikisource. وقد عُدّل لأجل هذا العرض: صارت الفواصل العليا مطبعية، وحُذفت شُرَط النقل وعلامات التنصيص فيه، وحُذفت علامات الخطّ المائل، واستُثنيت عناوين الفصول وجدول المحتويات، واستُثنيت المقاطع التي تقلّ عن أربعين محرفًا.