لماذا يختلق، وبثقة
النموذج لا يعرف أنه لا يعرف. إنه يحسب متابعةً معقولة لأي بداية، سواء قرأ المادة أو لم يقرأها، ولا شيء في طريقة إجابته يفرّق بين الحالتين. وهذه الصفحة تستجوب نموذج الفصل السابق مرة عمّا يعرفه، ومرة عمّا لم يصادفه أبدًا، وتعرض إلى جانب ذلك ما يعرفه فعلًا.
ما يعنيه «الاختلاق»، عند آلة تتوقّع
النموذج اللغوي لا يراجع أي قاعدة وقائع ليجيب. إنه يحسب توزيع احتمالات على الكلمة التالية، كما يُظهر فصل الكلمة التالية، ثم يسحب منه. وهذا الحساب لا يغيّر طبيعته أبدًا بحسب كون الموضوع موثَّقًا بغزارة في متنه أو غائبًا عنه تمامًا: فهي الصيغة نفسها، مطبَّقةً على أعداد مختلفة.
و«الاختلاق» لا يدلّ إذن على عطل. إنه ما يفعله النموذج عند كل كلمة، سواء كانت لديه مادة أو لا. وحين تنقص المادة، يستند التوزيع إلى سياق أقصر، ثم إلى أقصر منه، حتى المتن كله إن لزم: فهو موجود دائمًا، وينتج كلمةً دائمًا، ولا شيء في طريقة إنتاجها يتغيّر. والاسم الذي يعطيه البحث العلمي لهذه الظاهرة هو الهلوسة: مُخرَجٌ سلس وصحيح نحويًا، بلا صلة مضمونة بواقعة قابلة للتحقّق.
استجواب النموذج نفسه عمّا ينقصه
نموذج هذه الصفحة هو نموذج فصل الكلمة التالية: نموذج n-gram، متعلّم على Le Tour du monde en quatre-vingts jours («حول العالم في ثمانين يومًا») لجول فيرن، المنشورة في 1873. وهذه الرواية تعدّ … كلمة وعلامة ترقيم، بمعجم من … كلمة مختلفة. ونصٌّ من 1873 لا يمكن أن يعرف شيئًا عمّا لم يكن موجودًا بعد، ولا عمّا لا يحتويه ببساطة: وهذا ما يتيح أن نعرف، بيقين، ما لم يقرأه النموذج أبدًا.
أدخِل بدايةً من كلمة إلى ثلاث كلمات تحتويها الرواية فعلًا، أو اختر مثالًا. ثم أدخِل بدايةً لا تحتويها بالتأكيد. النموذج يجيب في الحالتين، بالطريقة نفسها. وإلى جانب جوابه، قياسٌ لا يُظهره المنتج العادي أبدًا: عدد مرات ظهور هذه البداية بالضبط في المتن كله، وصفرٌ إن لم ترد فيه أبدًا.
كل شيء يُحسَب في متصفّحك. فالمتن يُحمَّل مع الصفحة، والنموذج يتعلّم عليه على هذا الجهاز، ولا شيء من الذي تُدخِله يغادر جهازك. افتح تبويب الشبكة في متصفّحك وجرّب العرض: لا طلب واحدًا يخرج.
اختر مثالًا، أو أدخِل بدايةً، ثم أطلق الاستجواب. الجواب المولَّد وما يعرفه النموذج فعلًا سيظهران هنا.
ما يُظهره العرض
صوت واحد، سواء وُجدت المادة أو لا
جرّب «Phileas Fogg avait»، وهي بداية تحتويها الرواية فعلًا، ثم «Phileas Fogg alluma son smartphone»، وهي بداية ليست فيها بالبديهة. والمتابعتان تبدوان متماثلتين: الطول نفسه، والنحو نفسه، والنبرة الواثقة نفسها. ولا واحدة منهما تنبّه إلى ما تعرفه أو لا تعرفه.
التراجع صامت: لا أحد يراه يمرّ
وحين لا تكون أي من الكلمات المطلوبة قد رُئيت، لا يتوقّف النموذج: بل يسقط على الكلمة الأكثر تكرارًا في الرواية كلها، دون أن يشير إلى ذلك في أي موضع من النصّ المُنتَج. جرّب بدايتين بلا صلة بينهما تقعان كلتاهما في هذه الحالة، بالبذرة نفسها: ستحصل على النصّ نفسه، حرفًا بحرف. فالجواب لم يعد يأتي إذن من الذي طلبته، بل من الذي يحتويه المتن أكثر ما يحتوي.
المنهج
هذا ما يفعله زرّ «استجوب النموذج»، بالترتيب. وهو يُعاد باليد، والرواية مفتوحة وبقلم.
- تقطيع البداية. النصّ المُدخَل يصير سلسلة كلمات وعلامات ترقيم، كما في فصل الكلمة التالية.
- البحث عن أطول سياق معروف. يبحث النموذج إن كانت الكلمات الثلاث الأخيرة من البداية قد تبعتها كلمة سلفًا، في مكان ما من الرواية. وإن لم يكن، بحث بكلمتين. وإن لم يكن، بكلمة واحدة. وإن لم يكن، سقط على الرواية كلها: فهذا الجدول موجود دائمًا، ولا يمكن أن يكون فارغًا ما لم يكن المتن فارغًا.
- العدّ. في الجدول المُحتفَظ به، أيًّا كان مستواه، تُرصَد كل كلمة تبعت وكم مرة. وهذه الخطوة متطابقة، سواء كان السياق المُحتفَظ به هو المطلوب أو تراجعًا.
- السحب، ثم الإعادة. تُسحَب كلمة من هذه الأعداد، وتُضاف إلى السلسلة، وتُعاد الخطوة الثانية للكلمة التالية. وهذا ما ينتج النصّ المولَّد، أيًّا كان السؤال الأول.
- عدّ البداية بالضبط، على حدة. وهذا لا يخدم الإجابة: إنه قياس مستقلّ، يعدّ كم مرة رُئيت سلسلة الكلمات المطلوبة، كما هي، في الرواية كلها. والنموذج الحقيقي لا يُظهر هذا العدد أبدًا. أما هذه الصفحة فتُظهره.
والخطوة الخامسة هي الناقصة في المنتج العادي. ولا شيء يمنع وجودها تقنيًا: إنها فقط ليست في الذي تُظهره الواجهة.
لماذا السلاسة ليست علامةً على الصحّة
سلاسة الجواب، وصحّة نحوه، ونبرته الواثقة، تأتي كلها من الحساب نفسه الذي أتت منه الكلمة نفسها. ولا توجد أي خطوة منفصلة تتحقّق من المحتوى قبل كتابته. فالجملة الصحيحة والجملة المختلَقة تعبران الآلية نفسها بالضبط، ولا شيء في هذه الآلية يرجّح الأولى.
وهذا ليس خللًا معزولًا: إنه نتيجة الطريقة التي دُرِّب بها النموذج، ثم قُيِّم. فالتدريب يكافئ متابعةً تشبه ما تحتويه النصوص؛ ولا توجد، في هذا الحساب، أي خانة «لا أعرف» تعطي عائدًا مثل الجواب الصحيح.
والتقييم الذي يأتي بعده يزيد المشكلة سوءًا بدل أن يصلحها. فمعظم الاختبارات تقيس فقط إن كان الجواب صحيحًا أو خاطئًا: فالجواب الخاطئ والامتناع يتلقّيان العلامة نفسها، صفرًا. ويصير التخمين آنها أفضل استراتيجية ممكنة، تمامًا كما أن مصلحة المرشّح في اختبار متعدّد الخيارات أن يؤشّر خانةً عشوائيًا بدل أن يتركها فارغة، لأن الخانة الفارغة لا تعطي أبدًا نقطة والخانة العشوائية قد تعطي واحدة. والنموذج المُحسَّن لهذا النوع من العلامات يتعلّم الاستراتيجية نفسها: فالتخمين يعطي، والامتناع لا يعطي أبدًا.
ولا شيء، في هذه الآلية، يدفع النموذج إلى التمييز بين بداية يعرفها جيدًا وبداية لا يعرفها إطلاقًا. فالاثنتان تمرّان بالحساب نفسه إلى آخره، ولا شيء يقطع السلسلة للإشارة إلى الغياب.
ما يضيفه النموذج الحقيقي، وما لا يحذفه
هذا العرض صادق بشرط واحد: أن يقول أين يتوقّف القياس.
ما يبقى صحيحًا في نموذج كبير
- يجيب دائمًا، حتى بلا مادة: لا صمت افتراضيًا أبدًا، ولا «لا أعرف» تلقائية.
- الانتقال إلى جواب مصنوع صامت: فلا شيء في الشكل، ولا في الطول، ولا في النحو، ولا في النبرة يتغيّر.
- ما تعلّمه النموذج وما يجيب به شيئان منفصلان: فالأول يُقاس في بيانات تدريبه، والثاني يُقرأ في مُخرَجه، والمنتج العادي لا يُظهر الأول أبدًا.
ما لا يفعله هذا النموذج المصغّر
- ليست لديه أي إشارة ثقة داخلية تُراجَع قبل الإجابة: فالنموذج الكبير يحسب فعلًا احتمالات قابلة للاستغلال في هذا الغرض، لكنها نادرًا ما تُعرَض أو تُراجَع في منتج.
- لا يكذب: فالكذب يفترض معرفة حقيقة وتحريفها. وهنا لا معرفة ولا قصد، بل فقط حسابٌ لا يتوقّف أبدًا.
- تراجع النموذج الحقيقي، المتعلّم على مليارات الكلمات، أقلّ ظهورًا من التراجع على رواية من 1873؛ ومع ذلك يطيع المبدأ نفسه: فكلّما قلّت المادة المنتظمة، صار المُخرَج أعمّ وأكثر تمليسًا، دون أن يشير أبدًا إلى ذلك.
ما قاسه البحث العلمي
توجد مراجعة مرجعية تصنّف أسباب الهلوسة وأشكالها في النماذج اللغوية الكبيرة، وكذلك طرق الكشف والتخفيف التي اقترحها البحث: فالمسألة مدروسة منذ سنوات، وليست طُرفة عارضة.
وعمل نظري يمضي أبعد ويرى، انطلاقًا من نتائج نظرية التعلّم، أن نسبةً معيّنة من الهلوسة ستكون حتمية رياضيًا لنموذج لغوي يُستخدَم حلّالًا عامًّا للمسائل. وهذا الاستنتاج يبقى موضع خلاف: فأعمال لاحقة تعترض على انطباق فرضياته الصورية على الاستخدامات الحقيقية والمنتهية للنماذج. وهذا الخلاف لا يتعلّق بوجود المشكلة، بل بحجمها بالضبط فقط.
الخطوة التي تُحفَظ
هذا الفصل لا يقول إن كل ما يكتبه النموذج يُحذَر منه: إنه يقول ألّا تُخلَط ثقة الجواب بصوابه أبدًا. فالاثنتان لا تربطهما أي آلية في الحساب: قد تتوافقان، وقد لا تتوافقان تمامًا كذلك، دون أن تميّز بينهما أي إشارة.
وما يجب أن يُطلِق التحقّق ليس نبرة الجواب أبدًا. إنه طبيعة ما يُؤكَّد: تاريخ بعينه، أو رقم، أو مرجع، أو اقتباس، أو اسم علم، أو عنوان، وكل ما يمكن أن يكون صحيحًا أو خاطئًا بمعزل عن أسلوب الجملة الحاملة له. فكلّما زادت دقّة التفصيل وقابليته للتحقّق، زاد استحقاقه لمصدر خارجي: فهنا بالضبط تكون سلاسة النموذج متطابقة، سواء كانت لديه المادة أو اختلقها.
وأن تسأل النموذج إن كان متأكّدًا لا يفيد شيئًا: فجوابه عن هذا السؤال يولّده الحساب نفسه، بلا وصول إلى قياس داخلي للحقيقة. والسؤال المفيد هو دائمًا: هل يوجد، في مكان آخر، مصدر مستقلّ وقابل للتحقّق لهذا التأكيد؟ وحين يكون الجواب لا، فهذا هو الجواب.
للمضيّ أبعد
آلية التوزيع والسحب مشروحة في فصل الكلمة التالية. ونتيجة أخرى للحساب نفسه، وهي إعادة تحيّزات المتن، مُعالَجة في فصل من أين تأتي التحيّزات. والأوضاع التي تُغلَق فيها الأداة تمامًا مجتمعة في متى لا تستخدمه. وكل عروض الموقع التفاعلية مجتمعة في صفحة العروض التفاعلية، وفهرس الدورة في صفحة الفهم.
المصادر
- Why Language Models Hallucinate Adam Tauman Kalai، Ofir Nachum، Santosh S. Vempala، Edwin Zhang، 2025. يُثبِت أن إجراءات التدريب، وبالأخصّ إجراءات التقييم الحالية، تكافئ تخمين جواب معقول بدل الإقرار بعدم اليقين، بالطريقة نفسها التي يخمّن بها طالبٌ جوابًا في اختبار متعدّد الخيارات بدل أن يتركه فارغًا.
- A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions Lei Huang، Weijiang Yu، Weitao Ma، Weihong Zhong، Zhangyin Feng، Haotian Wang، Qianglong Chen، Weihua Peng، Xiaocheng Feng، Bing Qin، Ting Liu، 2023. يُثبِت وجود مراجعة مرجعية تصنّف أسباب الهلوسة وأشكالها في النماذج اللغوية الكبيرة، وكذلك طرق الكشف والتخفيف التي اقترحها البحث.
- Hallucination is Inevitable: An Innate Limitation of Large Language Models Ziwei Xu، Sanjay Jain، Mohan Kankanhalli، 2024. يُثبِت، انطلاقًا من نتائج نظرية التعلّم، أن نسبةً معيّنة من الهلوسة ستكون حتمية رياضيًا لنموذج لغوي يُستخدَم حلّالًا عامًّا للمسائل. وهي نتيجة موضع خلاف: فأعمال لاحقة تعترض على انطباق فرضياته الصورية على الاستخدامات الحقيقية والمنتهية للنماذج.
- Le Tour du monde en quatre-vingts jours Jules Verne، J. Hetzel et Compagnie، 1873، ملك عام. النقل الحرفي: Wikisource. المتن نفسه، مُعدَّلًا بالطريقة نفسها، كما في فصل الكلمة التالية: صارت الفواصل العليا مطبعية، وحُذفت شُرَط النقل وعلامات التنصيص فيه، وحُذفت علامات الخطّ المائل، واستُثنيت عناوين الفصول وجدول المحتويات، واستُثنيت المقاطع التي تقلّ عن أربعين محرفًا.