যে যন্ত্র পূর্বাভাস দেয়, তার কাছে “বানিয়ে বলা” মানে কী

একটি ভাষা-মডেল উত্তর দিতে কোনো তথ্যভাণ্ডার দেখে না। সে পরের শব্দের উপরে সম্ভাবনার একটি বিন্যাস হিসাব করে, যেমনটি পরের শব্দ অধ্যায় দেখায়, তার পর তার ভেতর থেকে একটি তোলে। বিষয়টি তার কর্পাসে প্রচুর নথিবদ্ধ, না একেবারেই নেই, তার উপরে এই হিসাবের ধরন কখনও বদলায় না: একই সূত্র, আলাদা গণনার উপরে প্রয়োগ করা।

তাই “বানিয়ে বলা” মানে কোনো বিকল নয়। প্রতিটি শব্দে মডেল যা করে, এটি সেটাই, তার হাতে উপাদান থাকুক বা না থাকুক। যখন তা না থাকে, বিন্যাস আরও ছোট একটি প্রসঙ্গের উপরে দাঁড়ায়, তার পর আরও ছোট একটির উপরে, দরকার হলে গোটা কর্পাস পর্যন্ত: সে সব সময়ই থাকে, সে সব সময়ই একটি শব্দ তৈরি করে, আর তা তৈরি করার ধরনের কিছুই বদলায় না। এই ঘটনাটিকে গবেষণা যে নাম দেয়, তা হলো হ্যালুসিনেশন: একটি সাবলীল আর ব্যাকরণে ঠিক বেরিয়ে আসা, যার কোনো যাচাইযোগ্য তথ্যের সঙ্গে নিশ্চিত সম্পর্ক নেই।

একই মডেলকে তার যা নেই, তা নিয়ে প্রশ্ন করা

এই পাতার মডেলটিই পরের শব্দ অধ্যায়ের মডেল: একটি n-গ্রাম মডেল, যা শেখা হয়েছে Le Tour du monde en quatre-vingts jours-এর উপরে, Jules Verne-এর লেখা, 1873 সালে প্রকাশিত। এই উপন্যাসে আছে …টি শব্দ আর যতিচিহ্ন, …টি আলাদা শব্দের একটি শব্দভাণ্ডারের জন্য। 1873 সালের একটি লেখা তার পরে যা ঘটেছে তার কিছুই জানতে পারে না, আর সে যা ধরেই রাখে না তারও কিছুই: এই জিনিসটিই নিশ্চিতভাবে জানার সুযোগ দেয়, মডেল কী কখনও পড়েনি।

উপন্যাসে সত্যিই আছে এমন এক থেকে তিন শব্দের একটি শুরু লিখুন, বা একটি উদাহরণ বেছে নিন। তার পর এমন একটি শুরু লিখুন, যা তাতে নিশ্চিতভাবেই নেই। মডেল দুই ক্ষেত্রেই উত্তর দেয়, একই ভাবে। তার উত্তরের পাশে এমন একটি মাপ, যা একটি সাধারণ পণ্য কখনও দেখায় না: এই ঠিক শুরুটি গোটা কর্পাসে যতবার আছে, আর কখনও না থাকলে শূন্য।

প্রদর্শনটি যা দেখায়

একই গলা, উপাদান থাকুক বা না থাকুক

“Phileas Fogg avait” চেষ্টা করুন, উপন্যাসে সত্যিই আছে এমন একটি শুরু, তার পর “Phileas Fogg alluma son smartphone”, যা স্পষ্টতই তাতে নেই। দুটি ধারাবাহিকতাই একই শোনায়: একই দৈর্ঘ্য, একই ব্যাকরণ, একই দৃঢ় সুর। দুটির একটিও আগে থেকে বলে না, সে কী জানে আর কী জানে না।

নেমে যাওয়া নীরব: কেউ তা যেতে দেখে না

যখন চাওয়া শব্দগুলির একটিও দেখা হয়নি, মডেল থামে না: সে গোটা উপন্যাসের সবচেয়ে ঘন ঘন আসা শব্দটিতে নেমে আসে, তৈরি হওয়া লেখার কোথাও তা না জানিয়েই। সম্পর্কহীন দুটি শুরু চেষ্টা করুন, যেগুলি দুটিই এই দশায় পড়ে, একই বীজে: আপনি একই লেখাই পাবেন, হুবহু। উত্তরটি তখন আর আপনি যা চেয়েছেন তার থেকে আসে না, আসে কর্পাসে যা সবচেয়ে বেশি বার আছে তার থেকে।

পদ্ধতি

“মডেলকে প্রশ্ন করুন” বোতামটি যা করে, ক্রম ধরে। তা হাতেই আবার করা যায়, উপন্যাসটি খোলা রেখে আর একটি পেনসিল দিয়ে।

1. শুরুটি ভাগ করা। লেখা শুরুটি হয়ে যায় শব্দ আর যতিচিহ্নের একটি সারি, যেমন পরের শব্দ অধ্যায়ে।
2. সবচেয়ে লম্বা চেনা প্রসঙ্গটি খোঁজা। মডেল দেখে, শুরুটির শেষ তিনটি শব্দের পরে উপন্যাসের কোথাও কোনো শব্দ এসেছে কি না। না এলে সে দুটি শব্দ নিয়ে খোঁজে। না এলে একটি নিয়ে। না এলে সে গোটা উপন্যাসে নেমে আসে: এই তালিকাটি সব সময়ই থাকে, কর্পাস খালি না হলে সে কখনও খালি হতে পারে না।
3. গোনা। রাখা তালিকাটিতে, তার স্তর যা-ই হোক, দেখে নিন কোন কোন শব্দ তার পরে এসেছে আর কতবার। এই ধাপটি একই থাকে, রাখা প্রসঙ্গটি চাওয়া প্রসঙ্গ হোক বা একটি নেমে আসা হোক।
4. তোলা, তার পর আবার শুরু করা। এই গণনাগুলির ভেতর থেকে একটি শব্দ তোলা হয়, ধারাবাহিকতায় যোগ হয়, আর পরের শব্দের জন্য দুই নম্বর ধাপ আবার শুরু হয়। শুরুর প্রশ্নটি যা-ই হয়ে থাকুক, এই কাজটিই তৈরি হওয়া লেখাটি বানায়।
5. ঠিক শুরুটি, আলাদা করে গোনা। এটি উত্তর দেওয়ার কাজে লাগে না: এটি একটি আলাদা মাপ, যা গোনে চাওয়া শব্দের সারিটি, যেমন আছে তেমনই, গোটা উপন্যাসে কতবার দেখা গেছে। একটি সত্যিকারের মডেল এই সংখ্যাটি কখনও দেখায় না। এই পাতা দেখায়।

পাঁচ নম্বর ধাপটিই একটি সাধারণ পণ্যে থাকে না। তা থাকতে কৌশলগতভাবে কিছুই বাধা দেয় না: ইন্টারফেস যা দেখায়, সেটির মধ্যে তা কেবল নেই।

সাবলীলতা কেন সত্যের কোনো চিহ্ন নয়

একটি উত্তরের সাবলীলতা, তার ঠিক ব্যাকরণ, তার দৃঢ় সুর, সবই আসে সেই একই হিসাব থেকে, যা শব্দটিও তৈরি করে। এমন কোনো আলাদা ধাপই নেই, যা লেখার আগে বিষয়বস্তুটি যাচাই করবে। একটি সত্য বাক্য আর একটি বানানো বাক্য হুবহু একই কলকৌশলের ভেতর দিয়ে যায়, আর এই কলকৌশলের কিছুই প্রথমটিকে এগিয়ে দেয় না।

এটি কোনো বিচ্ছিন্ন খুঁত নয়: এটি মডেলকে যেভাবে প্রশিক্ষণ দেওয়া হয় আর তার পর নম্বর দেওয়া হয়, তারই পরিণাম। প্রশিক্ষণ পুরস্কার দেয় এমন একটি ধারাবাহিকতাকে, যা লেখাগুলিতে যা আছে তার মতো দেখতে; এই হিসাবে “আমি জানি না”-র এমন কোনো ঘর নেই, যা একটি ভালো উত্তরের সমান আনতে পারে।

তার পরে আসা মূল্যায়ন সমস্যাটি শোধরানোর বদলে আরও বাড়িয়ে দেয়। বেশির ভাগ পরীক্ষা কেবল দেখে একটি উত্তর ঠিক নাকি ভুল: একটি ভুল উত্তর আর একটি খালি ছেড়ে দেওয়া একই নম্বর পায়, শূন্য। তখন আন্দাজ করাই সবচেয়ে ভালো কৌশল হয়ে দাঁড়ায়, ঠিক যেমন একটি বহুনির্বাচনী পরীক্ষায় বসা প্রার্থীর সুবিধা হয় একটি ঘর খালি রাখার বদলে এলোমেলোভাবে একটি ঘরে দাগ দেওয়ায়, কারণ একটি খালি ঘর কখনও কোনো নম্বর আনে না আর এলোমেলো একটি ঘর একটি আনতে পারে। এই ধরনের নম্বরের জন্য সাজানো একটি মডেল সেই একই কৌশলই শেখে: আন্দাজ করলে লাভ, সরে দাঁড়ালে কখনও নয়।

এই কলকৌশলের কিছুই মডেলকে ঠেলে দেয় না, যে শুরুটি সে ভালো চেনে আর যে শুরুটি সে একেবারেই চেনে না, দুটির মধ্যে তফাত করতে। দুটিই একই হিসাবের ভেতর দিয়ে শেষ পর্যন্ত যায়, আর অনুপস্থিতিটি জানাতে কিছুই শিকলটি থামায় না।

একটি সত্যিকারের মডেল যা যোগ করে, আর যা সে সরিয়ে নেয় না

এই প্রদর্শন একটি শর্তেই সৎ: বলে দেওয়া, উপমাটি কোথায় থেমে যায়।

গবেষণা যা মেপেছে

একটি রেফারেন্স পর্যালোচনা আছে, যা বড় ভাষা-মডেলের হ্যালুসিনেশনের কারণ আর চেহারা শ্রেণিবদ্ধ করে, আর গবেষণার প্রস্তাবিত শনাক্তকরণ আর প্রশমনের পদ্ধতিগুলিও: প্রশ্নটি কয়েক বছর ধরেই পড়া হচ্ছে, তা মোটেও তুচ্ছ কিছু নয়।

একটি তত্ত্বগত কাজ আরও দূর যায় আর দাবি করে, শেখার তত্ত্বের ফল থেকে, যে সাধারণ সমস্যা-সমাধানকারী হিসেবে ব্যবহৃত একটি ভাষা-মডেলের জন্য কিছু পরিমাণ হ্যালুসিনেশন গাণিতিকভাবেই অনিবার্য। এই উপসংহার বিতর্কিতই থাকে: পরের কাজগুলি আপত্তি তোলে যে তার আনুষ্ঠানিক অনুমানগুলি মডেলের সত্যিকারের আর সসীম ব্যবহারে খাটে না। এই অমত সমস্যাটির থাকা নিয়ে নয়, কেবল তার ঠিক মাত্রা নিয়ে।

যে অভ্যাসটি রেখে দিতে হবে

এই অধ্যায় বলে না যে একটি মডেল যা লেখে তার সবটাকেই সন্দেহ করতে হবে: সে বলে, একটি উত্তরের দৃঢ়তাকে কখনও তার সঠিকতার সঙ্গে গুলিয়ে ফেলা চলবে না। হিসাবের কোনো কলকৌশল দুটিকে জুড়ে রাখে না: সেগুলি একসঙ্গে মিলতে পারে, আর ঠিক ততটাই সহজে না-ও মিলতে পারে, আর কোনো সংকেতই তা আলাদা করে দেয় না।

তাই যা একটি যাচাই শুরু করবে, তা কখনও উত্তরের সুর নয়। তা হলো যা দাবি করা হচ্ছে তার ধরন: একটি নির্দিষ্ট তারিখ, একটি সংখ্যা, একটি তথ্যসূত্র, একটি উদ্ধৃতি, একটি নাম, একটি ঠিকানা, এমন সবকিছু যা তাকে বহন করা বাক্যের ঢঙ থেকে আলাদা করেই সত্য বা মিথ্যা হতে পারে। একটি খুঁটিনাটি যত নির্দিষ্ট আর যাচাইযোগ্য, তত বেশি সে একটি বাইরের উৎস পাওয়ার যোগ্য: কারণ ঠিক সেখানেই মডেলের সাবলীলতা একই থাকে, তার হাতে উপাদান থাকুক বা সে তা বানিয়ে দিক।

মডেলকে জিজ্ঞেস করা সে নিজের ব্যাপারে নিশ্চিত কি না, তাতে কোনো কাজ হয় না: এই প্রশ্নের উত্তরটিও সেই একই হিসাবেই তৈরি, সত্যের কোনো ভেতরের মাপে পৌঁছানো ছাড়াই। কাজের প্রশ্নটি সব সময়ই: এই দাবিটির কোনো স্বতন্ত্র আর যাচাইযোগ্য উৎস অন্য কোথাও আছে কি? উত্তর যখন না, সেটিই উত্তর।

আরও দূর যেতে

বিন্যাস আর তোলার কলকৌশল ব্যাখ্যা করা আছে পরের শব্দ অধ্যায়ে। একই হিসাবের আরেকটি পরিণাম, কর্পাসের পক্ষপাতের ফিরে আসা, সামলানো হয়েছে পক্ষপাত কোথা থেকে আসে অধ্যায়ে। যে পরিস্থিতিতে যন্ত্রটি পুরোপুরি বন্ধ হয়ে যায়, সেগুলি এক জায়গায় আছে কখন এটি ব্যবহার করবেন না-তে। সাইটের সব প্রদর্শন এক জায়গায় আছে প্রদর্শন পাতায়, আর পাঠক্রমের সূচি আছে বোঝা পাতায়।

উৎস

• Why Language Models Hallucinate Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, 2025। প্রমাণ করে যে এখনকার প্রশিক্ষণ আর বিশেষ করে মূল্যায়নের পদ্ধতিগুলি অনিশ্চয়তা স্বীকার করার বদলে একটি সম্ভাব্য উত্তর আন্দাজ করাকেই পুরস্কার দেয়, ঠিক যেমন একজন শিক্ষার্থী একটি বহুনির্বাচনী পরীক্ষায় উত্তর খালি রাখার বদলে আন্দাজ করেন।
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, Ting Liu, 2023। প্রমাণ করে যে বড় ভাষা-মডেলের হ্যালুসিনেশনের কারণ আর চেহারা, আর গবেষণার প্রস্তাবিত শনাক্তকরণ ও প্রশমনের পদ্ধতিগুলি শ্রেণিবদ্ধ করা একটি রেফারেন্স পর্যালোচনা আছে।
• Hallucination is Inevitable: An Innate Limitation of Large Language Models Ziwei Xu, Sanjay Jain, Mohan Kankanhalli, 2024। শেখার তত্ত্বের ফল থেকে প্রমাণ করে যে সাধারণ সমস্যা-সমাধানকারী হিসেবে ব্যবহৃত একটি ভাষা-মডেলের জন্য কিছু পরিমাণ হ্যালুসিনেশন গাণিতিকভাবেই অনিবার্য। ফলটি বিতর্কিত: পরের কাজগুলি আপত্তি তোলে যে তার আনুষ্ঠানিক অনুমানগুলি মডেলের সত্যিকারের আর সসীম ব্যবহারে খাটে না।
• Le Tour du monde en quatre-vingts jours Jules Verne, J. Hetzel et Compagnie, 1873, পাবলিক ডোমেইন। প্রতিলিপি: Wikisource। একই কর্পাস, একইভাবে ছোঁয়া, যেমন পরের শব্দ অধ্যায়ে: অ্যাপোস্ট্রফি টাইপোগ্রাফিক করা, প্রতিলিপির ড্যাশ আর উদ্ধৃতিচিহ্ন সরানো, ইটালিকের চিহ্ন সরানো, অধ্যায়ের শিরোনাম আর সূচিপত্র বাদ দেওয়া, চল্লিশটি অক্ষরের চেয়ে ছোট অনুচ্ছেদ বাদ দেওয়া।