স্কুলে AI-শনাক্তকারী

AI-তে তৈরি পাঠ শনাক্ত করার একটি যন্ত্র একটি সহজ প্রশ্নের সহজ উত্তরের প্রতিশ্রুতি দেয়: এই লেখাটি একজন মানুষ লিখেছেন নাকি একটি যন্ত্র? এই যন্ত্রগুলি নিয়ে প্রকাশিত গবেষণা অন্য কথা বলে: তারা ভুল করে, আর তাদের ভুল সবার উপরে এলোমেলোভাবে পড়ে না। তবু স্কুল-প্রতিষ্ঠানগুলি এই যন্ত্রগুলি নিজেদের খাতা দেখার প্রক্রিয়ায় আগেই ঢুকিয়ে নিচ্ছে, প্রায়ই একটি স্কোরের সত্যিকারের অর্থ কী তা না জেনেই।

একটি শনাক্তকারী সত্যিই কী মাপে

একটি শনাক্তকারী আঙুলের ছাপের মতো একটি যন্ত্রের রেখে যাওয়া কোনো স্বাক্ষর চিনে নেয় না। সে একটি লেখার পরিসংখ্যানগত নিয়মিততা, অর্থাৎ তার একের পর এক শব্দগুলি কতটা আগে থেকে বলা যায়, তার সঙ্গে মিলিয়ে দেখে, একটি ভাষা-মডেলের তৈরি লেখাকে সাধারণত যা চিহ্নিত করে। ফলটি একটি সম্ভাবনার স্কোর, কোনো প্রমাণ নয়: একই যন্ত্র একই লেখাটি একটুখানি নতুন করে সাজালেই নিজের রায় বদলে দিতে পারে।

দুটি ভুল, আর তাদের দাম একই জায়গায় পড়ে না

একটি শনাক্তকারী দুই ভাবে ভুল করতে পারে: একটি মানুষের লেখাকে ভুল করে তৈরি বলে দোষ দেওয়া, নয়তো একটি তৈরি করা লেখাকে মানুষের বলে ছেড়ে দেওয়া। 2023 সালের একটি গবেষণা, Weixin Liang আর তাঁর সহলেখকদের করা, প্রথম ভুলটি একটি নির্দিষ্ট জায়গায় মাপে: ইংরেজির অ-মাতৃভাষীদের লেখা রচনাগুলি নিয়ম করেই AI-তে তৈরি বলে ধরা পড়ে, যদিও মাতৃভাষীদের লেখা রচনা, একই রকম একটি বিষয়ে, ঠিকই মানুষের বলে চেনা যায়। কারণটি শব্দভাণ্ডারে: কম বৈচিত্র্যময়, আরও আগে থেকে বলা যায় এমন বাক্যগঠন, যা পরিসংখ্যানে একটি মডেলের তৈরি লেখার মতো দেখতে, যদিও কোনো মডেল তাতে কখনও হাতই দেয়নি।

এই বিষয়ে সবচেয়ে বড় স্বতন্ত্র মূল্যায়নটি, 2023 সালে Debora Weber-Wulff আর 7 জন সহলেখকের করা, 14টি যন্ত্র পরীক্ষা করে: 12টি সর্বসাধারণের জন্য খোলা আর 2টি বাণিজ্যিক, যেগুলি স্কুল-প্রতিষ্ঠানগুলি আগেই ব্যবহার করছে। উপসংহার: 14টির একটিও একই সঙ্গে নির্ভরযোগ্য আর নির্ভুল নয়। প্রধান পক্ষপাতটি আগের গবেষণার তুলনায় উলটে যায়: এই যন্ত্রগুলি একটি তৈরি করা লেখা ঠিকভাবে শনাক্ত করার বদলে একটি লেখাকে মানুষের বলে ধরার দিকেই ঝোঁকে, আর লেখাটিতে একটুখানি বদল প্রায়ই তাদের বোকা বানাতে যথেষ্ট।

একজন তৈরিকারক নিজের যন্ত্রই তুলে নেন

OpenAI 2023 সালের জানুয়ারিতে এমন একটি ক্লাসিফায়ার চালু করে, যার কাজ ছিল একটি মানুষের লেখা আর তার নিজের মডেলে তৈরি একটি লেখার তফাত করা। ছয় মাস পরে প্রতিষ্ঠানটি তা তুলে নেয়। 2023 সালের 20 জুলাই তারা যন্ত্রটির পরিচিতির পাতাটি হালনাগাদ করে তার কম নির্ভুলতার হারের কারণে তুলে নেওয়ার কথা ঘোষণা করে, আর 25 জুলাই এই তথ্যটি তুলে ধরে TechCrunch সাইট, যারা চালুর সময় নিজেরাই যন্ত্রটি পরীক্ষা করেছিল।

যে তৈরিকারক নিজের মডেলটি সবচেয়ে ভালো চেনেন, তিনিই তা থেকে একটি নির্ভরযোগ্য শনাক্তকারী বানাতে পারেননি।

নিজের মডেল চেনার জন্য সবচেয়ে ভালো জায়গায় থাকা প্রতিষ্ঠানটিও যদি না পারে, তবে কঠিনটি কোনো সাময়িক চেষ্টার ঘাটতিতে নেই: সে কাজটির নিজের প্রকৃতিতেই আছে।

ভুলের দাম কে দেয়

ভুলের দুটি দিকের চাপ একই মানুষদের উপরে পড়ে না। বড় বেশি সন্দেহপ্রবণ একটি শনাক্তকারী সবার আগে শাস্তি দেয় সেই শিক্ষার্থীকে, যিনি নিজের নয় এমন একটি ভাষায় লেখেন, বা যিনি কেবল সাদামাটা আর নিয়মিত ভাবেই লেখেন। বড় বেশি আত্মবিশ্বাসী একটি শনাক্তকারী একটি তৈরি করা লেখা কাউকে না জানিয়েই ছেড়ে দেয়। দুই ক্ষেত্রেই দেখানো স্কোরটির একটি বস্তুনিষ্ঠ মাপের চেহারা থাকে, যদিও এখানে উদ্ধৃত প্রকাশ্য গবেষণাগুলির একটিও একটি প্রতিষ্ঠানের মাপে তাকে নির্ভরযোগ্য বলে অনুমোদন করে না। যখন একটি সিদ্ধান্ত এই স্কোরের উপরে দাঁড়ায়, প্রমাণের ভারটি প্রায়ই অভিযুক্ত শিক্ষার্থীর দিকেই সরে যায়, যাঁকে তখন এমন একটি কাজের সাফাই দিতে হয়, যা কোনো অনুমোদিত যন্ত্রই নিজের দিক থেকে নিশ্চিতভাবে সমর্থন বা খণ্ডন করতে পারে না।

একটি শনাক্তকরণের স্কোর যা করতে দেয়, আর যা করতে দেয় না:

The AI Manual-এর যাঁরা পড়ান তাঁদের জন্য বানানো পথটি একটি সন্দেহের সামনে কীভাবে সাড়া দিতে হয়, তা নিয়ে আবার কথা বলে, একটি পরিসংখ্যানগত স্কোরকে রায়ে না বদলেই।

উৎস

• GPT detectors are biased against non-native English writers Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, 2023।
• OpenAI scuttles AI-written text detector over ‘low rate of accuracy’ Devin Coldewey, TechCrunch, 2023।
• Testing of detection tools for AI-generated text Debora Weber-Wulff et al., 2023।

ব্লগে ফিরে যান