শব্দগুলি, একটি একটি করে

প্রতিটি ভুক্তি একটি নোঙর বহন করে: পাঠক্রমের একটি অধ্যায় সোজা তার উপরেই পাঠাতে পারে। কোনো অর্থের ভেতরে লিংক দেওয়া একটি শব্দের নিজেরও নিজের একটি ভুক্তি আছে, এই তালিকার উপরে বা নিচে।

দৃঢ়তা

একটি উত্তরের নিশ্চিত সুর, সে ঠিক হোক বা না হোক। একটি মডেল বানিয়ে বলার সময় গলা নামায় না: তার বলার ধরনের কিছুই একটি যাচাই করা তথ্য আর একটি হ্যালুসিনেশন-এর তফাত করে না। তাই একটি উত্তরের দৃঢ়তা কখনও তার সঠিকতার প্রমাণ নয়।

যন্ত্র-শিখন

পদ্ধতির সেই পরিবার, যেখানে একটি প্রোগ্রাম নিজের আচরণ ঠিক করে নেয় উদাহরণ থেকে, একটি একটি করে হাতে লেখা নিয়ম মেনে চলার বদলে। একটি ভাষা-মডেল আর একটি ছবি-জেনারেটর তার দুটি প্রয়োগ। গভীর শিখন আজ তার সবচেয়ে বেশি ব্যবহৃত শাখা।

গভীর শিখন

অনেকগুলি স্তর একের উপরে এক সাজানো একটি নিউরাল নেটওয়ার্ক দিয়ে যন্ত্র-শিখন করার একটি উপায়। প্রতিটি স্তর আগের স্তর থেকে পাওয়া তথ্যকে আরও একটু বদলে দেয়, আর তাতে এমন নিয়ম চোখে পড়ে, যা হাতে লেখা কোনো নিয়ম ধরতে পারত না। এখনকার ভাষা-মডেল আর ছবি-জেনারেটরের পিছনে এই কৌশলটিই আছে।

দাগ

একটি ছবি বা একটি শব্দ তৈরির সময় রেখে যাওয়া একটি চিহ্ন, চোখে বা কানে অদৃশ্য কিন্তু হিসাবে মাপা যায়। যে কাজগুলি তৈরির সময় একটি ছবি বড় করে, সেগুলি যেমন একটি নিয়মিত ছাপ রেখে যায়, যা ফাইলের কম্পাঙ্কের খুঁটিনাটিতে চোখে পড়ে। একটি দাগ একটি বানানো ছবি চিনে নিতে সাহায্য করে, তবে সাম্প্রতিক মডেলগুলি ক্রমশ কম দাগ রাখছে।

পক্ষপাত

মডেল যে নিয়মিত হেলে থাকাটি ফিরিয়ে দেয়, যা সে তার প্রশিক্ষণ দেওয়া কর্পাস-এর নিয়মে শিখেছে, কখনও নিজে গড়ে তোলা কোনো মত নয়। তথ্য যদি কোনো পেশাকে একটি লিঙ্গের সঙ্গে বেশি বার জোড়ে, মডেল সেই একই যোগটিই ফিরিয়ে দেবে, সেই একই মাত্রায়। প্রতিনিধিত্বের পক্ষপাত তার একটি বিশেষ চেহারা: যেটি তথ্যে যা বেশি আছে তার থেকে নয়, বরং তথ্যে যা নেই তার থেকেই আসে।

প্রতিনিধিত্বের পক্ষপাত

সেই পক্ষপাত, যা আসে প্রশিক্ষণের তথ্যে একটি দল, একটি পরিস্থিতি বা একটি ভাষা অনুপস্থিত বা কম থাকার থেকে, কোনো বিকৃত যোগ থেকে নয়। ছবি দিয়ে শ্রেণিবদ্ধ করার একটি ব্যবস্থা এভাবেই গাঢ় ত্বকের মহিলাদের ক্ষেত্রে 34.7% পর্যন্ত ভুলের হার দেখিয়েছে, আর হালকা ত্বকের পুরুষদের ক্ষেত্রে 0.8%, একটি ফারাক যা শেখার তথ্যের গড়নের সঙ্গে জড়ানো। তথ্যে যা নেই, মডেল তা ফিরিয়ে দিতে পারে না: সে তাতে ভুল করে না, সে তা জানেই না।

ব্ল্যাক বক্স

এমন একটি ব্যবস্থা, যার উত্তর দেখা যায় কিন্তু ভেতরের যুক্তি পড়া যায় না, এমনকি যিনি তা বানিয়েছেন তাঁরও নয়। একটি ভাষা-মডেল এই অর্থেই একটি ব্ল্যাক বক্স: তার প্যারামিটার, অর্থাৎ প্রশিক্ষণ-এর সময় সাজানো শত কোটি সংখ্যা, একটি একটি করে কেউ পড়তে পারে এমন কোনো আলাদা অর্থ বহন করে না। এতে ব্যবস্থাটি হাতে-কলমে কী করে তা পরীক্ষা করা আটকায় না, কেবল সে ঠিক কেন তা এভাবেই করে, তা ব্যাখ্যা করাই আটকায়।

কণ্ঠ-নকল

এমন একটি কৌশল, যা একটি শব্দ-নমুনা থেকে একজন নির্দিষ্ট মানুষের কণ্ঠ আবার তৈরি করে, তাঁকে এমন একটি বাক্য বলাতে যা তিনি কখনও বলেননি। একটি মার্কিন সরকারি কর্তৃপক্ষ এভাবেই একটি সত্যিকারের অভিযান নথিবদ্ধ করেছে আর শাস্তি দিয়েছে, যেখানে একটি নির্বাচনের আগে ভোটারদের কাছে একজন রাজনৈতিক নেতাকে নকল করা একটি নকল কণ্ঠ ব্যবহার করা হয়েছিল। এটি বিশেষভাবে কণ্ঠে প্রয়োগ করা ডিপফেক-এর একটি চেহারা।

কর্পাস

লেখা, ছবি বা শব্দের সেই সমষ্টি, যার উপরে একটি মডেল শেখে, নিয়ম পাওয়ার তার একমাত্র উৎস। একটি ডেটাসেট হলো একটি নির্দিষ্ট ব্যবহারের জন্য সাজানো আর নথিভুক্ত করা একটি কর্পাস; কর্পাস শব্দটি বোঝায় কাঁচা বিষয়বস্তুটিকে, এই কাজের আগে। কর্পাসে যা নেই, তা মডেলের কাছে কোনোভাবেই নেই: না বিরল কিছু হিসেবে, না মিথ্যা কিছু হিসেবে।

শনাক্তকারী

এমন একটি যন্ত্র, যা দাবি করে সে বলতে পারে একটি লেখা, একটি ছবি বা একটি কণ্ঠ কোনো মডেলে তৈরি কি না। চোদ্দটি পাঠ-শনাক্তকারীর একটি স্বতন্ত্র মূল্যায়ন, যার মধ্যে শিক্ষাক্ষেত্রে বিক্রি হওয়া বাণিজ্যিক যন্ত্রও ছিল, একই সঙ্গে নির্ভরযোগ্য আর নির্ভুল একটিও পায়নি। একটি শনাক্তকারী কখনও কোনো রায় দেয় না: সবচেয়ে ভালো হলে, মিলিয়ে দেখার মতো একটি ইশারা।

সম্ভাবনার বিন্যাস

একটি লেখা এগিয়ে নিতে সম্ভাব্য টোকেনগুলির তালিকা, প্রতিটির সঙ্গে শূন্য আর একের মধ্যে একটি সংখ্যা যা তার সম্ভাবনা বলে, আর সবগুলির যোগফল এক। মডেল প্রতিটি ধাপে এই তালিকাটি হিসাব করে, তার পর একটি নমুনায়ন তার ভেতর থেকে একটি টোকেন বেছে নেয়। তাপমাত্রা, টপ-k আর টপ-p হলো এই তালিকায় তোলার আগে তাকে ছোঁয়ার তিনটি উপায়।

নমুনায়ন

সেই কাজ, যা মডেলের হিসাব করা সম্ভাবনার বিন্যাস থেকে একটি টোকেন বেছে নেয়, নিয়ম করে সবচেয়ে সম্ভাব্যটিই নেওয়ার বদলে। সব সময় সবচেয়ে সম্ভাব্যটি নিলে লেখা হয় সমান আর একঘেয়ে; সম্ভাবনা অনুযায়ী তোলা, দরকার হলে তাপমাত্রা, টপ-k বা টপ-p দিয়ে আবার সাজানো, আরও স্বাভাবিক একটি লেখা দেয়।

প্রশিক্ষণ

সেই হিসাব, যা কোনো কিছু চালু করার আগে একবারই চালানো হয়, আর যা একটি মডেলের প্যারামিটার সাজিয়ে দেয়, যাতে সে তার কর্পাস-এর নিয়মগুলি ক্রমশ ভালোভাবে ফিরিয়ে দিতে পারে। প্রশিক্ষণ একবার শেষ হলে এই প্যারামিটারগুলি স্থির হয়ে যায়: তার পর একটি উত্তর তৈরি করতে সেগুলি ব্যবহার করা একটি আলাদা কাজ, অনুমিতি। একটি সূক্ষ্ম সমন্বয় হলো একটি দ্বিতীয় প্রশিক্ষণ, আরও ছোট, আরও সংকীর্ণ একটি কর্পাসে।

প্রশিক্ষণের তথ্য টেনে বের করা

মডেলকে একটি সাধারণ প্রশ্ন করেই এমন একটি অংশ পাওয়া, যা তার প্রশিক্ষণের কর্পাসে হুবহু ছিল। গবেষকরা এভাবেই সত্যিই উৎপাদনে নামা মডেল থেকে, একটি সহজ পদ্ধতিতে, গিগাবাইট পরিমাণ প্রশিক্ষণের তথ্য টেনে বের করেছেন। এটিই মুখস্থ রাখা-র সবচেয়ে সোজা প্রমাণ: এটি আর কোনো তত্ত্বগত সম্ভাবনা নয়, এটি আবার পাওয়া একটি লেখা।

ভুল ধনাত্মক আর ভুল ঋণাত্মক

একটি শনাক্তকারী যে দুই ভাবে ভুল করে: ভুল ধনাত্মক একটি মানুষের লেখা বিষয়বস্তুকে মডেলে তৈরি বলে দোষ দেয়, ভুল ঋণাত্মক একটি মডেলে তৈরি বিষয়বস্তু মানুষের বলে ছেড়ে দেয়। বহুল ব্যবহৃত কয়েকটি পাঠ-শনাক্তকারী এভাবেই ইংরেজির অ-মাতৃভাষীদের লেখার বড় অংশকেই ভুল করে যন্ত্রে তৈরি বলে ধরে, যদিও মাতৃভাষীদের লেখা তারা ঠিকই চিনে নেয়: এই ভুল ধনাত্মক এলোমেলোভাবে ছড়ানো নয়। যে যন্ত্র এই দুই ঝুঁকির একটি কমাতে চায়, সে প্রায় সব সময়ই অন্যটি বাড়িয়ে দেয়।

প্রসঙ্গের জানালা

একটি মডেল তার উত্তর হিসাব করতে একবারে যতটা লেখা হিসাবে নিতে পারে, তার সর্বোচ্চ পরিমাণ, টোকেন-এ গোনা। এই জানালার আগে যা লেখা হয়েছে, তা চলতি হিসাবে আর ঢোকে না, ঠিক যেন সে কখনও ছিলই না। জানালার চেয়ে লম্বা একটি নথিকে গোটাটা মডেলের হাতে দেওয়ার আগে কাটতে বা সারসংক্ষেপ করতে হয়।

জলছাপ

একটি তৈরি করা বিষয়বস্তুতে ইচ্ছে করে বসানো একটি সংকেত, সাধারণ ব্যবহারে অদৃশ্য, যা একটি নির্দিষ্ট যন্ত্র আবার খুঁজে বের করতে পারে। একটি লেখায় সে প্রতিটি ধাপে কিছু শব্দের প্রতি একটুখানি পরিসংখ্যানগত পক্ষপাতের চেহারা নিতে পারে, এমন একটি পক্ষপাত যা পড়ে বোঝার মতো নয় কিন্তু হিসাবে ধরা যায়, আর এই পদ্ধতি ইতিমধ্যেই প্রকাশিত আর সমকক্ষ-পর্যালোচিত। একটি জলছাপ ধরে নেয় যে যে যন্ত্র তা বসিয়েছে, বা যে অন্য যন্ত্র তার পদ্ধতি জানে, তা খুঁজতে এখনও আছে।

ছবি-জেনারেটর

এমন একটি ব্যবস্থা, যা লেখায় দেওয়া একটি বর্ণনা থেকে একটি নতুন ছবি তৈরি করে। আজ তার জন্য সবচেয়ে বেশি ব্যবহৃত পদ্ধতি হলো ডিফিউশন মডেল। একটি ভাষা-মডেল-এর মতোই একটি ছবি-জেনারেটর এমন কোনো সত্যিকারের দৃশ্য দেখেনি যা সে নকল করবে: সে তার প্রশিক্ষণের কর্পাসের দৃশ্যগত নিয়ম থেকে একটি সম্ভাব্য ছবি জোড়া লাগায়।

হ্যালুসিনেশন

এমন একটি উত্তর, যা বানানো কিন্তু একটি ঠিক উত্তরের সেই একই দৃঢ়তা-য় বলা। সে অন্য যে কোনো উত্তরের মতোই একই হিসাব থেকে বেরোয়: মডেলের কার্যপ্রণালীর কিছুই একটি যাচাই করা তথ্য আর একটি সম্ভাব্য বাড়ানো কথার তফাত করে না, আর এখনকার প্রশিক্ষণ ও মূল্যায়নের পদ্ধতিগুলি অনিশ্চয়তা স্বীকার করার বদলে একটি সম্ভাব্য উত্তরকেই পুরস্কার দেয়। একটি তত্ত্বগত কাজ দাবি করে যে এই ধরনের মডেলের জন্য কিছু পরিমাণ হ্যালুসিনেশন গাণিতিকভাবেই অনিবার্য; উপসংহারটি বিতর্কিতই থাকে, অন্য কাজগুলি আপত্তি তোলে যে তার অনুমানগুলি সত্যিকারের ব্যবহারে খাটে না।

ডিপফেক

একটি মডেলে বানানো বা বদলানো একটি ছবি, একটি ভিডিও বা একটি শব্দ, যা কখনও ঘটেনি এমন একটি ঘটনায় বিশ্বাস করাতে চায়। কণ্ঠ-নকল তার একটি চেহারা, কণ্ঠে প্রয়োগ করা। মানুষ-দর্শকরা আর নির্ভরযোগ্য ভাবে একটি সাম্প্রতিক কৃত্রিম মুখ আর একটি সত্যিকারের মুখের তফাত করতে পারেন না, আর গড়ে তাকেই আরও বেশি বিশ্বাসযোগ্য বলে বিচার করেন।

অনুমিতি

সেই হিসাব, যা আগেই প্রশিক্ষিত একটি মডেল থেকে একটি উত্তর তৈরি করে, তার বিপরীতে প্রশিক্ষণ, যা আগে তার প্যারামিটার স্থির করে দিয়েছে। প্রতিবার একটি নির্দেশ একটি উত্তর পায়, তখন এটিই ঘটে: কোনো প্যারামিটার বদলায় না, কেবল আগেই স্থির করা মানের উপরে একটি হিসাব চলে।

নির্দেশ (প্রম্পট)

একটি উত্তর পেতে একটি মডেলকে ইনপুটে দেওয়া লেখা। তার গড়ন মডেল যা ফিরিয়ে দেয় তা বদলে দেয়, কারণ সে ঠিক এই লেখাটি থেকেই, আর অন্য কিছু থেকেই নয়, তার ধারাবাহিকতা হিসাব করে। একটি নির্দেশ সাধারণ লেখাই থাকে: সে একটি প্রোগ্রামের অর্থে কিছুই আদেশ করে না, সে একটি সম্ভাব্য হিসাবকে দিক দেয়।

টোকেন

লেখার সেই সবচেয়ে ছোট একক, যা একটি মডেল নাড়াচাড়া করে, প্রায়ই একটি গোটা শব্দের চেয়ে ছোট। তখন একটি বিরল বা অচেনা শব্দ আগেই চেনা টুকরো দিয়ে গড়া কয়েকটি টোকেনে ভাগ হয়ে যায়, আর তাতে তাকে কখনও এভাবে না দেখেও সামলানো যায়। যে কোনো হিসাবের আগে প্রতিটি টোকেন সংখ্যায় বদলে নেওয়া হয়: একটি মডেল কখনও অক্ষর পড়ে না, সে সংখ্যা পড়ে।

ডেটাসেট

একটি নির্দিষ্ট ব্যবহারের জন্য সাজানো আর নথিভুক্ত করা একটি কর্পাস: তার গড়ন, তার উৎস আর তা কীভাবে সংগ্রহ করা হয়েছে, সেসবও জানা থাকার কথা, কেবল তার বিষয়বস্তুই নয়। এর জন্য 2018 সাল থেকে একটি মানসম্মত নথিভুক্তির প্রস্তাব আছে, যাতে চোখে পড়া একটি পক্ষপাত-এর উৎসে ফিরে যাওয়া যায়, মডেল নেমে যাওয়ার পরেই কেবল তা আবিষ্কার করার বদলে। নথিভুক্ত নয় এমন একটি ডেটাসেট আসলে একটি কর্পাস ছাড়া আর কিছুই নয়।

কৃত্রিম বুদ্ধিমত্তা বিষয়ক সাক্ষরতা

সেই সব জ্ঞান, করতে জানা আর মনোভাবের সমষ্টি, যা কৃত্রিম বুদ্ধিমত্তার একটি ব্যবস্থা ব্যবহার করতে, তাকে প্রশ্ন করতে আর কিছু পাঠকের জন্য তাকে গড়তে দেয়, চোখ বুজে তার হাতে নিজেকে ছেড়ে না দিয়ে। OECD আর ইউরোপীয় কমিশনের 2026 সালে প্রকাশিত একটি সাধারণ কাঠামো তার বর্ণনা দেয় দক্ষতার চারটি ক্ষেত্রে, প্রাথমিক আর মাধ্যমিক শিক্ষার জন্য ভাবা। এই কাঠামো আর তাকে পূর্ণ করা আন্তর্জাতিক কাঠামোগুলির বিস্তারিত এক জায়গায় আছে সরকারি কাঠামোগুলি পাতায়।

মুখস্থ রাখা

একটি মডেল তার প্রশিক্ষণের তথ্যের একটি টুকরো নতুন করে না বলে হুবহু ফিরিয়ে দিতে পারার ঘটনা। এই ঘটনাটি বাড়ে মডেলের আকারের সঙ্গে, তথ্যে একই বিষয়বস্তু যতবার নকল হয়েছে তার সঙ্গে, আর ধারাবাহিকতা চাওয়ার আগে প্রসঙ্গ হিসেবে দেওয়া লেখার দৈর্ঘ্যের সঙ্গে। মডেলের এমন কোনো ফাইল নেই, যেখানে এই লেখাটি আবার পাওয়া যাবে: বিষয়বস্তুটি তার প্যারামিটার বদলে দিয়েছে, আর কিছু ক্ষেত্রে এই বদলটিই তাকে প্রায় অক্ষত করে ফিরিয়ে দিতে পারে।

মেটাডেটা

একটি ফাইলের সঙ্গে জোড়া তথ্য, যা ফাইলটি নিজেকে নিয়েই, তার উৎস, তার তৈরির তারিখ, সে কী কী বদল সহ্য করেছে, সে যা দেখায় তাকে নিয়ে নয়। একটি উৎস-নথি-র তথ্য এক ধরনের মেটাডেটা। একটি মেটাডেটা একটি সাধারণ স্ক্রিনশটে বা অন্য একটি ফরম্যাটে সংরক্ষণেই মিলিয়ে যেতে পারে, আর তাতে প্রমাণ হিসেবে সে ভঙ্গুর হয়ে পড়ে।

ডিফিউশন মডেল

এমন একটি কৌশল, যা একটি এলোমেলো দৃশ্যগত নয়েজ থেকে শুরু করে একটি ছবি বানায়, তার পর ধাপে ধাপে সেই নয়েজ সরিয়ে একটি সম্ভাব্য ছবি ফুটিয়ে তোলে, লেখায় দেওয়া একটি বর্ণনার পথ ধরে। আজ ছবি-জেনারেটর-এর পিছনে এই পদ্ধতিটিই সবচেয়ে বেশি ব্যবহৃত। যে কোনো তৈরি ছবির মতোই ফলটি এমন একটি দাগ বহন করতে পারে, যা তার তৈরি হওয়াটি খুলে দেখায়, এমনকি খালি চোখে কিছুই দেখা না গেলেও।

ভাষা-মডেল

লেখার উপরে প্রশিক্ষিত এমন একটি ব্যবস্থা, যা আগে যা আছে তা থেকে এগিয়ে নেওয়ার জন্য সবচেয়ে সম্ভাব্য টোকেন হিসাব করে। একটি গোটা উত্তর জোড়া লাগাতে সে টোকেনের পর টোকেন ধরে এই হিসাবটিই আবার করে। এই হিসাবের পাশে সে কোনো তথ্যভাণ্ডার দেখে না: সে যা ফিরিয়ে দেয়, তার সবই সেই একই কাজ থেকেই আসে, সেটি একটি যাচাই করা তথ্য হোক বা একটি হ্যালুসিনেশন।

প্যারামিটার

মডেলের ভেতরের একটি সংখ্যা, প্রশিক্ষণ-এর সময় সাজানো, যা তার হিসাবের উপরে চাপ ফেলে। তাকে ভারও বলা হয়। একটি মডেলে সেগুলি শত কোটিতে গোনা হয়, আর তাদের একটিও, আলাদা করে নিলে, এমন কোনো অর্থ বহন করে না যা একজন মানুষ পড়তে পারেন: তাদের সমষ্টিই একটি কাজের হিসাব তৈরি করে, কখনও একটিমাত্র প্যারামিটার নয়।

এমবেডিং

একটি শব্দ বা একটি টোকেন-এর সংখ্যার একটি তালিকা হিসেবে প্রতিনিধিত্ব, প্রশিক্ষণ-এর সময় এমনভাবে গড়া যাতে কাছাকাছি প্রসঙ্গে ব্যবহৃত দুটি শব্দ কাছাকাছি তালিকা পায়। সাধারণ লেখার বড় কর্পাসের উপরে শেখা এমবেডিং এভাবেই মাপা যায় এমন লিঙ্গ-প্রথা ফিরিয়ে দেয়, যেমন কিছু পেশাকে এক লিঙ্গের সঙ্গে অন্যটির চেয়ে আরও জোরে জুড়ে দিয়ে। তাই একটি এমবেডিং শব্দগুলিকে নিয়ে যতটা বলে, তার মূল কর্পাস-কে নিয়েও ততটাই বলে।

উৎস-নথি

একটি ফাইলের উৎস আর তার বদলের ইতিহাসের যাচাইযোগ্য চিহ্ন, ফাইলের সঙ্গে জোড়া, তার বিষয়বস্তুর ভেতরে লুকানো নয়। একটি প্রকাশ্য কৌশলগত মান, C2PA, ঠিক করে দেয় কীভাবে এই তথ্য সই করা আর যাচাইযোগ্য ভাবে জুড়ে দেওয়া যায়। মানটি নিজেই মেনে নেয় যে এই তথ্য ফাইল থেকে আলাদা হয়ে যেতে পারে, আর তাই একটি সাধারণ স্ক্রিনশটেই হারিয়ে যেতে পারে: উৎস-নথি মূল ফাইলটিকে রক্ষা করে, তার নকলগুলিকে নয়।

সূক্ষ্ম সমন্বয় (ফাইন-টিউনিং)

একটি দ্বিতীয় প্রশিক্ষণ, আরও ছোট আর আরও সংকীর্ণ একটি কর্পাসে চালানো, যা আগেই প্রশিক্ষিত একটি মডেলকে একটি নির্দিষ্ট কাজ বা ঢঙের জন্য সাজিয়ে নেয়। সে শূন্য থেকে শুরু করার বদলে প্রথম প্রশিক্ষণে পাওয়া প্যারামিটার থেকেই শুরু করে। সূক্ষ্মভাবে সাজানো একটি মডেল একটি ভাষা-মডেল-ই থাকে: তার হিসাবের কলকৌশল বদলায় না, কেবল তার প্যারামিটারগুলিই একটুখানি সরে যায়।

নিউরাল নেটওয়ার্ক

সরল এককের স্তর দিয়ে গড়া একটি হিসাবের কাঠামো, যার প্রতিটি একক নিজের প্যারামিটার দিয়ে সে যা পায় তা মিলিয়ে নেয়। নামটি এসেছে জৈব নিউরন থেকে নেওয়া একটি দূরের প্রেরণা থেকে, তবে নেটওয়ার্কের একটি একক ভাবে না, যেমন একটি একা নিউরনও ভাবে না: প্রশিক্ষণ দিয়ে গোটাটির সাজানোই একটি কাজের হিসাব তৈরি করে। ট্রান্সফরমার আজ লেখার জন্য এই ধরনের সবচেয়ে বেশি ব্যবহৃত স্থাপত্য।

মুক্ত সোর্স

এমন একটি মডেল, যার কোড, যার প্যারামিটার, বা দুটিই প্রকাশ করা হয়েছে, যাতে অন্যরা সেগুলি খুঁটিয়ে দেখতে, আবার ব্যবহার করতে বা যাচাই করতে পারেন, কেবল একটি বন্ধ পরিষেবার ভেতর দিয়ে সেগুলিতে পৌঁছানোর বদলে। খোলা থাকা নিজে থেকে ব্যবহৃত প্রশিক্ষণের তথ্য নিয়ে কিছুই বলে না: একটি মডেল নিজের প্যারামিটার প্রকাশ করতে পারে আর তার কর্পাস কখনও নথিভুক্ত না করতেও পারে। তাই “মুক্ত সোর্স” আর “নথিভুক্ত ডেটাসেট” দুটি আলাদা নিশ্চয়তাই থাকে, যা কমই একসঙ্গে মেলে।

তাপমাত্রা

এমন একটি সেটিং, যা নমুনায়ন-এর আগে মডেলের হিসাব করা সম্ভাবনার বিন্যাস নরম বা শক্ত করে। বেশি তাপমাত্রা আলাদা আলাদা সম্ভাব্য শব্দের সম্ভাবনাগুলি কাছাকাছি আনে, আর তাতে বাছাইগুলি কম আগে থেকে বলা যায় এমন হয়; কম তাপমাত্রা আগেই সবচেয়ে সম্ভাব্য শব্দটির পক্ষে ফারাকটি বাড়িয়ে দেয়। এটি কোনো ভৌত মাপ নয়: শব্দটি ধার করা পরিসংখ্যানগত পদার্থবিদ্যার একটি সূত্র থেকে, কোনো সত্যিকারের উত্তাপের সঙ্গে সম্পর্ক ছাড়াই।

টোকেনায়ন

যে কোনো হিসাবের আগে একটি লেখাকে টোকেন-এ ভাগ করার কাজ। আজ সবচেয়ে বেশি ব্যবহৃত পদ্ধতিটি মূলত এসেছে 1994 সালের একটি তথ্য-সংকোচনের অ্যালগরিদম থেকে, যা বানানোর সময় ভাষার সঙ্গে তার কোনো সম্পর্কই ছিল না। আলাদা আলাদা ভাষায় অনূদিত একই একটি বিষয়বস্তু ভাষা অনুযায়ী পনেরো গুণ পর্যন্ত বেশি টোকেন চাইতে পারে, আর তাতে কিছু ভাষা অন্যদের চেয়ে বেশি ধীর আর বেশি খরচের হয়ে যায়।

টপ-k

এমন একটি পদ্ধতি, যা প্রতিটি ধাপে তোলাকে সবচেয়ে সম্ভাব্য k-টি টোকেনে বেঁধে দেয়, যেখানে k আগে থেকে ঠিক করা একটি সংখ্যা। এতে সবচেয়ে কম সম্ভাব্য টোকেনগুলি নমুনায়ন-এর আগেই সরে যায়, আর তাতে ফলটি পুরোপুরি আগে থেকে বলা যায় এমন না করেই বড় বেশি অসম্ভাব্য একটি বাছাই এড়ানো যায়।

টপ-p

এমন একটি পদ্ধতি, যা তোলাকে সেই সবচেয়ে ছোট টোকেন-দলে বেঁধে দেয়, যাদের জমা সম্ভাবনা p-তে পৌঁছায়, টপ-k-র মতো একটি স্থির সংখ্যায় নয়। তাই এই দলটির আকার এক ধাপ থেকে অন্য ধাপে বদলায়: চওড়া, যখন কয়েকটি শব্দ সম্ভাবনায় কাছাকাছি থাকে, আর ছোট, যখন একটি শব্দ বাকিদের অনেকটাই ছাড়িয়ে যায়। এই পদ্ধতিটি, যাকে নিউক্লিয়াস নমুনায়নও বলা হয়, সবচেয়ে সম্ভাব্য শব্দটি নিয়ম করে বেছে নেওয়ার জায়গা নেয়, যেটি বেশি সমান আর একঘেয়ে।

ট্রান্সফরমার

এখনকার ভাষা-মডেলের পিছনে থাকা নিউরাল নেটওয়ার্ক-এর স্থাপত্য। একটি লেখা কঠিন ক্রমে টোকেনের পর টোকেন পড়ার বদলে সে প্রসঙ্গের জানালা-র প্রতিটি টোকেনকে বাকি সব টোকেনের সঙ্গে একবারেই মিলিয়ে দেখে, আর একে অন্যের তুলনায় তাদের গুরুত্ব ওজন করে নেয়। একসঙ্গে মিলিয়ে দেখার এই কলকৌশলটিই আগের চেয়ে অনেক বড় কর্পাসের উপরে মডেল প্রশিক্ষণ দেওয়ার সুযোগ করে দিয়েছে।

ধারণাগুলি কাজে দেখা

এই শব্দকোষ শব্দভাণ্ডার ঠিক করে দেয়। বোঝা পাঠক্রম অধ্যায়ের পর অধ্যায় তা ব্যবহার করে, আর প্রদর্শনগুলি তাকে নড়াচড়া করায়: সেখানে একটি তাপমাত্রা সেট করা হয়, একটি কর্পাস বিকৃত করা হয়, একটি জলছাপ ফুটে উঠতে দেখা যায়।

উৎস

যে অর্থগুলি একটি নির্দিষ্ট তথ্য দাবি করে, তারা এখানে, শব্দ ধরে ধরে, তা জুড়ে দেয়, প্রতিটি অর্থকে ভারী না করেই।

• Detecting and Simulating Artifacts in GAN Fake Images, Xu Zhang, Svebor Karaman, Shih-Fu Chang, 2019। দাগ। তৈরি করা ছবির অতি-নমুনায়নের অংশটি একটি বৈশিষ্ট্যপূর্ণ আর আবার করা যায় এমন স্পেকট্রাল ছাপ রেখে যায়।
• Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, Joy Buolamwini, Timnit Gebru, 2018। প্রতিনিধিত্বের পক্ষপাত। ছবি দিয়ে লিঙ্গ শ্রেণিবদ্ধ করার বাণিজ্যিক ব্যবস্থাগুলি গাঢ় ত্বকের মহিলাদের ক্ষেত্রে 34.7% পর্যন্ত ভুলের হার দেখিয়েছে, আর হালকা ত্বকের পুরুষদের ক্ষেত্রে 0.8%।
• FCC Makes AI-Generated Voices in Robocalls Illegal (FCC 24-17 ঘোষণা), Federal Communications Commission (FCC), 2024। কণ্ঠ-নকল। একটি মার্কিন সরকারি কর্তৃপক্ষ নকল কণ্ঠে করা একটি সত্যিকারের প্রতারণার অভিযান নথিবদ্ধ করেছে আর শাস্তি দিয়েছে, যেখানে একটি নির্বাচনের আগে একজন রাজনৈতিক নেতাকে নকল করা হয়েছিল।
• Testing of detection tools for AI-generated text, Debora Weber-Wulff et al., 2023। শনাক্তকারী। চোদ্দটি শনাক্তকারী যন্ত্রের মূল্যায়ন: একটিও একই সঙ্গে নির্ভরযোগ্য আর নির্ভুল নয়।
• The Curious Case of Neural Text Degeneration, Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi, 2020। নমুনায়ন আর টপ-p। নিয়ম করে সবচেয়ে সম্ভাব্য শব্দটি বেছে নিলে লেখা হয় সমান আর একঘেয়ে; নিউক্লিয়াস নমুনায়ন, যা বিন্যাসের কম নির্ভরযোগ্য অংশটি ছেঁটে দেয়, আরও স্বাভাবিক একটি লেখা দেয়।
• Scalable Extraction of Training Data from (Production) Language Models, Milad Nasr et al., 2023। প্রশিক্ষণের তথ্য টেনে বের করা। সত্যিই উৎপাদনে নামা মডেল থেকে, একটি সহজ আক্রমণে, গিগাবাইট পরিমাণ প্রশিক্ষণের তথ্য টেনে বের করা গেছে।
• GPT detectors are biased against non-native English writers, Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, 2023। ভুল ধনাত্মক আর ভুল ঋণাত্মক। বহুল ব্যবহৃত কয়েকটি শনাক্তকারী ইংরেজির অ-মাতৃভাষীদের লেখার বড় অংশকেই ভুল করে AI-তে তৈরি বলে ধরে, যদিও মাতৃভাষীদের লেখা তারা ঠিকই চিনে নেয়।
• A Watermark for Large Language Models, John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein, 2023। জলছাপ। একটি তৈরি করা লেখায় মানুষের চোখে অদৃশ্য একটি পরিসংখ্যানের জলছাপ বসানো সম্ভব, আর তার পর একটি পরিসংখ্যানের পরীক্ষায় তা শনাক্ত করা সম্ভব।
• Scalable watermarking for identifying large language model outputs, Sumanth Dathathri, Abigail See, Sumedh Ghaisas, Po-Sen Huang, Rob McAdam, Johannes Welbl, et al., 2024। জলছাপ। লেখা তৈরির সঙ্গে জোড়া একটি পরিসংখ্যানের জলছাপ Nature পত্রিকায় প্রকাশিত আর সমকক্ষ-পর্যালোচিত হয়েছে।
• Why Language Models Hallucinate, Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, 2025। হ্যালুসিনেশন। এখনকার প্রশিক্ষণ আর মূল্যায়নের পদ্ধতিগুলি অনিশ্চয়তা স্বীকার করার বদলে একটি সম্ভাব্য উত্তর তৈরি করাকেই পুরস্কার দেয়।
• Hallucination is Inevitable: An Innate Limitation of Large Language Models, Ziwei Xu, Sanjay Jain, Mohan Kankanhalli, 2024। হ্যালুসিনেশন। বিতর্কিত: এই কাজ দাবি করে যে এই ধরনের মডেলের জন্য কিছু পরিমাণ হ্যালুসিনেশন গাণিতিকভাবেই অনিবার্য; পরের কাজগুলি আপত্তি তোলে যে তার অনুমানগুলি মডেলের সত্যিকারের আর সসীম ব্যবহারে খাটে না।
• AI-synthesized faces are indistinguishable from real faces and more trustworthy, Sophie J. Nightingale, Hany Farid, 2022। ডিপফেক। মানুষ-দর্শকরা আর নির্ভরযোগ্য ভাবে একটি কৃত্রিম মুখ আর একটি সত্যিকারের মুখের তফাত করতে পারেন না, আর কৃত্রিম মুখগুলিকেই গড়ে আরও বেশি বিশ্বাসযোগ্য বলে বিচার করেন।
• Datasheets for Datasets, Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, 2018। ডেটাসেট। একটি ডেটাসেটের উৎস, গড়ন আর সংগ্রহের ধরন নথিভুক্ত করার একটি মানসম্মত প্রস্তাব আছে।
• Empowering Learners for the Age of AI: An AI Literacy Framework for Primary and Secondary Education (“AILit Framework”), OECD আর ইউরোপীয় কমিশন, 2026। কৃত্রিম বুদ্ধিমত্তা বিষয়ক সাক্ষরতা। OECD আর ইউরোপীয় কমিশনের প্রকাশিত সাধারণ কাঠামো, প্রাথমিক আর মাধ্যমিক স্তরের জন্য দক্ষতার চারটি ক্ষেত্র।
• Quantifying Memorization Across Neural Language Models, Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, Chiyuan Zhang, 2023। মুখস্থ রাখা। তা বাড়ে মডেলের আকারের সঙ্গে, তথ্যে একটি উদাহরণের নকল হওয়ার সঙ্গে, আর প্রসঙ্গ হিসেবে দেওয়া লেখার দৈর্ঘ্যের সঙ্গে।
• Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings, Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, Adam Tauman Kalai, 2016। এমবেডিং। সাধারণ লেখার বড় কর্পাসের উপরে শেখা এমবেডিং মাপা যায় এমন লিঙ্গ-প্রথা ফিরিয়ে দেয়।
• Content Credentials: C2PA Technical Specification (version 2.4), Coalition for Content Provenance and Authenticity (C2PA), 2026। উৎস-নথি। একটি প্রকাশ্য কৌশলগত মান ঠিক করে দেয় কীভাবে একটি ফাইলের সঙ্গে তার উৎস নিয়ে যাচাইযোগ্য আর সই করা তথ্য জুড়ে দেওয়া যায়।
• C2PA Frequently Asked Questions, Coalition for Content Provenance and Authenticity (C2PA), 2026। উৎস-নথি। মানটি নিজেই মেনে নেয় যে তার ম্যানিফেস্ট ফাইল থেকে আলাদা হয়ে যেতে পারে, আর তাই একটি সাধারণ স্ক্রিনশটেই হারিয়ে যেতে পারে।
• Distilling the Knowledge in a Neural Network, Geoffrey Hinton, Oriol Vinyals, Jeff Dean, 2015। তাপমাত্রা। সফটম্যাক্স সূত্রের তাপমাত্রার প্যারামিটার মডেলের হিসাব করা সম্ভাবনার বিন্যাস নরম বা শক্ত করে।
• A New Algorithm for Data Compression, Philip Gage, 1994। টোকেনায়ন। আজ টোকেনায়নে ব্যবহৃত অ্যালগরিদমটি মূলত বানানো হয়েছিল তথ্য সংকোচনের একটি সাধারণ পদ্ধতি হিসেবে, ভাষার সঙ্গে কোনো সম্পর্ক ছাড়াই।
• Language Model Tokenizers Introduce Unfairness Between Languages, Aleksandar Petrov, Emanuele La Malfa, Philip H. S. Torr, Adel Bibi, 2023। টোকেনায়ন। আলাদা আলাদা ভাষায় অনূদিত একই একটি বিষয়বস্তু ভাষা অনুযায়ী পনেরো গুণ পর্যন্ত বেশি টোকেন চাইতে পারে।
• Hierarchical Neural Story Generation, Angela Fan, Mike Lewis, Yann Dauphin, 2018। টপ-k। টপ-k নমুনায়ন, যা প্রতিটি ধাপে তোলাকে সবচেয়ে সম্ভাব্য k-টি শব্দে বেঁধে দেয়, সব সময় নির্ধারিত একটি বাছাইয়ের চেয়ে বেশি বৈচিত্র্যময় লেখা তৈরি করতে কাজে লাগে।