উন্নয়নশীল বিশ্বে কৃত্রিম বুদ্ধিমত্তা—১০ || ড. আনিস রহমান

ঈযধঢ়ঃবৎ : স্বল্পসম্পদ ভাষা ডিজিটাল অন্তর্ভুক্তি: কৃত্রিম বুদ্ধিমত্তার মাধ্যমে ভাষাগত বৈষম্য দূরীকরণ

. ডিজিটাল যুগে স্বল্পসম্পদ ভাষার সংকট প্রেক্ষাপট

একবিংশ শতাব্দীর এই তথ্যপ্রযুক্তির যুগে ভাষা কেবল মনের ভাব প্রকাশের মাধ্যম নয়, বরং এটি তথ্যের ভান্ডারে প্রবেশের চাবিকাঠি। তবে কৃত্রিম বুদ্ধিমত্তা এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ বা এনএলপির বিস্ময়কর উন্নতির ভিড়ে একটি বড় বৈষম্য দৃশ্যমান হয়ে উঠেছে। বর্তমান বিশ্বে প্রচলিত প্রায় সাত হাজার ভাষার মধ্যে হাতেগোনা কয়েকটি ভাষাযেমন ইংরেজি, স্প্যানিশ, ম্যান্ডারিন বা ফরাসি ইন্টারনেটের বিশাল তথ্যভান্ডার দখল করে আছে। এই ভাষাগুলোকে বলা হয়উচ্চসম্পদ ভাষা’ (ঐরমযৎবংড়ঁৎপব ষধহমঁধমবং), কারণ এগুলোর জন্য কোটি কোটি শব্দের টেক্সট ডেটা, অডিও রেকর্ড এবং ব্যাকরণগত কাঠামো ডিজিটাল মাধ্যমে সংরক্ষিত আছে। এর বিপরীতে বাংলাসহ বিশ্বের অধিকাংশ ভাষাই তথাকথিতস্বল্পসম্পদ ভাষা’ (খড়িৎবংড়ঁৎপব ষধহমঁধমবং)—এর তালিকাভুক্ত। এই ভাষাগুলোর জন্য ডিজিটাল সম্পদের অপ্রতুলতা এআই মডেলগুলোকে প্রশিক্ষিত করার ক্ষেত্রে একটি বড় বাধা হিসেবে কাজ করে।

স্বল্পসম্পদ ভাষার এই সমস্যাটি কেবল প্রযুক্তিগত নয়, বরং এটি একটি গভীর মানবিক সামাজিক সংকট। যখন কোনো ভাষা এআই প্রযুক্তিতে পিছিয়ে থাকে, তখন সেই ভাষার নাগরিকরা আধুনিক শিক্ষা, স্বাস্থ্যসেবা এবং নাগরিক অধিকার থেকে বঞ্চিত হওয়ার ঝুঁকিতে পড়ে। পরিসংখ্যান অনুযায়ী, বিশ্বের প্রায় . বিলিয়ন মানুষ এমন সব ভাষায় কথা বলে যেগুলোর ডিজিটাল অস্তিত্ব এআই মডেলগুলোর কাছে অত্যন্ত সীমিত। এই ভাষাগত ব্যবধান ডিজিটাল বিভাজনকে আরও গভীর করে তুলছে এবং প্রান্তিক জনগোষ্ঠীকে রাষ্ট্রের মূলধারা থেকে বিচ্ছিন্ন করে দিচ্ছে। বিশেষ করে দক্ষিণ এশিয়ার মতো অঞ্চলে যেখানে ভাষার বৈচিত্র্য অত্যন্ত প্রবল, সেখানে ভাষাগত সীমাবদ্ধতার কারণে প্রযুক্তির সুফল সাধারণ মানুষের দোরগোড়ায় পৌঁছাতে পারছে না। ডিজিটাল অন্তর্ভুক্তি নিশ্চিত করার অর্থ হলো এমন এক প্রযুক্তিগত পরিবেশ তৈরি করা যেখানে ভাষা কোনো বাধা হবে না এবং প্রতিটি মানুষ তার নিজস্ব ভাষায় প্রযুক্তি ব্যবহারের সুযোগ পাবে।

. বাংলা আঞ্চলিক উপভাষার এনএলপি গবেষণার জটিলতা

বাংলা ভাষা বিশ্বের অন্যতম বহুল প্রচলিত ভাষা হওয়া সত্ত্বেও গবেষণার ক্ষেত্রে এবং ডিজিটাল সম্পদের প্রাপ্যতার বিচারে এটি দীর্ঘদিন ধরে একটি চ্যালেঞ্জিং অবস্থানে রয়েছে। বিশেষ করে প্রমিত বাংলার বাইরেও বাংলাদেশের বিভিন্ন অঞ্চলে প্রচলিত উপভাষাগুলোÑযেমন চাটগাঁইয়া, সিলেটি, নোয়াখালী বা বরিশালের ভাষা ডিজিটাল সম্পদের বিচারে প্রায় শূন্যের কোঠায়। এই উপভাষাগুলোর বক্তারা যখন ইন্টারনেটে কোনো সেবা নিতে যান, তখন তারা প্রায়ই ভাষাগত বাধার সম্মুখীন হন। প্রমিত বাংলা বইপত্র এবং সংবাদপত্রে ব্যবহৃত হলেও সাধারণ মানুষ তাদের প্রাত্যহিক কথাবার্তায় আঞ্চলিক ভাষার আধিক্য রাখে। অধিকাংশ এনএলপি মডেল যেহেতু কেবল প্রমিত বা আনুষ্ঠানিক বাংলায় প্রশিক্ষণপ্রাপ্ত, তাই তারা আঞ্চলিক টানে বলা কথা বা অসংগত বানানে লেখা বার্তা প্রক্রিয়াকরণ করতে পারে না।

গবেষণায় দেখা গেছে যে বাংলা উপভাষাগুলোর ব্যাকরণগত কাঠামো অনেক সময় প্রমিত বাংলার চেয়ে ভিন্ন হয়। যেমন চাটগাঁইয়া উপভাষায় নেতিবাচক বাক্য গঠনে একটি নির্দিষ্ট অব্যয় ক্রিয়ার আগে বসে, অথচ প্রমিত বাংলায় তা ক্রিয়ার পরে বসে। এই ধরনের সূক্ষ¥ কিন্তু গুরুত্বপূর্ণ পার্থক্যগুলো এআই মডেলের জন্য বিভ্রান্তি তৈরি করে। এছাড়া বাংলার রূপমূলতাত্ত্বিক সমৃদ্ধি বা মরফোলজিক্যাল রিচনেস শব্দ চেনার ক্ষেত্রে জটিলতা বাড়িয়ে দেয়। একটি মূল শব্দের সাথে বিভিন্ন বিভক্তি যুক্ত হয়ে শত শত নতুন রূপ তৈরি করতে পারে, যা মডেলের প্রশিক্ষণকে সময়সাপেক্ষ এবং ডেটানির্ভর করে তোলে। এছাড়া কোডমিক্সিং বা একই বাক্যে বাংলার সাথে ইংরেজি শব্দের মিশ্রণ একটি নিয়মিত ঘটনা, যা প্রক্রিয়াকরণ করতে হলে মডেলকে একই সাথে দুটি ভাষার গভীর জ্ঞান রাখতে হয়।

. জিরোশট লার্নিং: তথ্যের স্বল্পতা জয়ের বৈজ্ঞানিক কৌশল

স্বল্পসম্পদ ভাষাগুলোর জন্য এআই মডেল তৈরির সবচেয়ে আধুনিক কার্যকরী পদ্ধতি হলো জিরোশট লার্নিং (তবৎড়ংযড়ঃ খবধৎহরহম) প্রথাগত পদ্ধতিতে একটি মডেলকে কোনো কাজ শেখাতে হলে সেই কাজের হাজার হাজার উদাহরণ দেখাতে হয়। কিন্তু জিরোশট লার্নিংয়ের ক্ষেত্রে মডেলটি এমন এক সক্ষমতা অর্জন করে যার মাধ্যমে সে আগে কখনো দেখেনি এমন ভাষার টেক্সটও প্রক্রিয়াকরণ করতে পারে। এই প্রযুক্তির মূল ভিত্তি হলো বহুভাষিক প্রিট্রেইনিং। যখন একটি বিশাল ট্রান্সফর্মার মডেলকে একসাথে শতাধিক ভাষার ওপর প্রশিক্ষণ দেওয়া হয়, তখন মডেলটি ভাষার অন্তর্নিহিত গাণিতিক সম্পর্ক বুঝতে শুরু করে। এই প্রক্রিয়াকে বলা হয় রিপ্রেজেন্টেশন অ্যালাইনমেন্ট। যখন একটি মডেল ইংরেজি এবং বাংলার মতো ভিন্ন ভিন্ন ভাষার ডেটা থেকে শেখে, তখন সে বিভিন্ন ভাষার সমার্থক শব্দগুলোকে একটি গাণিতিক ভেক্টর স্পেসে কাছাকাছি নিয়ে আসে। এর ফলে মডেলটি বুঝতে পারে যে ইংরেজিতে একটি নির্দিষ্ট শব্দের অর্থ এবং বাংলায় তার প্রতিশব্দ একই ধারণা বহন করছে।

এই সাম্যাবস্থার কারণে যখন মডেলটিকে ইংরেজিতে কোনো কাজÑযেমন অনুভূতির বিশ্লেষণ বা অনুবাদশেখানো হয়, সে স্বয়ংক্রিয়ভাবে সেই দক্ষতা বাংলায় বা অন্য কোনো স্বল্পসম্পদ ভাষায় প্রয়োগ করতে সক্ষম হয়, যদিও সে সেই ভাষায় নির্দিষ্ট কোনো উদাহরণ দেখেনি। ক্রসলিঙ্গুয়াল ট্রান্সফার লার্নিং এই ধারণাকে আরও এক ধাপ এগিয়ে নিয়ে যায়। এখানে একটি উচ্চসম্পদ ভাষার ওপর ভিত্তি করে তৈরি করা শক্তিশালী মডেলকে লক্ষ্যকৃত ভাষার খুব সামান্য ডেটা দিয়ে ফাইনটিউন করা হয়। এই পদ্ধতিটি বাংলা উপভাষা বা ক্ষুদ্র জাতিসত্তার ভাষার জন্য আশীর্বাদস্বরূপ। বর্তমান সময়ে লার্জ ল্যাঙ্গুয়েজ মডেলগুলোতে লোরা (খড়জঅ, ড়ৎ, খড়িজধহশ অফধঢ়ঃধঃরড়হ) বা প্রিফিক্সভিত্তিক অ্যাডাপ্টেশন প্রযুক্তির ব্যবহার এই প্রক্রিয়াকে আরও সাশ্রয়ী এবং দ্রুততর করেছে। এর ফলে চাকমা বা মারমার মতো ভাষার জন্য অনুবাদ ব্যবস্থা তৈরি করা এখন অনেক বেশি বাস্তবসম্মত হয়ে উঠেছে।

প্রযুক্তির সুবিধা: বড় বা জটিল এআই (লার্জ ল্যাঙ্গুয়েজ মডেল)—গুলোকে নতুন কোনো ভাষার জন্য প্রশিক্ষণ দেওয়ার আগে অনেক ব্যয়বহুল সময়সাপেক্ষ ছিল। এখন খড়জঅএর মতো প্রযুক্তি ব্যবহার করে খুব অল্প ডেটা কম কম্পিউটেশন শক্তি খরচ করেই মডেলগুলোকে নতুন ভাষায় দক্ষ করে তোলা যায়। ভাষাগত গুরুত্ব: চাকমা বা মারমার মতো ভাষাগুলোতে ডিজিটাল তথ্যের অভাব থাকার কারণে আগে এগুলোতে কাজ করা কঠিন ছিল। কিন্তু এই নতুন প্রযুক্তিগুলো ব্যবহারের ফলে এখন এই ভাষাগুলোর জন্যও মানসম্মত ডিজিটাল অনুবাদ টুল বা চ্যাটবট তৈরি করা বাস্তবে রূপ দেওয়া সম্ভব হচ্ছে।

Related Posts