আইআইটি মাদ্রাছৰ AI4Bharat ভাৰতীয় ভাষাসমূহৰ বাবে নতুন বেঞ্চমাৰ্ক পৰীক্ষা পৰিচয় কৰে

ইণ্ডিয়ান ইন্সটিটিউট অৱ টেকন’লজি (IIT) মাদ্ৰাছৰ AI4Bharat ৰিচাৰ্চ লেবৰেটৰীয়ে ভাৰতীয় ভাষা, সাংস্কৃতিক পৰিপ্ৰেক্ষিত আৰু সুৰক্ষাৰ বাবে ডাঙৰ ভাষা মডেল (LLMs) মূল্যায়ন কৰিবলৈ Indic LLM-Arena নামেৰ এটা গুৰুত্বপূর্ণ উদ্যম আৰম্ভ কৰিছে। এই উন্মুক্ত উৎস (open-source) বেঞ্চমাৰ্ক প্লেটফৰ্মটো বিশেষকৈ ভাৰতীয় ভাষা আৰু সামাজিক বাস্তৱতাৰ সৈতে মিল থকা ভাৱে LLMsৰ কাৰ্যক্ষমতা পৰীক্ষা কৰাৰ উদ্দেশ্যে নিৰ্মাণ কৰা হৈছে। প্ৰচলিত বেঞ্চমাৰ্কসমূহে সাধাৰণতে কেৱল অনুবাদ বা পাঠ বুজাৰ ওপৰত কেন্দ্ৰ কৰে, কিন্তু Indic LLM-Arena ভাৰতীয় লোকসকলে যিদৰে কথোপকথন কৰে, সেই স্বাভাৱিক আৰু প্ৰবাহিত পদ্ধতি, যেনে Hinglish বা Tanglish ধৰণৰ code-switching ধৰা পৰিৱেশতো মূল্যায়ন কৰে।

গুগল ক্লাউডৰ সহায়ত এই বেঞ্চমাৰ্কটো বিকাশ কৰা হৈছে আৰু ই crowd-sourced (জনসমাজ-ভিত্তিক) প্লেটফৰ্ম হিচাপে কাৰ্য কৰে। হাজাৰ হাজাৰ গোপনীয় ব্যৱহাৰকাৰীয়ে মডেলসমূহৰ কার্যক্ষমতা মূল্যায়ন কৰি ভোট দিয়ে, আৰু “human-in-the-loop” লিডাৰব’ৰ্ডত মডেলসমূহৰ স্থান নিৰ্ধাৰণ কৰা হয়। এই পদ্ধতিটোৱে পৰম্পৰাগত স্বয়ংক্ৰিয় মূল্যায়ন মেট্ৰিকতকৈ বেছি বাস্তৱিক আৰু ব্যৱহাৰকাৰী-প্ৰাসংগিক ফলাফল প্ৰদান কৰে।

বৰ্তমান, Indic LLM-Arena কেৱল পাঠভিত্তিক ইনপুট আৰু code-mixed পাঠ সমৰ্থন কৰে। কিন্তু AI4Bharatয়ে ভবিষ্যতে দৰ্শন, শব্দ (audio) আৰু AI এজেণ্টৰ সৈতে কৰ্মক্ষম omni মডেলৰ বাবে বেঞ্চমাৰ্কটো বিস্তাৰ কৰাৰ পৰিকল্পনা কৰিছে। সকলো গোপনীয় তথ্য, ক’ড আৰু পাইপলাইন উন্মুক্ত উৎসৰ লাইচেঞ্চৰ অধীনত প্ৰকাশ কৰা হ’ব, যাৰ জৰিয়তে গৱেষক, উদ্যোগ আৰু সমাজৰ অন্যান্য সদস্য সকলে পৰীক্ষা, পৰ্যালোচনা আৰু উন্নয়ন কৰিবলৈ সক্ষম হ’ব।

Indic LLM-Arenaৰ প্ৰস্তুতিটোৱে ভাৰতীয় AI পৰিৱেশত এক গুৰুত্বপূর্ণ অভাৱ পূৰণ কৰিছে: ভাৰতীয় LLMসমূহৰ মূল্যায়ন আৰু তুলনাৰ বাবে স্থানীয় বেঞ্চমাৰ্কৰ অভাৱ। এই প্লেটফৰ্মে গৱেষক আৰু উদ্যোগসমূহক সঠিকভাৱে নিজৰ মডেলৰ কাৰ্যক্ষমতা পৰ্যবেক্ষণৰ সুবিধা প্ৰদান কৰে। ই দেখুৱায় কিহৰ ক্ষেত্ৰত মডেল ভাল কৰ্মক্ষম, আৰু কোন খণ্ডত উন্নতিৰ প্ৰয়োজন।

এই উদ্যমটো অন্যান্য ভাৰতীয় বেঞ্চমাৰ্ক উদ্যমৰ সৈতে সম্পৰ্কিত। উদাহৰণস্বৰূপ, OpenAIৰ IndQA বেঞ্চমাৰ্কে ১২টা ভাষা আৰু ১০টা সাংস্কৃতিক ক্ষেত্ৰত মডেলৰ ভাষাগত আৰু সাংস্কৃতিক ক্ষমতা পৰীক্ষা কৰে। Indic LLM-Arena তেনে উদ্যমক পৰিপূৰক ৰূপে, বাস্তৱিক ব্যৱহাৰ আৰু ব্যৱহাৰকাৰীৰ অভিজ্ঞতা কেন্দ্ৰ কৰি মূল্যায়ন প্ৰদান কৰে।

AI4Bharatৰ লক্ষ্য হৈছে Indic LLM-Arenaৰ জৰিয়তে গৱেষক আৰু উদ্যোগসমূহক মডেলৰ কার্যক্ষমতা তুলনা কৰিবলৈ সহায় কৰা, ব্যৱসায়িক ক্ষেত্ৰসমূহক তথ্যভিত্তিক সিদ্ধান্ত ল’বলৈ সক্ষম কৰা আৰু ভাৰতীয় ব্যৱহাৰকাৰীৰ বাবে প্ৰাসংগিক, সুৰক্ষিত আৰু সংস্কৃতিকভাৱে মিল থকা AI প্ৰযুক্তি দ্রুত প্ৰয়োগ কৰিবলৈ সহায় কৰা। উন্মুক্ত আৰু সুশৃঙ্খল বেঞ্চমাৰ্ক ব্যৱস্থাৰ জৰিয়তে এই প্লেটফৰ্মে ভাৰতৰ AI পৰিৱেশক শক্তিশালী কৰিব আৰু স্থানীয় প্ৰাসংগিক মানদণ্ডৰ সৈতে AI ব্যৱস্থা মূল্যায়ন নিশ্চিত কৰিব।