যেসব ওয়েব ক্রলার একই সঙ্গে সার্চ ইঞ্জিনের জন্য তথ্য খোঁজে এবং কৃত্রিম বুদ্ধিমত্তা (এআই) মডেল প্রশিক্ষণের কাজ করে, সেগুলো স্বয়ংক্রিয়ভাবে ব্লক করার ঘোষণা দিয়েছে ক্লাউডফ্লেয়ার। ইন্টারনেট নিরাপত্তা ও সেবা প্রদানকারী প্রতিষ্ঠানটি জানিয়েছে, ২০২৬ সালের ১৫ সেপ্টেম্বর থেকে এই নতুন নিয়ম কার্যকর হবে।
ক্লাউডফ্লেয়ারের সহপ্রতিষ্ঠাতা ও প্রধান নির্বাহী কর্মকর্তা ম্যাথিউ প্রিন্স বলেন, বর্তমানে ইন্টারনেটের বেশির ভাগ ট্রাফিক মানুষ নয়, বরং বিভিন্ন বট। একটি টেকসই অনলাইন পরিবেশ তৈরির জন্য আমাদের দ্রুত পদক্ষেপ নিতে হবে। এই নতুন উদ্যোগের ফলে ওয়েবসাইটের মালিকরা বাণিজ্যিক সুবিধা পাবেন এবং কোন এআই বট কী উদ্দেশ্যে তথ্য নিচ্ছে তা স্পষ্ট হবে।
আগে ব্যবহারকারীরা সরাসরি ওয়েবসাইট দেখতেন। এতে বিজ্ঞাপনের মাধ্যমে ওয়েবসাইটের আয় হতো। কিন্তু এআই চ্যাটবটগুলো এখন ব্যবহারকারীদের হয়ে ওয়েবসাইট থেকে সরাসরি তথ্য সংগ্রহ করে। ফলে ওয়েবসাইটের মালিকরা আর্থিকভাবে ক্ষতিগ্রস্ত হচ্ছেন। ক্লাউডফ্লেয়ারের নতুন পদ্ধতি ওয়েবসাইট মালিক এবং এআই প্রতিষ্ঠানগুলোর মধ্যে সম্পর্কের ভারসাম্য বজায় রাখবে। নতুন নিয়ম অনুযায়ী, বিজ্ঞাপন রয়েছে এমন ওয়েবসাইটের ক্ষেত্রে এআই প্রশিক্ষণও এজেন্টের কাজ স্বয়ংক্রিয়ভাবে বন্ধ থাকবে, তবে সাধারণ সার্চের কাজ চলবে।
এই পরিবর্তনের অংশ হিসেবে ক্লাউডফ্লেয়ার তাদের ‘পে পার ক্রল’ ফিচারের নতুন সংস্করণ ‘পে পার ইউজ’ চালু করেছে। এর ফলে কোনো ওয়েবসাইটের তথ্য যদি এআই চ্যাটবটের উত্তরে দেখানো হয়, তবে ওয়েবসাইটের মালিকরা নির্দিষ্ট অর্থ পাবেন। প্রাথমিকভাবে সিরামিক ডটএআই ও ইউ ডটকম এ উদ্যোগে যুক্ত হয়েছে।
প্রযুক্তি বিশ্লেষকদের মতে, ক্লাউডফ্লেয়ারের এ পদক্ষেপ মূলত সার্চ জায়ান্ট গুগলকে লক্ষ্য করে নেওয়া হয়েছে। গুগলের প্রধান ক্রলার ‘গুগলবট’ একই সঙ্গে সার্চ ইঞ্জিনের তথ্য ইনডেক্স করে এবং তাদের নিজস্ব এআই মডেল ‘জেমিনাই’-এর প্রশিক্ষণের জন্য তথ্য সংগ্রহ করে। এর ফলে গুগল অন্য এআই প্রতিষাঠানগুলোর চেয়ে দ্বিগুণ তথ্য সহজে পেয়ে যায়। ক্লাউডফ্লেয়ারের নতুন নীতি গুগলসহ অন্যান্য প্রতিষ্ঠানকে তাদের এই দ্বিমুখী ক্রলারের নীতি পরিবর্তন করতে বাধ্য করবে বলে ধারণা করা হচ্ছে।