کلودفلر به‌دنبال حفظ وب در برابر هجوم ربات‌ها

شرکت کلودفلر (Cloudflare) در تلاش برای مقابله با خزیدن بی‌رویه داده‌ها توسط ربات‌های هوش مصنوعی، اخیراً از طرح جدیدی با عنوان «پرداخت به‌ازای خزیدن» (Pay-per-Crawl) رونمایی کرده است. این طرح با هدف محدود کردن استفاده رایگان شرکت‌های هوش مصنوعی از محتوای تولیدشده توسط کاربران در اینترنت طراحی شده است. متیو پرینس، مدیرعامل کلودفلر، می‌گوید این حرکت تنها در صورتی مؤثر خواهد بود که شرکت‌های بزرگ فناوری، به‌ویژه گوگل، در این مسیر همکاری کنند.

به گزارش سیلاد و به نقل از تک‌اسپات، در یک بحث عمومی در شبکه اجتماعی X، پرینس تأیید کرد که خزنده هوش مصنوعی گوگل موسوم به جمینای به‌صورت پیش‌فرض توسط کلودفلر مسدود شده است. وی همچنین افزود که کلودفلر در حال توسعه سیستمی است که به مدیران وب‌سایت‌ها اجازه دهد خزنده‌های هوش مصنوعی را مسدود کنند، بدون اینکه بر خزنده‌های معمول موتور جست‌وجو که برای ایندکس‌گذاری کلاسیک وب استفاده می‌شوند، تأثیر بگذارند.

با ظهور پدیده‌هایی مانند Answer Box و AI Overviews و شکل‌گیری «اینترنت بدون کلیک»، بسیاری از سایت‌ها شاهد کاهش چشمگیر بازدید مستقیم هستند. این روند که توسط ربات‌های بی‌وقفه هوش مصنوعی تسریع شده، تعادل دیرینه بین جست‌وجوی اطلاعات و مراجعه واقعی کاربران به وب‌سایت‌ها را بر هم زده است.

پرینس هشدار داد اگر گوگل از همکاری در این زمینه خودداری کند، ممکن است در آینده قانون‌گذاری اجباری برای تفکیک بین خزنده‌های جست‌وجو و خزنده‌های هوش مصنوعی ضروری شود. او افزود که پیاده‌سازی چنین تفکیکی از لحاظ فنی دشوار نیست و می‌توان از طریق ابزارهای ساده این دو نوع فعالیت را از هم جدا کرد.

در شرایطی که شرکت‌هایی مانند ویکی‌پدیا نیز تحت فشار استفاده روزافزون و بدون کنترل از منابعشان قرار گرفته‌اند، کلودفلر قصد دارد از وب برای کاربران انسانی محافظت کند، بدون آنکه کاملاً در مقابل موتورهای جست‌وجو بسته شود.

با این‌ حال، نفوذ سیاسی پایین در برابر لابی قدرتمند شرکت‌های بزرگ فناوری، اجرای مقررات منطقی را با چالش‌هایی روبه‌رو کرده است. اگرچه طرح کلودفلر تا حدی آرمان‌گرایانه به نظر می‌رسد، برخی معتقدند که با فروکش‌ کردن تب هوش مصنوعی، ممکن است نظم دوباره‌ای به اکوسیستم دیجیتال بازگردد.