هک جدید: اختلال در حافظه بلندمدت جمینای با تزریق اعلان

روش جدید هک توسط یوهان رهبرگر

 یوهان رهبرگر  (Johann Rehberger) روشی جدید برای دور زدن دفاع‌های تزریق اعلان در پلتفرم جمینای گوگل ارائه کرده است. این دفاع‌ها به طور خاص برای جلوگیری از فراخوانی ابزارهای حساس مانند Google Workspace هنگام پردازش داده‌های غیرقابل اعتماد طراحی شده‌اند. حمله رهبرگر منجر به کاشت دائمی خاطرات بلندمدت در چت‌بات می‌شود که در تمام جلسات آینده وجود خواهند داشت و چت‌بات را بر اساس اطلاعات نادرست هدایت می‌کند.

اساس تزریق غیرمستقیم اعلان

تزریق غیرمستقیم اعلان به این معناست که چت‌بات‌ها به شدت تمایل دارند از دستورالعمل‌ها پیروی کنند، حتی اگر این دستورالعمل‌ها به عنوان اعلان طراحی نشده باشند. این تمایل ذاتی هوش مصنوعی برای دیدن دستورالعمل‌ها در هرجا، اساس تزریق غیرمستقیم اعلان را تشکیل می‌دهد.

تاریخچه روش‌های مشابه

رهبرگر در سال گذشته نشان داد که چگونه یک ایمیل مخرب می‌تواند باعث شود مایکروسافت کوپایلوت (Microsoft Copilot) به جستجوی ایمیل‌های حساس بپردازد و اسرار کاربر را به مهاجم ارسال کند. روش‌های مؤثری برای کاهش این گول‌خوردگی وجود ندارد و توسعه‌دهندگان عمدتاً به تدابیر موقتی روی آورده‌اند.

تکنیک‌های پیشرفته هک

یکی از روش‌هایی که رهبرگر برای دور زدن محدودیت‌ها استفاده کرد، “فراخوانی ابزار تاخیری” بود. در این روش، محتوای غیرقابل اعتماد دستورالعمل را مشروط به انجام یک عمل از سوی کاربر می‌کند. به عنوان مثال، به جای دستور فوری، درخواست را مشروط به انجام یک عمل خاص از سوی کاربر می‌کند.

نتیجه‌گیری و خطرات

این هک نشان‌دهنده خطرات جدی ناشی از گول‌خوردگی هوش مصنوعی و آسیب‌پذیری‌های موجود در سیستم‌های یادگیری ماشین است. توسعه‌دهندگان چت‌بات باید تلاش‌های بیشتری برای رفع این آسیب‌پذیری‌ها انجام دهند تا از امنیت داده‌ها و کاربران خود اطمینان حاصل کنند.