‫خطر سه‌گانه در عوامل هوش مصنوعی: داده‌های خصوصی، محتوای غیرقابل اعتماد و ارتباطات خارجی

محققان هشدار می‌دهند که ترکیب سه ویژگی - دسترسی به داده‌های خصوصی، قرار گرفتن در معرض محتوای غیرقابل اعتماد و توانایی برقراری ارتباط خارجی - می‌تواند منجر به سوء استفاده از عوامل هوش مصنوعی و سرقت داده‌ها شود. این مشکل به این دلیل رخ می‌دهد که مدل‌های زبانی بزرگ (LLM) دستورالعمل‌ها را در محتوا دنبال می‌کنند و تمایزی بین دستورالعمل‌های معتبر و دستورالعمل‌های مخرب قائل نمی‌شوند. اگر یک عامل هوش مصنوعی از این سه ویژگی استفاده کند، یک مهاجم می‌تواند به راحتی آن را فریب دهد تا داده‌های خصوصی را دسترسی داده و به مهاجم ارسال کند. این آسیب‌پذیری به این دلیل است که LLMها دستورالعمل‌ها را از هر منبعی، صرف نظر از اینکه از طرف کاربر آمده یا از منبع دیگری، دنبال می‌کنند. هر زمان که از یک LLM خواسته شود یک صفحه وب را خلاصه کند، یک ایمیل را بخواند، یک سند را پردازش کند یا حتی به یک تصویر نگاه کند، این احتمال وجود دارد که محتوای در معرض آن حاوی دستورالعمل‌های اضافی باشد که باعث می‌شود LLM کاری را انجام دهد که کاربر قصد انجام آن را نداشته است. این مشکل به طور گسترده‌ای در سیستم‌های هوش مصنوعی مختلف مشاهده شده است، از جمله Microsoft 365 Copilot، GitHub’s MCP server، GitLab’s Duo Chatbot، ChatGPT، Google Bard و بسیاری دیگر. این حملات معمولاً با مسدود کردن بردار خروجی (exfiltration vector) و جلوگیری از استخراج داده‌ها توسط دستورالعمل‌های مخرب، برطرف می‌شوند. با این حال، هنگامی که توسعه‌دهندگان ابزارها را با هم ترکیب می‌کنند، هیچ راهی برای محافظت توسط فروشندگان وجود ندارد. توصیه می‌شود توسعه‌دهندگان هنگام استفاده از عوامل هوش مصنوعی، به ویژه هنگام ترکیب ابزارهای مختلف، از خطرات احتمالی آگاه باشند و اقدامات امنیتی مناسب را برای محافظت از داده‌های خصوصی خود انجام دهند. این شامل بررسی دقیق محتوای ورودی به LLM و محدود کردن توانایی آن در برقراری ارتباط خارجی است.