سیستمهای هوش مصنوعی عاملی (Agentic AI) چالشهای امنیتی جدیدی را به همراه دارند. ضعف اساسی مدلهای زبانی بزرگ (LLM) این است که راهی دقیق برای جدا کردن دستورالعملها از دادهها وجود ندارد، بنابراین هر چیزی که میخوانند به طور بالقوه میتواند یک دستورالعمل باشد. این موضوع منجر به "سه گانه مرگبار" میشود: دادههای حساس، محتوای غیرقابل اعتماد و ارتباطات خارجی - خطری که LLM دستورالعملهای پنهانی را بخواند که دادههای حساس را به مهاجمان نشت میدهد.
برای کاهش این خطر، باید گامهای مشخصی برای به حداقل رساندن دسترسی به هر یک از این سه عنصر برداریم. اجرای LLMها در داخل کانتینرهای کنترلشده و شکستن وظایف به زیر وظایف که هر کدام حداقل یکی از عناصر سه گانه را مسدود میکنند، مفید است. مهمتر از همه، باید گامهای کوچک و قابل کنترل و قابل بررسی توسط انسانها را انجام داد. این رویکرد به توسعهدهندگان کمک میکند تا امنیت برنامههای خود را در برابر حملات احتمالی تقویت کنند.
این سیستمها میتوانند شگفتانگیز باشند و راههای جدید و رادیکالی برای ساخت نرمافزار از طریق سازماندهی یک اکوسیستم کامل از عوامل، همه از طریق یک رابط کاربری مکالمهای مبهم، ارائه دهند. با این حال، این روش جدید نحوه کار، خطرات امنیتی جدی را نیز به همراه دارد. در حال حاضر، هیچ سیستم هوش مصنوعی عاملی وجود ندارد که در برابر این حملات ایمن باشد. هر هوش مصنوعی که در یک محیط خصمانه کار میکند - به این معنی که ممکن است با دادههای آموزشی یا ورودیهای غیرقابل اعتماد مواجه شود - در برابر تزریق دستور (Prompt Injection) آسیبپذیر است.
به گفته Bruce Schneier، ردیابی این خطرات مستلزم بررسی مقالات تحقیقاتی و شناسایی افرادی است که درک عمیقی از ابزارهای مدرن مبتنی بر LLM و دیدگاهی واقعبینانه در مورد خطرات دارند. هدف از این مقاله، ارائه یک نمای کلی قابل دسترس و کاربردی از مسائل امنیتی و کاهش خطرات هوش مصنوعی عاملی است. این محتوا بر اساس تحقیقات گستردهای است که توسط متخصصانی مانند Simon Willison و Bruce Schneier به اشتراک گذاشته شده است.
مشاهده مطلب اصلی