مقالهای از Matt Asay در InfoWorld بر این نکته تاکید دارد که توسعهدهندگان در حال تکرار اشتباهات دوران وب 2.0 در ساخت عوامل هوش مصنوعی هستند، با در نظر گرفتن دادهها و دستورالعملها به عنوان یک چیز. این امر منجر به آسیبپذیریهایی مانند تزریق دستور (prompt injection) میشود که معادل SQL injection در دنیای هوش مصنوعی است. Simon Willison، بنیانگذار Datasette، به این مشکل اشاره کرده و "ثلث مرگبار" آسیبپذیریهای عامل هوش مصنوعی را شناسایی کرده است: دسترسی به دادههای خصوصی، دسترسی به محتوای غیرقابل اعتماد و توانایی عمل بر اساس آن دادهها. مقاله پیشنهاد میکند که برای رفع این مشکل، توسعهدهندگان باید به جای تکیه بر هوش مصنوعی برای محافظت از خود، به مهندسی پایه، آزمایش بیشتر و رویکردهای امنیتی سنتیتر روی بیاورند. این امر شامل درک و کاهش خطرات ناشی از دسترسی عامل به دادههای حساس و محتوای خارجی است.
مشاهده مطلب اصلی