‫هشدار امنیتی در مورد استفاده از عوامل هوش مصنوعی برای مدیریت ایمیل

اخیراً گزارش‌هایی مبنی بر استفاده از عوامل LLM (مدل‌های زبانی بزرگ) برای مدیریت ایمیل و سایر ارتباطات دریافت شده است. این عوامل با دسترسی به حساب ایمیل کاربر، تمام ایمیل‌ها را می‌خوانند، ایمیل‌هایی که باید نادیده گرفته شوند را تعیین می‌کنند، پیش‌نویس برخی ایمیل‌ها را برای تایید کاربر آماده می‌کنند و به برخی ایمیل‌ها به صورت خودکار پاسخ می‌دهند. همچنین می‌توانند به تقویم متصل شده و جلسات را تایید، تنظیم یا رد کنند. این موضوع بسیار جذاب به نظر می‌رسد، زیرا حجم بالای ایمیل‌ها و ابزارهای ارتباطی مختلف (مانند Slack و Discord) باعث حواس‌پرتی و منحرف شدن از کارهای مهم می‌شوند. یک دستیار هوشمند و عامل می‌تواند بسیاری از این زحمات را کاهش دهد. با این حال، استفاده از این عوامل در حال حاضر خطرناک است، زیرا ایمیل‌ها مرکز اصلی اطلاعات زندگی افراد هستند و حاوی اطلاعات حساسی می‌باشند. دسترسی مستقیم به حساب ایمیل، بلافاصله خطر سه‌گانه مرگبار (untrusted content, sensitive information, and external communication) را به وجود می‌آورد. سه‌گانه مرگبار که توسط Simon Willison ابداع شده است، به خطرات ناشی از ترکیب محتوای غیرقابل اعتماد، اطلاعات حساس و ارتباطات خارجی اشاره دارد. این نگرانی زمانی بیشتر می‌شود که به یاد آوریم بسیاری از فرآیندهای بازنشانی رمز عبور از طریق ایمیل انجام می‌شود. به راحتی می‌توان یک عامل را متقاعد کرد که قربانی رمز عبور خود را فراموش کرده است و فرآیند بازنشانی را برای تصاحب حساب رهگیری کند. برای کاهش این خطرات، می‌توان عامل را در یک "جعبه" قرار داد، به طوری که فقط دسترسی خواندنی به ایمیل‌ها داشته باشد و نتواند به اینترنت متصل شود. عامل می‌تواند پیش‌نویس پاسخ‌های ایمیل و سایر اقدامات را آماده کند، اما این موارد را در یک فایل متنی برای بررسی انسانی قرار دهد. با حذف امکان ارتباط خارجی، تنها دو جزء از سه‌گانه مرگبار باقی می‌ماند. این روش هزینه دارد و قابلیت عامل را کاهش می‌دهد، اما ممکن است قیمتی باشد که برای کاهش سطح حمله باید پرداخت کرد. هنوز هیچ مورد جدی از نقض امنیتی به دلیل استفاده از عوامل ایمیل گزارش نشده است، اما این به معنای عدم وجود خطر نیست. توسعه‌دهندگان باید از خطرات آگاه باشند و مسئولیت عواقب استفاده از این فناوری را بپذیرند.