یک مطالعه جدید از مرکز ارتباطات سازنده MIT نشان میدهد که مدلهای زبانی بزرگ (LLM) ممکن است پاسخهای نابرابری را بر اساس هویت کاربر ارائه دهند. این مدلها، از جمله GPT-4، Claude 3 Opus و Llama 3-8B، در هنگام تعامل با کاربرانی که سطح تحصیلات پایینتری دارند، تسلط کمتری به زبان انگلیسی دارند یا از کشورهای خاصی میآیند، دقت کمتری دارند، تمایل به پاسخ ندادن بیشتر دارند و گاهی اوقات لحن متفاوتی را اتخاذ میکنند.
این مطالعه با استفاده از مجموعه دادههای علمی و معیار TruthfulQA، عملکرد این مدلها را ارزیابی کرد. معیار TruthfulQA شامل موارد واقعی و سوالاتی است که برای تحریک سوء تفاهمات رایج طراحی شدهاند. محققان با پیشوند سوالات با بیوگرافیهای کوتاه که سطح تحصیلات، تسلط به زبان انگلیسی و ملیت کاربر را توصیف میکنند، این موضوع را بررسی کردند. نتایج نشان داد که مدلها در پاسخگویی به سوالات کاربران با سطح تحصیلات پایینتر، دقت کمتری دارند.
همچنین، تسلط به زبان انگلیسی نیز بر نتایج تاثیرگذار است. در معیار TruthfulQA، دقت در هنگام توصیف یک فرد غیر بومی زبان انگلیسی کاهش یافته است. ترکیب هر دو عامل سطح تحصیلات پایین و تسلط کم به زبان انگلیسی، منجر به کاهش قابل توجهی در دقت پاسخها میشود. این موضوع نشان میدهد که استقرار این مدلها در مقیاس بزرگ میتواند منجر به انتشار اطلاعات نادرست به ویژه در میان افرادی شود که کمتر قادر به تشخیص آن هستند.
در مورد کاربران با تحصیلات بالا، Claude 3 Opus در پاسخگویی به سوالات کاربران ایرانی در هر دو مجموعه داده، عملکرد ضعیفتری نسبت به سایر مدلها نشان داد. GPT-4 و Llama 3 در این شرایط تغییرات کمی را بر اساس ملیت نشان دادند. به طور کلی، کاهش دقت در همه سیستمها در هنگام توصیف سطح تحصیلات پایین، در همه کشورها مشاهده شد.
این یافتهها بر اهمیت کاهش سوگیریها و رفتارهای مضر در مدلهای زبانی بزرگ تاکید میکند تا اطمینان حاصل شود که این مدلها برای همه کاربران، صرف نظر از زبان، ملیت یا سایر ویژگیهای جمعیتی، مفید و قابل اعتماد هستند. این مطالعه نشان میدهد که برای تحقق چشمانداز استفاده از LLMها برای رفع نابرابری در دسترسی به اطلاعات در سراسر جهان، باید این مسائل به طور جدی مورد توجه قرار گیرند.
مشاهده مطلب اصلی