در این مقاله، فاکتوری (Factory) یک چارچوب ارزیابی برای سنجش میزان حفظ اطلاعات توسط استراتژیهای مختلف فشردهسازی متن در عوامل هوش مصنوعی ارائه کرده است. آزمایشها بر روی جلسات طولانیمدت عامل (شامل اشکالزدایی، بررسی کد، و پیادهسازی ویژگی) نشان داد که خلاصهسازی ساختیافته، اطلاعات مفیدتری را نسبت به روشهای جایگزین از OpenAI و Anthropic حفظ میکند، بدون اینکه کارایی فشردهسازی را قربانی کند. مشکل اصلی، حجم بالای توکنهای تولید شده در جلسات طولانیمدت عامل است که از ظرفیت حافظه مدل فراتر میرود. راه حلهای ساده مانند فشردهسازی تهاجمی، احتمال فراموشی اطلاعات مهم (مانند مسیر فایلها) را افزایش میدهد. فاکتوری یک روش ارزیابی مبتنی بر "پُرب" (probe) طراحی کرده است که کیفیت متن فشرده شده را به طور مستقیم اندازهگیری میکند. این روش شامل پرسیدن سوالاتی از عامل پس از فشردهسازی است که نیاز به به یاد آوردن جزئیات خاصی از تاریخچه دارد. چهار نوع پُرب مورد استفاده شامل "یادآوری" (Recall) برای حفظ حقایق، "آثار" (Artifact) برای ردیابی فایلها، "ادامه" (Continuation) برای برنامهریزی وظایف، و "تصمیم" (Decision) برای حفظ زنجیره استدلال است. پاسخها توسط یک مدل زبانی بزرگ (GPT-5.2) بر اساس شش معیار (دقت، آگاهی از متن، ردپای آثار، کامل بودن، پیوستگی) ارزیابی میشوند. هدف نهایی، بهینهسازی توکنها بر اساس وظیفه است، نه صرفاً توکنها در هر درخواست.
مشاهده مطلب اصلی