یک توسعهدهنده وب متوجه شده است که خزنده (crawler) متا (Meta) در طول 30 روز، 11 میلیون درخواست به وبسایت او ارسال کرده است که منجر به هزینههای قابل توجهی برای او در پلتفرم Vercel شده است. این در حالی است که خزنده گوگل (Googlebot) تنها 1.1 میلیون درخواست داشته و ترافیک واقعی کاربران 24.6 میلیون بوده است.
این توسعهدهنده تاکید میکند که خزنده متا تقریباً نصف ترافیک کاربران واقعی را تولید میکند و این موضوع باعث افزایش هزینههای سرور و اجرای توابع بیسرور (serverless functions) شده است. او همچنین اشاره میکند که تنظیمات ISR (Incremental Static Regeneration) با بازه زمانی 3600 ثانیه (یک ساعت) نیز نتوانسته است از این درخواستها جلوگیری کند، زیرا خزندهها URLهای منحصربهفرد را یک بار بازدید کرده و سپس دور میشوند و هیچ کش (cache) hit رخ نمیدهد.
توسعهدهنده راه حل این مشکل را اضافه کردن یک خط به فایل robots.txt میداند که در آن آدرس متا-اکسترنالاژنت (meta-externalagent) مسدود میشود. او از Vercel به دلیل عدم وجود محافظت از رباتها و کش لبه (edge caching) تهاجمی برای ترافیک خزنده انتقاد میکند و از متا میپرسد که با این حجم از اطلاعات چه میکند، آیا برای آموزش مدلها استفاده میشود یا برای ذخیره سازی پیشنمایش لینکها؟
این توسعهدهنده از سایر توسعهدهندگان میخواهد که آمار خود را به اشتراک بگذارند تا مشخص شود آیا او تنها کسی است که با این مشکل مواجه شده است. هزینه فاکتور Vercel او از 28 دسامبر تا 28 ژانویه 1933.93 دلار بوده است، در حالی که هزینه ماه نوامبر تنها 30 دلار بوده است. او توضیح میدهد که توابع بیسرور برای دریافت دادههای پویا بر اساس شناسه slug و بارگذاری صفحه در سمت سرور استفاده میشوند.
این موضوع نشاندهنده یک چالش برای توسعهدهندگان وب است که باید با حجم بالای درخواستهای خزندهها و هزینههای مرتبط با آن مقابله کنند. انتظار میرود که این موضوع توجه Vercel و متا را به خود جلب کند و منجر به ارائه راهکارهای بهتری برای مدیریت ترافیک خزنده شود.
مشاهده مطلب اصلی