در این مقاله، به بررسی زمان و دلایل استفاده استارتاپها از یک گیتوی (Gateway) در مقابل Microsoft Foundry پرداخته شده است. Foundry یک پلتفرم مدل و هوش مصنوعی است و افزودن یک گیتوی به آن، به ویژه در مقیاس بزرگ، میتواند مزایای متعددی داشته باشد.
در ابتدا، هنگامی که تعداد برنامهها کم است و ترافیک قابل پیشبینی است، نیازی به افزودن لایههای اضافی به Foundry نیست. اما با افزایش تعداد برنامهها و ترافیک، نیاز به کنترل بیشتر بر روی دسترسی، محدودیتها و تکامل مدلها احساس میشود. اینجاست که افزودن یک گیتوی میتواند مفید باشد.
یک گیتوی معمولاً به عنوان یک لایه کنترل بین برنامههای کاربردی و Foundry عمل میکند. این گیتوی میتواند وظایفی مانند احراز هویت، محدودیت نرخ (Rate Limiting) و مسیریابی را انجام دهد. در Azure، این گیتوی اغلب با استفاده از API Management با قابلیتهای GenAI پیادهسازی میشود. این رویکرد به تیمها اجازه میدهد تا یک سطح API پایدار را برای برنامهها فراهم کنند، حتی زمانی که مدلها یا استقرارها در حال تغییر هستند.
مزایای استفاده از گیتوی شامل یک سطح API واحد و پایدار، محدودیت و احراز هویت متمرکز، مسیریابی مبتنی بر سیاست، و بهبود قابلیت مشاهده درخواستها است. این ساختار به تیمها اجازه میدهد تا بدون کند کردن آزمایشها، مقیاسپذیری را بهبود بخشند. این الگو برای استارتاپهایی که Foundry را در چندین برنامه یا تیم استفاده میکنند، نیاز به اجرای مداوم محدودیتها و سهمیهها دارند، یا تمایل به محافظت از تغییرات مدل یا استقرار دارند، مناسب است.
مشاهده مطلب اصلی