‫درگاه هوش مصنوعی وِرْسِل: دسترسی به معیارهای عملکرد مدل به صورت زنده

درگاه هوش مصنوعی (AI Gateway) وِرْسِل اکنون معیارهای عملکرد مدل، از جمله توان عملیاتی (throughput) و تأخیر (latency) را در عرضه‌ای زنده برای صدها مدل ارائه می‌دهد. این امکان به توسعه‌دهندگان کمک می‌کند تا با تکیه بر داده‌های عملکردی واقعی، مدل مناسب برای نیازهای خود را انتخاب کنند. این معیارها در سه مکان قابل مشاهده هستند و هر ساعت به‌روزرسانی می‌شوند: لیست مدل‌ها، صفحات جزئیات مدل و API. در لیست مدل‌ها، ستون‌های قابل مرتب‌سازی برای تأخیر و توان عملیاتی اضافه شده‌اند که بهترین معیارهای P50 (کمترین تأخیر و بالاترین توان عملیاتی) را برای هر مدل در بین ارائه‌دهندگان مختلف نمایش می‌دهند. این اطلاعات بر اساس درخواست‌های زنده مشتریان درگاه هوش مصنوعی به‌روز می‌شوند. در صفحات جزئیات مدل، می‌توان تأخیر و توان عملیاتی P50 را برای هر ارائه‌دهنده‌ای که از مدل استفاده کرده است مشاهده کرد. این امر امکان مقایسه عملکرد ارائه‌دهندگان برای یک مدل خاص را فراهم می‌کند و به انتخاب بهترین گزینه برای کاربرد مورد نظر کمک می‌کند. این معیارها به‌صورت ساعتی به‌روزرسانی می‌شوند و فقط برای ارائه‌دهندگانی نمایش داده می‌شوند که ترافیک کافی داشته‌اند. علاوه بر این، این معیارها از طریق API REST نیز در دسترس هستند. توسعه‌دهندگان می‌توانند با جایگزینی [ai-gateway-string] با نام سازنده/مدل مورد نظر، به این API دسترسی پیدا کنند و داده‌های عملکردی را به‌صورت برنامه‌نویسی دریافت کنند. این API اطلاعات مربوط به تأخیر P50 و P95 (زمان تا اولین توکن) و توان عملیاتی (توکن در ثانیه) را برای هر مدل و ارائه‌دهنده ارائه می‌دهد.