در این قسمت از برنامه MVP Unplugged، Justin Garrett با Veronika Kolesnikova، MVP مایکروسافت، گفتگو میکند تا بررسی کند چگونه میتوان مدلهای هوش مصنوعی مناسب را برای وظایف رایج توسعهدهندگان با استفاده از ارزیابیها در Microsoft Foundry انتخاب کرد. این گفتگو شامل بررسی query-context-results، گردشکارهای Python SDK و معیارهایی برای ارزیابی است.
Veronika فرآیند کامل خود را از تولید مجموعهدادهها با GitHub Copilot تا اجرای ارزیابیهای چند مدلی و تجزیه و تحلیل خروجیها در پورتال Microsoft Foundry، شرح میدهد. او بر اهمیت ایجاد مجموعهدادههای ارزیابی سفارشی با استفاده از هوش مصنوعی و مقایسه خروجیها در مدلهای مختلف مانند GPT‑5، Grok-4 و Claude Sonnet 4.5 تاکید میکند.
این قسمت به توسعهدهندگان نشان میدهد که چگونه میتوان ارزیابیها را به صورت برنامهنویسی با استفاده از Microsoft Foundry SDK اجرا کرد و عملکرد هوش مصنوعی را با استفاده از معیارهایی مانند F1، METEOR، امتیازات شباهت و آستانهها اندازهگیری کرد. همچنین، نکات مفیدی برای انتخاب مدل مناسب برای عامل هوش مصنوعی و استراتژیهای اشکالزدایی و تکرار برای بهبود کیفیت مدل ارائه میدهد.
Veronika همچنین توضیح میدهد که چگونه مجموعهدادههای ارزیابی را در Microsoft Foundry ذخیره و نسخهبندی میکند و اهمیت استفاده از GitHub Copilot برای آزمایش مدلها را مورد بحث قرار میدهد. این برنامه شامل بررسی منابع و لینکهای مفید از جمله آزمایش رایگان Microsoft Foundry، مستندات Microsoft Foundry Observability و مدل Leaderboard است.
در نهایت، Veronika به اهمیت مستندسازی و منابع آموزشی مایکروسافت لرن اشاره میکند و توصیههایی برای توسعهدهندگان در مورد انتخاب بهترین مدل و استفاده از ابزارهایی مانند GitHub Copilot ارائه میدهد. این قسمت راهنمای عملی و قابل استفادهای برای توسعهدهندگانی است که به دنبال ساخت عاملهای هوش مصنوعی، آزمایش مدلها یا اطمینان از قابلیت اطمینان هوش مصنوعی در مقیاس بزرگ هستند.
مشاهده مطلب اصلی