توسعهدهنده یک پروژه به نام Vakt (به معنی "نگهبان" به زبان سوئدی) راهاندازی کرده است که به عنوان یک Gateway در .NET 8 عمل میکند و هدف آن استفاده از مدلهای زبانی بزرگ (LLM) ابری مانند GPT-4o بدون ارسال دادههای حساس مشتری (PII) به فضای ابری است. این Gateway با حذف محلی اطلاعات شخصی (مانند نام، شماره تامین اجتماعی و شماره تلفن) قبل از ارسال درخواست به LLM، به این هدف دست مییابد. Vakt از Phi-3-Mini از طریق ONNX Runtime برای شناسایی و حذف PII استفاده میکند. همچنین، از کشینگ معنایی با استفاده از Redis Vector Search و BERT embeddings برای ذخیره پاسخها و ارائه پاسخهای سریعتر و کاهش هزینههای توکن استفاده میکند. این Gateway همچنین قابلیت ثبت وقایع (Audit Logging) را برای انطباق با مقررات (مانند GDPR) فراهم میکند و به عنوان یک پروکسی معکوس (با استفاده از YARP) عمل میکند، که ادغام آن با SDK OpenAI را آسان میکند. پشتهی فناوری شامل .NET 8، ASP.NET Core، YARP، Microsoft.ML.OnnxRuntime، Redis Stack و Aspire است. هدف از این پروژه، ترکیب هوش مدلهای ابری بزرگ با حریم خصوصی و کنترل میزبانی محلی بود.
مشاهده مطلب اصلی