اولاما به یک استاندارد برای اجرای مدلهای زبانی بزرگ (LLM) به صورت محلی تبدیل شده است. این پلتفرم منبع باز، بستههای مدل را در یک Modelfile واحد جمعآوری میکند و شامل وزنهای مدل، پیکربندی و دادهها میشود. اولاما یک رابط خط فرمان (CLI)، یک API REST و یک SDK پایتون/جاوااسکریپت ارائه میدهد که به کاربران امکان میدهد مدلها را دانلود، به صورت آفلاین اجرا و حتی توابع تعریفشده توسط کاربر را فراخوانی کنند. اجرای مدلها به صورت محلی به کاربران حریم خصوصی میدهد، تأخیر شبکه را از بین میبرد و دادهها را روی دستگاه کاربر نگه میدارد. برای نصب اولاما، میتوانید از وبسایت رسمی آن به آدرس https://ollama.com/ دانلود کنید. اولاما معمولاً مدلها را با کوانتیزاسیون ۴ بیتی (q4_0) اجرا میکند که استفاده از حافظه را به میزان قابل توجهی کاهش میدهد. برای مدلهای ۷B (مانند Llama 3، Mistral) به حدود ۸ گیگابایت رم نیاز است.
مشاهده مطلب اصلی