‫۷ مدل زبان کوچک که می‌توانید روی لپ‌تاپ اجرا کنید

این مقاله به معرفی ۷ مدل زبان کوچک می‌پردازد که می‌توانند روی لپ‌تاپ‌های استاندارد اجرا شوند و نتایج باکیفیتی برای وظایف تخصصی ارائه دهند. این مدل‌ها نیازمند پذیرش شرایط مجوز و احراز هویت برای برخی از دانلودها هستند، اما پس از دریافت وزن‌ها، همه چیز به صورت محلی اجرا می‌شود. این راهنما شامل هفت مدل زبان کوچک کاربردی است که بر اساس تناسب با مورد استفاده رتبه‌بندی شده‌اند، نه امتیازات معیار. هر کدام از این مدل‌ها در استقرار واقعی خود را اثبات کرده‌اند و همگی می‌توانند روی سخت‌افزاری که احتمالاً در حال حاضر در اختیار دارید اجرا شوند. توجه داشته باشید که مدل‌های کوچک بازبینی‌های مکرر (وزن‌های جدید، محدودیت‌های زمینه جدید، برچسب‌های جدید) را منتشر می‌کنند. این مقاله بر انتخاب خانواده مدل تمرکز دارد؛ برای پیکربندی فعلی، مجوزها و تنظیمات زمینه، کارت مدل رسمی یا صفحه Ollama را بررسی کنید. یکی از بهترین انتخاب‌ها برای توسعه‌دهندگانی که سیستم‌های تولید-تقویت‌شده بازیابی (RAG) را روی سخت‌افزار محلی می‌سازند، مدل Phi-3.5 Mini با ۳.۸ میلیارد پارامتر است. این مدل که در آگوست ۲۰۲۴ منتشر شد، به طور گسترده برای برنامه‌هایی که نیاز به پردازش اسناد طولانی بدون فراخوانی API ابری دارند، استفاده می‌شود. این مدل توانایی مدیریت ورودی‌های بسیار طولانی (متن‌هایی به طول کتاب بسته به نوع/موتور اجرا) را دارد که آن را برای RAG و گردش‌کارهای مبتنی بر اسناد مناسب می‌کند. برخی از انواع بسته‌بندی شده (از جمله برچسب‌های پیش‌فرض phi3.5 در کتابخانه Ollama) به طور پیش‌فرض از زمینه کوتاه‌تری استفاده می‌کنند - قبل از تکیه بر حداکثر زمینه، نوع/تنظیمات خاص را بررسی کنید. این مدل‌ها برای استدلال با زمینه طولانی (خواندن PDFها، مستندات فنی)، تولید و اشکال‌زدایی کد و برنامه‌های RAG که نیاز به ارجاع به مقادیر زیادی از متن دارند، مناسب هستند. این مدل‌ها همچنین برای وظایف چند زبانه مناسب هستند. قبل از استقرار، حتماً نوع/تنظیمات خاص را بررسی کنید تا از حداکثر زمینه اطمینان حاصل کنید.