‫معرفی microgpt: یک مدل زبانی GPT در یک فایل پایتون 200 خطی

Andrej Karpathy یک پروژه هنری جدید خود به نام microgpt را معرفی کرده است. این پروژه شامل یک فایل 200 خطی پایتون بدون وابستگی است که قادر به آموزش و استنتاج یک مدل GPT است. این فایل شامل مجموعه داده اسناد، توکن‌ساز، موتور اتوگراد، معماری شبکه عصبی شبیه به GPT-2، بهینه‌ساز Adam، حلقه آموزش و حلقه استنتاج است. هدف این مدل یادگیری الگوهای موجود در داده‌ها و سپس تولید اسناد جدیدی است که الگوهای آماری مشابهی را به اشتراک می‌گذارند. به عنوان یک پیش‌نمایش، مدل قادر است نام‌های جدید و معقول‌الصوت ("توهم"!) تولید کند. این پروژه نشان‌دهنده تجمیع چندین پروژه قبلی (مانند micrograd, makemore, nanogpt) و یک دهه تلاش برای ساده‌سازی مدل‌های زبانی بزرگ به اصول اساسی آن‌ها است. این اسکریپت از یک مجموعه داده ساده از 32000 نام تشکیل شده است که هر نام به عنوان یک سند در نظر گرفته می‌شود. مدل با استفاده از این داده‌ها آموزش می‌بیند و سپس قادر به تولید نام‌های جدید و مشابه است. توکن‌ساز در این پروژه، هر کاراکتر منحصر به فرد در مجموعه داده را به یک شناسه عددی اختصاص می‌دهد. این روش ساده، امکان تبدیل متن به دنباله‌ای از شناسه های عددی را فراهم می‌کند که برای شبکه‌های عصبی قابل پردازش است. این پروژه به عنوان یک راهنمای گام به گام برای علاقه‌مندان به کد ارائه شده است. این پروژه با هدف ساده‌سازی مدل‌های زبانی بزرگ و نشان دادن اصول اساسی آن‌ها طراحی شده است و می‌تواند به عنوان یک نقطه شروع برای درک بهتر معماری و عملکرد مدل‌های زبانی بزرگ مانند ChatGPT مورد استفاده قرار گیرد. این پروژه در GitHub gist و همچنین به عنوان یک Google Colab notebook در دسترس است. این پروژه نشان می‌دهد که چگونه می‌توان یک مدل زبانی نسبتاً پیچیده را با استفاده از حداقل کد و وابستگی‌ها پیاده‌سازی کرد.