هدف: استانداردسازی نحوه ارائه اطلاعات وبسایتها به مدلهای زبانی بزرگ (LLM).
- رفع محدودیت پنجرههای زمینه (context windows) مدلهای زبانی بزرگ (LLM) که برای کل وبسایتها بسیار کوچک هستند.
- ارائه اطلاعات مختصر و تخصصی برای مدلهای زبانی بزرگ (LLM).
اجزای کلیدی:/llms.txt: یک فایل نشانهگذاری (markdown) در ریشه وبسایت که اطلاعات پسزمینه، راهنمایی و پیوندها را ارائه میدهد.
- نسخههای
.md صفحات وبسایت: نسخههای نشانهگذاری (markdown) تمیز صفحات HTML، که با افزودن .md به URL قابل دسترسی هستند.
قالب llms.txt: ساختار نشانهگذاری (markdown) برای خوانایی مدلهای زبانی بزرگ (LLM) و انسان.
- بخشهای خاص:
- H1: نام پروژه/سایت (الزامی).
- بلوک نقل قول: خلاصه کوتاه.
- بخشهای نشانهگذاری (markdown): اطلاعات مفصل.
- سرصفحههای H2: "لیستهای فایل" URLها.
- لیستهای نشانهگذاری (markdown) با پیوندهای فرامتنی
[name](url) و یادداشتهای اختیاری. - بخش H2 "اختیاری" نشاندهنده اطلاعات URL قابل رد شدن است.
منطق: مکمل استانداردهای موجود مانند robots.txt و sitemap.xml.
- ارائه محتوای مدیریت شده و مناسب مدلهای زبانی بزرگ (LLM)، برخلاف نقشههای سایت جامع.
- طراحی شده برای استفاده در زمان استنتاج.
توضیحات بیشتر:
- این پیشنهاد به دنبال ایجاد یک روش استاندارد برای وبسایتها است تا اطلاعات کلیدی خود را به شکلی ارائه دهند که مدلهای زبانی بزرگ (LLM) بتوانند به راحتی آن را درک کنند.
- مشکل اصلی این است که مدلهای زبانی بزرگ (LLM) معمولاً نمیتوانند کل محتوای یک وبسایت را به دلیل محدودیتهای حافظه پردازش کنند.
- فایل
llms.txt و نسخههای .md صفحات وبسایت، اطلاعات را به شکلی مختصر و سازماندهی شده ارائه میدهند تا مدلهای زبانی بزرگ (LLM) بتوانند به سرعت اطلاعات مورد نیاز خود را پیدا کنند. - فایل robots.txt برای این است که به ربات های جستجو اعلام کند که چه صفحاتی را جستجو و ایندکس کنند و چه صفحاتی را نادیده بگیرند. فایل llms.txt برای این است که به مدل های زبانی بزرگ کمک کند که محتوای سایت را بهتر درک کنند. و فایل sitemap.xml نقشه سایت است که تمام صفحات سایت را برای موتور های جستجو لیست می کند.
- نشانهگذاری یا مارکداون (markdown) یک زبان نشانهگذاری سبک است که با استفاده از متن ساده، قالببندی را انجام میدهد.
- پنجره متن یا کانتکست ویندو (context windows) به مقدار متنی اشاره دارد که یک مدل زبانی بزرگ میتواند به طور همزمان پردازش کند.
- استنتاج یا اینفرنس (inference) به فرآیند استفاده از یک مدل آموزشدیده برای پیشبینی یا تصمیمگیری اشاره دارد.