www.dntips.ir
مطالب
۳۶۹۴
نویسندگان
۲۷۶
گروههای مطالب
۱۰۲۴
نقشههای راه
۱۱۹
دورهها
۱۴
اشتراکها
۱۷۹۱۴
→
راهنمای نصب WSL بر روی ویندوز 11
NET 9.0.1. منتشر شد
←
عنوان:
چگونه فایل robots.txt سایت را جهت بستن دسترسی باتهای AI تنظیم کنیم؟
نویسنده:
وحید نصیری
تاریخ:
۱۴۰۳/۱۰/۲۶ ۰۸:۵۲
آدرس:
www.dntips.ir
robots.txt for AI
a list of the known agent names for web crawlers associated with companies that train AI Large Language Models configured as a robots.txt file set to deny the agents
مشاهده مطلب اصلی
مطالب مشابه
اشتراکها
Agent Configuration & AI Mistakes: A Developer’s Guide
اشتراکها
فایل robots.txt سایت youtube
اشتراکها
Wikimedia Foundation Announces New AI Partnerships with Amazon, Meta, Microsoft, Perplexity and Others
اشتراکها
Using GitHub Models with the Microsoft Agent Framework
اشتراکها
تحولی در جستجو و ظهور سئوی LLM
اشتراکها
Daily Reading List – January 14, 2026 (#700)
اشتراکها
ChatGPT مزخرفه!
اشتراکها
AI as Debugger: A New Approach to Software Development
اشتراکها
LLMs مانند ChatGPT چگونه کار میکنند؟
اشتراکها
Stealing Isn’t Innovation: Hundreds of Creatives Warn Against an AI Slop Future