ربات هوش مصنوعی ChatGPT با پیمایش محتوای سایت‌های مختلف تلاش می‌کند تا مطالب جدیدی را بیاموزد و در پاسخگویی به کاربران خود از آن‌ها استفاده کند. این ربات هم از دستورالعمل های موجود در فایل robots.txt پشتیبانی می‌کند. موتورهای جستجو از جمله گوگل نیز پیش از بررسی محتوای سایت‌ها ابتدا فایل robots.txt را باز می‌کنند تا بررسی کنند که آیا اجازه دارند محتوای سایت شما را ایندکس کنند یا خیر.
برای مسدود کردن دسترسی ChatGPT به کل محتوای سایت خودتان می‌توانید دستورالعمل‌های زیر را داخل فایل robots.txt سایت درج کنید:
User-agent: GPTBot Disallow: /
همچنین اگر بخواهید دسترسی به برخی شاخه‌های سایتتان را برای ChatGPT ممنوع کنید از دستورالعمل‌های زیر می‌توانید استفاده کنید:
User-agent: GPTBot Allow: /public-articles/ Disallow: /very-good-articles/
محدود کردن ChatGPT و سئو
بسیاری از تولیدکنندگان محتوا برای آسان‌تر شدن کار از ChatGPT برای جمع‌آوری کلیات موضوع استفاده می‌کنند. اگر سایت شما هم در این ربات قابل ایندکس شدن باشن، محتوایی که در اختیار این گروه از کاربران قرار می‌گیرد شامل مفهوم محتوایی که شما تولید کرده‌اید هم خواهد شد و البته به شکل بازنویسی شده و غیرقابل شناسایی. بنابراین اگر محتوای سایت شما منحصر به فرد و ویژه است شاید انجام این کار از تولید محتوای با کیفیت و بدون زحمت برای رقبای شما جلوگیری کند.
دلایل دیگر برای مسدود کردن ChatGPT
دلایلی که بخواهید دسترسی ربات چت‌جی‌پی‌تی را به سایتتان مسدود کنید می‌تواند یکی از موارد زیر باشد:
- محتوای سایت شما بسیار منحصر به فرد و ارزشمند است و نمی‌خواهید ربات ChatGPT آن را بیاموزد و بتواند به کاربران بر اساس آن پاسخ بدهد.
- محتوای سایت شما بسیار زیاد است و با محدود کردن ربات‌ها می‌خواهید مصرف پهنای باند و توان میزبان اینترنتی خود را کاهش دهید.
- محتوای برخی از صفحات سایت شما نباید به صورت معمول در اینترنت قابل جستجو باشد و تنها کاربرانی که به سایتتان مراجعه می‌کنند در حالت خاص می‌بایست آن را ببینند.
همیشه باید در نظر داشته باشید که دستورالعمل‌های موجود در فایل robots.txt حالت توصیه‌ای دارند و تضمین ۱۰۰ درصدی نیست که ربات‌ها به آن احترام بگذارند. بنابراین اگر می‌خواهید کنترل کامل روی دسترسی محتوای سایتتان داشته باشید می‌بایست از روش‌های ایمن‌تر مثل تعیین نام کاربری و رمز برای دسترسی را پیش‌بینی کنید.