گوگل همانند هر سامانهی بزرگ دیگری، منابع پردازشی و خزندههای محدودی در اختیار دارد و نمیتواند بیوقفه به همهی سایتهای موجود در وب سر بزند. از سوی دیگر، بسیاری از وبسایتها نیز ظرفیت فنی، پهنای باند و زیرساخت لازم برای پاسخگویی به حجم بالای درخواستهای خزندههای گوگل را ندارند. به همین دلیل، گوگل برای هر دامنه، بودجهای مشخص به نام بودجهی ایندکس (Crawl Budget) در نظر میگیرد. این بودجه تعیین میکند که گوگل با چه فرکانسی و در چه بازههای زمانی به سایت شما مراجعه کند، چند صفحه را بخزد، و چه میزان از محتوای تازهی آن را وارد فهرست جستوجوی خود نماید. مقدار این بودجه و سرعت ایندکس شدن صفحات، به مجموعهای از عوامل فنی و رفتاری بستگی دارد. از جمله اعتبار دامنه، ساختار لینکها، سرعت پاسخگویی سرور، و میزان تعامل کاربران با محتوای سایت.
برای نمونه، اگر وبسایت شما یک رسانهی خبری فعال است که روزانه چندین محتوای تازه و پرکلیک منتشر میکند، گوگل بهطور طبیعی دفعات بیشتری به آن سر خواهد زد. در چنین حالتی ممکن است مطالب شما تنها چند دقیقه پس از انتشار در نتایج جستوجو ظاهر میشوند. اما در نقطهی مقابل، اگر سایتی بهندرت بهروزرسانی میشود، ساختار فنی ضعیفی دارد یا بازدید چندانی از طریق جستوجو دریافت نمیکند، ممکن است رباتهای گوگل مدتها بعد از انتشار، محتوای جدید آن را ایندکس کنند. در نتیجه، درک و بهینهسازی بودجهی ایندکس برای هر مدیر وب، نقش مهمی در سرعت و کارایی دیدهشدن آن در نتایج جستوجو دارد.
چه عواملی باعث کند شدن سرعت ایندکس میشوند ؟
اینکه دقیقا چه عواملی باعث میشود سایت شما کندتر ایندکس شود، مشخص نیست و عوامل موثر در این موضوع مثل عوامل موثر در رتبهبندی سایتهای توسط گوگل اعلام نمیشوند و به طور دائم در حال تغییر و بهبود هستند.
به طور کلی عواملی که میتواند باعث این مشکل باشند عبارتند از:
- مطالب بی کیفیت سایت شما بسیار زیاد هستند
مطالب بیکیفیت شامل مطالبی هستند که بازدیدکنندهای ندارند و در گوگل ایندکس شدهاند. این به معنی حذف محتوای موجود در سایت نیست، اگر مطالبی در سایت دارید که مفید هستند ولی مورد جستجو نیستند، میتوانید آنها را به صورت noindex در بیاورید. برای مثال دستهبندیها و آرشیوهای نویسنده و برچسبها در بسیاری از موارد چیزی نیستند که بخواهید در گوگل ایندکس شوند و بودجهی ایندکس شما را هدر بدهند. - همسایگان زیاد روی هاست اشتراکی
اگر تعداد همسایگان شما در یک هاست اشتراکی زیاد باشد، میزان مراجعهی گوگل به IP هاست شما تحت تاثیر قرار میگیرد. برای مثال اگر روی یک IP تعداد ۱۰ سایت با میانگین ۱۰۰ صفحه میزبانی شوند با حالتی که روی یک IP تعداد ۲۰۰ سایت با میانگین ۵۰۰ صفحه میزبانی میشود، تفاوت چشمگیری وجود دارد. - کیفیت محتوای شما خوب نیست
هوش مصنوعی تغییرات مهمی در سئو ایجاد کرده است. موتورهای جستجو با کمک هوش مصنوعی تلاش میکنند تا کیفیت مطالب شما را ارزیابی کنند. اگر مطلب شما کم کیفیت یا بی ارزش باشد ممکن است ایندکس نشود. برای رفع این مشکل باید مطالب بی کیفیت را از سایتتان حذف کنید یا آنها را ویرایش کنید تا بهتر شوند. - مشکلی در صفحات یا هاست شما وجود دارد
ممکن است به دلیل یک مشکل فنی یا یک مشکل در هاست، دسترسی گوگل به سایت یا صفحهی شما مقدور نباشد، این مشکلات میتواند شامل مشکلی در robots.txt شما یا مشکلی در افزونهی سئو سایت شما یا مشکلی در هاست شما باشد که اجازه ندهد، صفحات شما به درستی در گوگل مشاهده شوند و با خطایی روبرو شوند.
برای کشف این مشکلات میتوانید خطاهای دریافت شده در Google Search Console در بخش Crawl Stats را بررسی کنید یا صفحهی مورد نظر را Inspect کنید و بررسی کنید که چه پیامی در کنسول گوگل دیده میشود.
شناسایی مطالبی که باید بازبینی کنید
وجود مطالب بیکیفیت در سایت یکی از عوامل مهم در کاهش بودجهی پیمایش سایت شماست. برای شناسایی مطالبی که در سایت شما هستند و از نظر گوگل دارای کیفیت لازم نیستند، روشهای مختلفی وجود دارد. یکی از بهترین راهها، مراجعه به بخش Pages در کنسول گوگل است:
همان طور که در تصویر بالا مشاهده میکنید، ۲۴ صفحه از سایت وجود دارد که گوگل آنها را پیمایش کرده ولی ایندکس نکرده است. این صفحات مواردی هستند که باید تک به تک آنها را بررسی کنید و ببینید آیا کیفیت کمی داشتهاند یا علت دیگری هست که باعث این اتفاق شده است.
ممکن است بخواهید متن این صفحات را بازبینی کنید یا آنها را حذف کنید یا فعالیتهای دیگری انجام دهید تا باعث شود کیفیت آنها افزایش پیدا کند. پس از انجام اصلاحات میتوانید درخواست ایندکس شدن آنها را در بخش Request Indexing به گوگل ارسال کنید.