قابلیت خزش (Crawlability) چیست و چگونه آن را بررسی کنیم؟

این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.

ممکن است یک URL در سایت وجود داشته باشد، در Sitemap هم قرار گرفته باشد و حتی از چند صفحه دیگر به آن لینک داده باشید، اما Googlebot نتواند محتوای آن را Crawl کند.

Crawlability مشخص می‌کند آیا خزنده موتور جستجو می‌تواند به یک URL دسترسی پیدا کند، درخواست HTTP برای آن ارسال کند و پاسخ مورد نیاز را دریافت کند یا نه.

مشکلاتی مثل دستور اشتباه در robots.txt، خطای سرور، محدودیت فایروال، ساختار نامناسب لینک‌ها، Authentication، Redirectهای خراب و بعضی مشکلات JavaScript می‌توانند باعث شوند Google نتواند صفحات مهم سایت را به‌شکل مورد انتظار Crawl کند.

قابلیت خزش (Crawlability) چیست؟

اگر Googlebot بتواند URL را پیدا کند، اجازه درخواست آن را داشته باشد و سرور نیز پاسخ قابل‌استفاده‌ای برگرداند، از نظر پایه آن URL قابلیت Crawl شدن دارد.

• Google باید از وجود URL باخبر شود؛

• robots.txt نباید دسترسی Googlebot را مسدود کرده باشد؛

• URL نباید پشت Login یا محدودیت دسترسی قرار گرفته باشد؛

• سرور باید در دسترس باشد؛

• DNS و شبکه باید درست کار کنند؛

• پاسخ HTTP نباید مانع دسترسی خزنده شود.

Crawlability یکی از پیش‌نیازهای مهم برای پردازش محتوای صفحه است، اما قابل Crawl بودن یک URL به‌معنی Index شدن یا رتبه گرفتن آن نیست.

Crawlability با Crawling چه تفاوتی دارد؟

Crawling خود فرایندی است که خزنده در آن URL را درخواست و محتوای آن را بررسی می‌کند.

برای مثال یک صفحه ممکن است از نظر فنی کاملاً قابل Crawl باشد، اما Google هنوز به آن URL سر نزده باشد.

Crawlability با Indexability چه تفاوتی دارد؟

صفحه ممکن است کاملاً قابل Crawl باشد ولی اجازه Index شدن نداشته باشد.

برعکس، اگر URL را در robots.txt مسدود کنیم، Google ممکن است نتواند محتوای صفحه و Meta Robots آن را مشاهده کند.

آیا صفحه مسدود شده در robots.txt می‌تواند در Google دیده شود؟

Google توضیح می‌دهد اگر URL از جاهای دیگر لینک دریافت کرده باشد، ممکن است URL را بدون Crawl کردن محتوای آن بشناسد.

در چنین حالتی ممکن است Google خود URL و اطلاعات محدودی را نمایش دهد، حتی اگر اجازه Crawl صفحه را نداشته باشد.

6. ساختار URL نامناسب

اگر هر ترکیب پارامتر URL تازه‌ای ایجاد کند، خزنده ممکن است با تعداد بسیار زیادی URL روبه‌رو شود.

آیا نبود لینک داخلی باعث Non-Crawlable شدن صفحه می‌شود؟

اگر URL را مستقیم به Google بدهید یا در Sitemap قرار داشته باشد، سرور همچنان ممکن است اجازه Crawl آن را بدهد.

یک صفحه یتیم ممکن است از نظر سرور کاملاً Crawlable باشد ولی در معماری داخلی سایت مسیر مناسبی برای Discovery نداشته باشد.

آیا Sitemap مشکل Crawlability را حل می‌کند؟

Sitemap می‌تواند به Google درباره وجود URL اطلاع دهد، اما محدودیت فنی آن URL را برطرف نمی‌کند.

• در robots.txt مسدود باشد؛

• سرور خطا داشته باشد؛

• نیاز به Login داشته باشد؛

• یا Redirect خراب داشته باشد؛

مرحله 4: URL Inspection را اجرا کنید

در Google Search Console URL را وارد کنید و Test Live URL را اجرا کنید.

• Crawl allowed?

• Page fetch

• HTTP response

• رندرشده page

• Indexing allowed?

مرحله 6: Sitemap را بررسی کنید

اگر URL مهم و قابل Index است، بررسی کنید آیا در Sitemap مناسب قرار دارد.

Canonical باعث جلوگیری از Crawl می‌شود؟

اگر صفحه A به B Canonical باشد، Google ممکن است همچنان A را Crawl کند تا محتوای آن و سیگنال‌های Canonicalization را بررسی کند.

Nofollow همان جلوگیری از Crawl است؟

Google ممکن است URL مقصد را از مسیرهای دیگری مثل Sitemap، لینک دیگر یا سابقه Crawl بشناسد.

جمع بندی

یک صفحه ممکن است کشف شده باشد ولی اجازه Crawl نداشته باشد، یا Crawl شود ولی به‌دلیل noindex وارد Index نشود.

مطالعه نسخه کامل

برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، قابلیت خزش (Crawlability) چیست و چگونه آن را بررسی کنیم؟ را در وبتیک بخوانید.