قابلیت ایندکس (Indexability) چیست و چه تفاوتی با Crawlability دارد؟

این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.

ممکن است Google بتواند یک صفحه را Crawl کند، محتوای آن را ببیند و حتی در Search Console گزارش کند که صفحه با موفقیت Fetch شده است؛ اما همان URL همچنان شرایط لازم برای Index شدن را نداشته باشد.

ممکن است صفحه کاملاً قابل Crawl و قابل Index باشد، اما Google همچنان تصمیم بگیرد آن را وارد Index نکند.

قابلیت ایندکس (Indexability) چیست؟

قابلیت ایندکس (Indexability) یعنی یک صفحه از نظر فنی مانع مستقیمی برای قرار گرفتن در Index موتور جستجو نداشته باشد.

برای مثال، یک صفحه معمولی که قرار است در Google حضور داشته باشد معمولاً باید شرایطی مثل این موارد داشته باشد:

• Google بتواند به محتوای آن دسترسی داشته باشد؛

• دستور noindex نداشته باشد؛

• پاسخ HTTP مناسب دریافت شود؛

• صفحه Redirect نباشد؛

• به‌عنوان صفحه خطا یا Soft 404 تشخیص داده نشود؛

• Canonical و سایر سیگنال‌ها با هدف صفحه تضاد جدی نداشته باشند.

اما حتی اگر تمام این موارد درست باشند، Google موظف نیست صفحه را Index کند.

Google در ابزار URL Inspection نیز میان قابل Index بودن URL و Indexed بودن آن تفاوت قائل می‌شود.

تفاوت Indexability و Indexing چیست؟

Indexing خود فرایندی است که طی آن Google محتوا را تحلیل می‌کند و در صورت انتخاب، اطلاعات صفحه را وارد Index می‌کند.

Indexability = آیا صفحه می تواند ایندکس شود؟ Indexing = آیا Google واقعا آن را وارد Index کرده است؟

• HTTP 200 دارد؛

• noindex ندارد؛

• قابل Crawl است؛

• Canonical آن به خودش اشاره می‌کند.

اما Google ممکن است به دلایلی مثل کیفیت ناکافی، شباهت زیاد به URL دیگر یا انتخاب Canonical متفاوت آن را وارد Index نکند.

تفاوت Indexability و Crawlability چیست؟

Google می‌تواند صفحه را دریافت کند، ولی نباید آن را در نتایج Search نگه دارد.

برعکس، اگر صفحه با robots.txt مسدود باشد، Google ممکن است نتواند حتی دستور noindex داخل آن را مشاهده کند.

رابطه Crawlability و Indexability چگونه است؟

اگر صفحه در مرحله Crawl مسدود باشد، بررسی بعضی سیگنال‌های Indexing داخل خود صفحه نیز ممکن نیست.

آیا Crawl شدن صفحه یعنی Indexable است؟

Google ممکن است صفحه را با موفقیت Crawl کند، ولی صفحه:

• noindex داشته باشد؛

• Redirect شود؛

• Canonical آن URL دیگری باشد؛

• Soft 404 تشخیص داده شود؛

• Duplicate یک صفحه دیگر باشد.

آیا Indexable بودن یعنی صفحه حتما در Google ایندکس می‌شود؟

ممکن است یک صفحه از نظر فنی قابلیت Index داشته باشد، اما Google براساس مجموعه سیگنال‌های دیگر آن را انتخاب نکند.

noindex دقیقا چه کاری انجام می‌دهد؟

Google توضیح می‌دهد وقتی Googlebot صفحه را Crawl کند و این دستور را ببیند، صفحه از نتایج Google حذف می‌شود؛ حتی اگر سایت‌های دیگری به آن لینک داده باشند.

Canonical چه ارتباطی با Indexability دارد؟

در این وضعیت ممکن است URL A خودش به‌عنوان صفحه مستقل در Index نگهداری نشود.

آیا Canonical یک دستور قطعی است؟

بنابراین ممکن است شما URL A را Canonical معرفی کنید ولی Google براساس سایر سیگنال‌ها URL B را انتخاب کند.

آیا robots.txt روی Indexability تأثیر دارد؟

اگر Google نتواند صفحه را Crawl کند، امکان مشاهده Meta Robots یا بعضی سیگنال‌های داخل صفحه را ندارد.

Google حتی توضیح می‌دهد وقتی صفحه توسط robots.txt مسدود باشد، URL Inspection ممکن است برای بخش:

مرحله 6: robots.txt را بررسی کنید

حتی اگر هدف اصلی Indexing است، باید مطمئن شوید Google می‌تواند صفحه را Crawl کند و دستورهای آن را ببیند.

Crawled – currently not indexed یعنی Non-Indexable است؟

این وضعیت معمولاً یعنی Google صفحه را Crawl کرده ولی در آن زمان تصمیم نگرفته آن را وارد Index کند.

آیا کیفیت محتوا بخشی از Indexability است؟

اما در عمل ممکن است صفحه از نظر فنی Indexable باشد و Google همچنان آن را Index نکند.

پاسخ کوتاه: Indexability دقیقا چیست؟

ممکن است URL کاملاً Indexable باشد و Google همچنان تصمیم بگیرد آن را Index نکند.

جمع بندی

یک URL می‌تواند Crawl شود ولی noindex باشد. می‌تواند Indexable باشد ولی هنوز وارد Index نشده باشد. حتی می‌تواند در Index باشد ولی برای Query مورد نظر شما رتبه نگیرد.

مطالعه نسخه کامل

برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، قابلیت ایندکس (Indexability) چیست و چه تفاوتی با Crawlability دارد؟ را در وبتیک بخوانید.