این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.
تگ متای ربات‌ها یا Meta Robots یکی از کدهای دستوری بنیادین در فرآیند نمایه سازی وب است که به مدیران سایت اجازه می‌دهد نحوه برخورد خزنده‌ها با تک تک صفحات را در سطح صفحه (Page-level) مدیریت کنند. در حالی که ابزارهای هدایت خزش، دسترسی بات‌ها به آدرس‌ها را مشخص می‌کنند، تگ Meta Robots مستقیماً با پایگاه داده هر موتور جستجو مانند گوگل گفتگو می‌کند و فرمان می‌دهد که آیا یک صفحه مجاز به ذخیره در ایندکس هست یا خیر، و اینکه آیا اعتبار پیوندهای موجود در آن باید دنبال شود یا نه.
سرنوشت دستور noindex, follow در درازمدت بر اساس پاسخ‌های رسمی گوگل
جان مولر (از مدیران و سخنگویان ارشد گوگل) در بیانیه‌های متعدد تأیید کرده است که اگر دستوری به‌صورت noindex, follow برای مدتی طولانی روی یک صفحه فعال بماند، سیستم‌های گوگل پس از اطمینان از حذف دائمی صفحه از ایندکس، خزش لینک‌های درون آن را به شدت کاهش داده و در نهایت با آن دقیقاً مانند یک دستور noindex, nofollow رفتار خواهند کرد. بنابراین، نباید از یک صفحه Noindex شده به‌عنوان تنها کانال برای رساندن بات به صفحات کلیدی سایت استفاده کرد.
۱. مسدود کردن هم‌زمان در robots.txt و درج دستور noindex
این مورد یکی از رایج‌ترین اشتباهات است. وبمستر برای حذف یک صفحه از نتایج، هم‌زمان آدرس آن را در robots.txt دیس الاو (Disallow) کرده و در کدهای صفحه تگ noindex قرار می‌دهد. نتیجه معکوس خواهد بود: خزشگر به‌دلیل مسدود بودن مسیر در robots.txt، صفحه را دانلود نمی‌کند، متوجه تگ noindex نمی‌شود و بر اساس انکرتکست‌های لینک‌های ورودی به صفحه، آن را با عنوان بدون توضیحات در نتایج نمایش می‌دهد! برای حذف قطعی صفحه از ایندکس، دسترسی آن در robots.txt باید باز باشد تا گوگل کدهای صفحه را خوانده و دستور noindex را پردازش کند.
۲. تضاد میان تگ کنونیکال و متاتگ noindex
تگ Canonical اعلام می‌کند: «این صفحه نسخه اصلی است یا به صفحه اصلی دیگری متصل است»، در حالی که دستور noindex اعلام می‌کند: «این صفحه نباید ایندکس شود». ارسال این دو سیگنال متضاد سیستم تصمیم گیری موتور جستجو را مختل کرده و ممکن است گوگل هر دو سیگنال را نادیده بگیرد یا صفحه هدف کنونیکال را نیز از اعتبار ساقط کند.
مطالعه نسخه کامل
برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، تگ متا ربات (Meta Robots) چیست؟ راهنمای Noindex و Nofollow در سئو را در وبتیک بخوانید.
Top comments (0)