Robots.txt چیست؟ راهنمای کامل فایل robots.txt در سئو

این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.

فایل robots.txt شاید فقط چند خط متن باشد، اما یک Rule اشتباه داخل همین فایل می‌تواند دسترسی Googlebot به صدها یا هزاران URL را تغییر دهد.

در ادامه یاد می‌گیریم robots.txt چیست، Google چگونه آن را می‌خواند، Allow و Disallow چگونه کار می‌کنند، Wildcard چیست، چه مسیرهایی را نباید بی دلیل Block کنیم و چگونه این فایل را بدون آسیب زدن به سئو بررسی کنیم.

robots.txt چیست؟

robots.txt یک فایل متنی است که در ریشه Host قرار می‌گیرد و به Crawlerهای سازگار اعلام می‌کند اجازه دارند کدام مسیرهای سایت را Crawl کنند و از Crawl کدام مسیرها خودداری کنند.

robots.txt چه نقشی در خزش Google دارد؟

Googlebot هنگام Crawl یک سایت باید بداند آیا برای درخواست یک URL اجازه دارد یا نه. robots.txt یکی از منابعی است که این محدودیت را مشخص می‌کند.

URL کشف می شود ← robots.txt بررسی می شود ← در صورت مجاز بودن، Crawl انجام می شود

robots.txt ابزار Noindex نیست

این Rule می‌گوید URL را Crawl نکن، نه اینکه URL نباید در Search حضور داشته باشد.

robots.txt و noindex چه تفاوتی دارند؟

اگر همان URL را در robots.txt هم مسدود کنید، ممکن است Googlebot نتواند اصلاً به تگ noindex برسد.

آیا URL مسدود شده در robots.txt می‌تواند در Google دیده شود؟

Google می‌تواند از وجود URL باخبر باشد، حتی اگر اجازه Crawl محتوا را نداشته باشد.

Disallow خالی چه معنایی دارد؟

در سایت هایی که تقریبا تمام صفحات عمومی باید Crawl شوند، ممکن است robots.txt بسیار ساده باشد.

Sitemap در robots.txt چه کاربردی دارد؟

اگر یک URL در Sitemap باشد ولی Rule فایل Crawl آن را مسدود کند، دو بخش سایت پیام‌های متفاوتی درباره همان URL می‌فرستند.

robots.txt و Crawl Budget چه ارتباطی دارند؟

اما برای یک سایت کوچک یا متوسط، پیچیده کردن robots.txt به بهانه Crawl Budget معمولاً اولین اولویت نیست.

آیا لینک داخلی به URL مسدود شده اشتباه است؟

اگر صفحه مهمی باید توسط Google Crawl و پردازش شود ولی لینک‌های داخلی به URLی اشاره می‌کنند که robots.txt آن را مسدود کرده است، ساختار نیاز به بررسی دارد.

وجود لینک باعث می‌شود Google بتواند از وجود URL مطلع شود، اما Rule robots.txt می‌تواند مانع درخواست محتوای همان URL شود.

اگر robots.txt وجود نداشته باشد چه می‌شود؟

برای سایت کوچکی که نیاز خاصی به محدود کردن Crawl ندارد، robots.txt بسیار ساده یا حتی نبود Rule محدودکننده عجیب نیست.

اگر robots.txt Redirect شود چه؟

Google می‌تواند Redirect فایل robots.txt را دنبال کند، اما ایجاد Redirect Chain برای چنین فایل ساده و مهمی هیچ مزیت خاصی ندارد.

آیا Google robots.txt را Cache می‌کند؟

robots.txt توسط Google Cache می‌شود، بنابراین تغییر فایل ممکن است همان لحظه در تمام رفتارهای Crawl منعکس نشود.

بعد از تغییر مهم بهتر است فایل را دوباره بررسی کنید و در صورت نیاز از گزارش robots.txt در Search Console برای بررسی وضعیت پردازش فایل استفاده کنید.

چه مسیرهایی را در robots.txt مسدود کنیم؟

آیا Crawl شدن این URL برای Search فایده‌ای دارد؟ آیا Crawl شدن آن واقعاً مشکلی ایجاد می‌کند؟ آیا robots.txt ابزار مناسب حل این مسئله است؟

جمع بندی

همچنین Ruleهای robots.txt نباید جای معماری صحیح سایت را بگیرند. URLهای ساده و قابل کنترل، لینک‌های داخلی منطقی و مسیرهای Crawl واضح معمولاً مدیریت Technical SEO را بسیار ساده‌تر می‌کنند.

برای همین بهترین robots.txt لزوما طولانی‌ترین یا پیچیده‌ترین فایل نیست. فایل خوب، فایلی است که فقط محدودیت‌های لازم را اعمال کند، صفحات مهم را برای Googlebot قابل Crawl نگه دارد و هیچ Rule مبهم یا ناخواسته‌ای در مسیر موتور جستجو قرار ندهد.

بعد از هر تغییر مهم نیز باید نتیجه را با Crawl سایت و داده‌های Search Console بررسی کنید؛ چون یک خط کوتاه در robots.txt می‌تواند روی تعداد بسیار زیادی URL اثر بگذارد.

مطالعه نسخه کامل

برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، Robots.txt چیست؟ راهنمای کامل فایل robots.txt در سئو را در وبتیک بخوانید.