این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.
وقتی یک صفحه جدید در سایت منتشر می‌کنید، گوگل همان لحظه از وجود آن باخبر نمی‌شود. ابتدا باید URL صفحه را پیدا کند، به آن دسترسی داشته باشد و محتوایش را بررسی کند، این فرایند خزش (Crawling) نام دارد.
Crawling فقط یکی از مراحل کار موتور جستجو است. گوگل بعد از Crawl هنوز باید صفحه را پردازش کند، درباره Index شدن آن تصمیم بگیرد و بعد در صورت ارتباط با جستجوی کاربران، آن را وارد رقابت Ranking کند.
Crawl به زبان خیلی ساده
این ربات وارد یک صفحه می‌شود، محتوای آن را دریافت می‌کند و لینک هایی را که داخل صفحه وجود دارند بررسی می‌کند.
اگر این صفحات با لینک‌های قابل Crawl به هم متصل باشند، ربات می‌تواند از یک صفحه به صفحه دیگر برسد.
Googlebot چیست؟
Googlebot نام عمومی خزنده‌ای است که گوگل برای پیدا کردن و دریافت صفحات وب در Google Search استفاده می‌کند.
گوگل در مستندات خود Googlebot را برنامه‌ای معرفی می‌کند که URLهای جدید و به‌روزشده را برای Google Index کشف می‌کند.
1. لینک‌های داخلی
اگر از مقاله: موتور جستجو چیست و چگونه کار می‌کند؟ به این صفحه لینک بدهیم، Googlebot هنگام Crawl صفحه مادر می‌تواند URL این مقاله را پیدا کند.
گوگل توصیه می‌کند صفحاتی که برایتان اهمیت دارند حداقل از یک صفحه دیگر سایت لینک داشته باشند. لینک‌های داخلی هم به کاربران و هم به Google کمک می‌کنند صفحات دیگر را پیدا و ارتباط آن‌ها را درک کنند.
4. Redirectها
Googlebot می‌تواند هنگام Crawl یک URL به Redirect برسد و از آن مسیر URL دیگری را پیدا کند.
بعد از پیدا شدن URL چه اتفاقی می‌افتد؟
گوگل توضیح می‌دهد Googlebot به‌صورت الگوریتمی مشخص می‌کند چه سایت هایی Crawl شوند، Crawl با چه دفعاتی انجام شود و چه تعداد صفحه از هر سایت دریافت شود.
Crawlability چیست؟
یک صفحه ممکن است روی سایت وجود داشته باشد اما برای Googlebot دسترسی مناسبی نداشته باشد.
لینک داخلی به آن وجود ندارد؛
robots.txt دسترسی را مسدود کرده است؛
URL فقط پس از Login نمایش داده می‌شود؛
سرور خطا ایجاد می‌شود؛
لینک توسط JavaScript به‌شکلی ساخته شده که Google نتواند به خوبی آن را استخراج کند.
آیا گوگل JavaScript را اجرا می‌کند؟
گوگل توضیح می‌دهد که در جریان Crawl صفحه را رندر می‌کند و JavaScript را با نسخه‌ای جدید از Chrome اجرا می‌کند.
robots.txt چیست و چه ارتباطی با Crawling دارد؟
گوگل قبل از Crawl سایت فایل robots.txt را دریافت و قوانین مرتبط را بررسی می‌کند.
آیا robots.txt برای Noindex کردن صفحه است؟
گوگل توضیح می‌دهد اگر صفحه توسط robots.txt برای Crawl مسدود شده باشد، ممکن است محتوای آن را نتواند Index کند، اما خود URL در برخی شرایط همچنان ممکن است بدون Snippet در نتایج دیده شود.
آیا Crawl شدن صفحه یعنی گوگل محتوای آن را دوست دارد؟
Googlebot ممکن است صفحات بسیار باکیفیت، صفحات ضعیف، صفحات Redirect، خطاهای 404 و URLهای بی‌ارزش را Crawl کند.
Googlebot چند وقت یک بار سایت را Crawl می‌کند؟
Googlebot به‌صورت الگوریتمی Crawl را مدیریت می‌کند و عواملی مانند تغییرات صفحات و وضعیت سرور می‌توانند در رفتار Crawl مؤثر باشند.
سرور خطا چه تأثیری بر Crawl دارد؟
«برای بررسی رفتار Googlebot هنگام فشار روی سرور یا افزایش خطاهای 5xx، مستندات گوگل درباره کاهش Crawl Rate توضیح فنی دقیق‌تری ارائه می‌کند.»
Crawl Budget چیست؟
خود گوگل Crawl Budget را در مسیر Technical SEO و مدیریت سایت‌های بزرگ‌تر به‌صورت موضوعی تخصصی مطرح می‌کند. در Learning Path فنی جدید Search Central نیز Crawl Budget در کنار Crawl Directives و Architecture قرار گرفته است.
آیا لینک Footer و Menu برای Crawl کافی است؟
اگر مقاله Crawling داخل متن مقاله «موتور جستجو چگونه کار می‌کند؟» لینک شود، این لینک از نظر کاربر بسیار طبیعی‌تر است؛ چون دقیقاً زمانی که کاربر به مفهوم Crawl می‌رسد، امکان مطالعه بیشتر فراهم می‌شود.
Crawl Stats
Search Console برای سایت‌ها گزارش Crawl Stats نیز ارائه می‌کند که دید کلی‌تری درباره فعالیت Googlebot روی سایت می‌دهد.
صفحات مهم را لینک کنید
هر صفحه مهم بهتر است حداقل از یک صفحه قابل Crawl دیگر لینک داشته باشد. این توصیه مستقیماً در مستندات Google نیز آمده است.
جمع بندی
در مقاله بعدی این خوشه بررسی می‌کنیم که Indexing چیست، گوگل پس از Crawl چه کاری با صفحه انجام می‌دهد و چرا بعضی صفحات با وجود Crawl شدن وارد Index نمی‌شوند.
مطالعه نسخه کامل
برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، خزش (Crawling) چیست؟ آشنایی کامل با خزش گوگل را در وبتیک بخوانید.
Top comments (0)