کرالر (web crawler) برنامهای است که از چند URL شروع میکند، لینکهای مجاز را کشف میکند و صفحهها را مطابق محدوده، عمق و نرخ درخواست تعریفشده بازدید میکند. کار اصلی آن پیمایش و ثبت مسیر صفحههاست؛ استخراج فیلدهایی مثل قیمت و نام کالا مرحلهای جداست که معمولاً اسکرپینگ نام دارد. برای یک پروژه قابلاعتماد، باید از ابتدا بدانید چه دامنه و دادهای مجاز است، چه چیزی در خروجی ثبت میشود و در چه شرایطی خزیدن متوقف خواهد شد.
در این راهنما، معماری ساده کرالر، تفاوت آن با اسکرپر، صف URLها، robots.txt، مجوز و کنترل بار را قدمبهقدم توضیح میدهیم. اگر نیاز پروژه شما جمعآوری داده یا پایش کاتالوگ عمومی است، صفحه خدمات اسکرپ داده روبینش مرز امکانسنجی و طراحی خروجی را نشان میدهد.
“Crawler (sometimes also called a “robot” or “spider”) is a generic term for any program that is used to automatically discover and scan websites.”
Source: Google Search Central — Overview of Google crawlers and fetchers

کرالر صفحهها و لینکها را کشف میکند؛ برای دیدن فیلدهای دقیق باید مرحله استخراج را هم تعریف کرد.
کرالر چیست و فرایند خزیدن چگونه کار میکند؟
یک کرالر معمولاً با فهرستی از URLهای آغازین یا seed URLها شروع میکند. هر URL از قواعد پروژه عبور میکند: آیا میزبان و مسیر در محدودهاند؟ آیا قبلاً بازدید شده؟ آیا سقف عمق یا تعداد صفحه پر شده؟ سپس برنامه URL را با نرخ محدود دریافت میکند، وضعیت پاسخ و دادههای لازم را ثبت میکند، لینکهای قابلپیمایش را استخراج میکند و مقصدهای تازه را به صف بررسی میافزاید. این حلقه تا پایان صف یا رسیدن به شرط توقف ادامه پیدا میکند.
برای جلوگیری از اجرای بیپایان، URLها باید نرمال شوند و تکراریها کنار گذاشته شوند. پارامتر رهگیری، تفاوت حروف، اسلش پایانی، fragmentها و مسیرهای تولیدشده با فیلتر ممکن است از یک صفحه چندین شکل آدرس بسازند. سیاست نرمالسازی باید با هدف کار سازگار باشد؛ حذف همه پارامترها راهحل عمومی نیست، چون گاهی پارامتر بخشی از صفحه مستقل است. سقف صفحه، عمق، دامنه، نوع محتوا و زمان اجرا را نیز پیش از شروع مشخص کنید.
در عمل حلقه خزیدن را میتوان به این ترتیب فهمید: از صف یک URL مجاز برداشته میشود، نتیجه درخواست ثبت میشود، لینکهای همان پاسخ استخراج و طبق قواعد پروژه ارزیابی میشوند، سپس مقصدهای تازه و یکتا به صف برمیگردند. پیوند بازگشتی مهم است؛ چون کار کرالر با دریافت یک صفحه تمام نمیشود. اگر مقصد، خارج از دامنه باشد یا قاعدهای آن را ممنوع کند، باید رد شود و دلیل رد نیز در گزارش بیاید. این شفافیت جلوی رشد ناخواسته صف را میگیرد.
کرالرهای بزرگتر ممکن است URLها را با اولویتهای مختلف پردازش کنند؛ برای مثال، صفحههای مهم یا تازهکشفشده زودتر بررسی شوند. اما اولویتبندی هم باید محدود باشد و بر اساس نیاز واقعی محصول انجام شود، نه صرفاً به خاطر پیچیدهتر کردن معماری. یک کار کوچک با چندصد صفحه ممکن است با صف ساده و ثبت وضعیت حل شود؛ پایگاه داده توزیعشده یا صف پیام تنها وقتی لازم است که حجم، تداوم یا چند worker آن را توجیه کند.

صف URLها فقط وقتی قابلکنترل است که قواعد مجاز، نرخ درخواست و علت توقف ثبت شوند.
یک گردش کار ساده برای کرالر محدود
مرحلهورودی/عملخروجی یا کنترل
۱. شروعURLهای seed و هدف پروژهفهرست آغازین با دامنه و مسیر روشن
۲. ارزیابیبررسی محدوده، robots.txt و قواعد دسترسیادامه، رد یا توقف مستند
۳. دریافتدرخواست محدود و ثبت پاسخکد HTTP، زمان، نوع محتوا و خطا
۴. کشف لینکاستخراج و نرمالسازی مقصدهای مجازURLهای یکتا برای صف بعدی
۵. پایانصف خالی یا سقف/شرط توقفگزارش اجرا با موارد کنارگذاشتهشده
تفاوت کرالر و اسکرپر چیست؟
کرالر عمدتاً میپرسد «چه صفحههایی در محدوده وجود دارند و از چه لینکی به آنها میرسیم؟»؛ اسکرپر میپرسد «از صفحههای انتخابشده چه فیلدهایی را باید بخوانیم؟». اولی روی کشف URL، پیمایش و وضعیت صفحه تمرکز دارد؛ دومی روی تبدیل محتوای صفحه به رکوردهایی مثل عنوان، قیمت، زمان یا مشخصات. در یک سامانه ممکن است هر دو باشند، اما کارکردشان یکسان نیست.
مقایسه نقش کرالر و اسکرپر در یک پروژه داده
ویژگیکرالراسکرپر
پرسش اصلیچه URLهایی را باید کشف یا بازدید کرد؟از صفحه مجاز چه فیلدهایی لازم است؟
ورودیURL آغازین و لینکهای کشفشدهصفحه یا URL انتخابشده
خروجی رایجفهرست URL، عمق، وضعیت و مسیر لینکرکوردهای ساختیافته و فیلدهای استخراجشده
نمونه استفادهفهرستکردن صفحههای دسته و محصولخواندن عنوان و قیمت از صفحههای مجاز
مثلاً در یک کاتالوگ، کرالر ابتدا صفحههای دسته و محصول را در محدوده تعیینشده پیدا میکند؛ سپس اسکرپر از صفحههای تأییدشده نام و ویژگیهای لازم را میخواند. برای شکل خروجی محصول، راهنمای استخراج داده کاتالوگ را ببینید. اگر منبع API رسمی ارائه میدهد، بررسی کنید آیا همان نیاز را با دسترسی پایدارتر و هزینه کمتر پاسخ میدهد؛ مقایسه اسکرپینگ و API به همین انتخاب میپردازد.
صف خزیدن، محدوده و حذف تکراریها
صف یا frontier مجموعه URLهایی است که کشف شدهاند اما هنوز بررسی نشدهاند. صف خوب فقط لیست آدرس نیست؛ وضعیت هر URL را هم میداند: تازه، در حال پردازش، موفق، خطادار، بهتعویقافتاده یا ردشده. این حالتها از بازدید تکراری جلوگیری میکند و امکان ادامه اجرا پس از قطع موقت را میدهد. در پروژه کوچک، یک مجموعه یکتا و صف ساده کافی است؛ سامانه بزرگتر ممکن است به ذخیرهسازی پایدار، اولویتبندی و ثبت رخداد نیاز داشته باشد.
محدوده را با دامنه، مسیر، نوع صفحه و سقف منابع تعریف کنید. برای نمونه، ممکن است فقط مسیرهای عمومی /catalog/ مجاز باشند و ورود، جستجوی بیپایان، پنل کاربر یا URLهای شخصی از کار کنار گذاشته شوند. مشخص کنید زیردامنهها داخل محدوده هستند یا نه، چه تعداد درخواست همزمان مجاز است و چه رخدادی باعث توقف میشود. راهنمای محدوده و زیرساخت خزنده درباره پیکربندی اجرایی بیشتر توضیح میدهد.
robots.txt را جداگانه بررسی کنید. این فایل به خزنده میگوید مدیر سایت برای کدام مسیرها درخواست دسترسی دارد؛ اما طبق RFC 9309، قواعد robots.txt مجوز دسترسی محسوب نمیشوند. پس اجازه صاحب داده، شرایط استفاده و کنترلهای دسترسی موضوعات جداگانهاند. اگر با ورود، دیوار پرداخت، CAPTCHA، محدودیت فنی یا پاسخ صریح منع دسترسی مواجه شدید، آن را دور نزنید؛ توقف یا گرفتن مجوز مسیر درست است.
«These rules are not a form of access authorization.» — قواعد robots.txt نوعی مجوز دسترسی نیستند.
Source: IETF RFC 9309 — Robots Exclusion Protocol, Section 1
نرخ درخواست و زمانبندی کرالر را چطور تنظیم کنیم؟
سرعت خزیدن را با ظرفیت منبع و توافق پروژه متناسب کنید؛ بیشترین نرخ ممکن هدف نیست. برای میزبان محدود، درخواستهای همزمان کم، فاصله مناسب و timeout روشن تنظیم کنید. پاسخهای خطای موقت باید با backoff و تعداد تلاش محدود مدیریت شوند؛ در صورت وجود Retry-After آن را رعایت کنید. خطای دسترسی یا منع صریح را با تکرار فشرده پاسخ ندهید. مستندات گوگل درباره زیرساخت کرالر هم میگوید هدف خزیدن نباید بار بیش از توان روی سرور بگذارد؛ این اصل برای ابزارهای جمعآوری داده هم مفید است.
زمانبندی را از نرخ واقعی تغییر داده تعیین کنید. صفحهای که هر روز بهروزرسانی میشود ممکن است با فاصله کوتاهتر بررسی شود؛ صفحه پایدار نیازی به درخواست مکرر ندارد. ابتدا نمونه کوچک اجرا کنید، نرخ خطا و تغییر را بسنجید و سپس بازه را اصلاح کنید. برای پایش تغییر قیمت، راهنمای مانیتورینگ قیمت ایدههایی برای ثبت تغییرات و هشدارها دارد.
پاسخ HTTP فقط «موفق یا ناموفق» نیست: ریدایرکت میتواند مقصد نهایی را عوض کند، پاسخ 304 میتواند نشان دهد محتوا تغییر نکرده، و محدودیت سمت سرور نیازمند مکث یا کاهش نرخ است. سیاست retries را برای هر نوع پاسخ جدا تعریف کنید؛ چندبار فرستادن همان درخواست به خطای دائمی فقط بار و هزینه را بالا میبرد. برای ادامه اجرای قابلاعتماد، زمان آخرین درخواست، تعداد تلاش و علت توقف را ثبت کنید.

منبع رسمی یا مجوز روشن را انتخاب کنید، محدوده را محدود نگه دارید و محدودیت دسترسی را دور نزنید.
خروجی کرالر و گزارش اجرای مفید
گزارش خوب میگوید چه چیزی واقعاً اتفاق افتاده، نه فقط اینکه «خزیدن انجام شد». بسته به هدف، برای هر URL میتوان آدرس نهایی، URL ارجاعدهنده، عمق، زمان درخواست، کد پاسخ، نوع محتوا و نتیجه پالایش را ذخیره کرد. اگر آدرس بهدلیل خروج از محدوده کنار گذاشته شد، علت را ثبت کنید؛ اگر timeout رخ داد، آن را از صفحه حذفشده تفکیک کنید. این گزارش کمک میکند داده ناقص را با داده معتبر اشتباه نگیرید.
فقط دادهای را ثبت کنید که برای تصمیم بعدی لازم است. اگر هدف بررسی معماری سایت است، عنوان، وضعیت و مسیر لینک ممکن است کافی باشد؛ اگر هدف استخراج داده عمومی است، فهرست فیلدهای مجاز و سیاست نگهداری را از ابتدا مشخص کنید. دادههای شخصی، شناسههای حساس یا اطلاعات پشت ورود را «برای احتیاط» ذخیره نکنید. جزئیات تحویل CSV یا JSON را در راهنمای وباسکرپینگ بخوانید.
در گزارش، «تعداد URL پیدا شده» را با «تعداد URL دریافتشده با موفقیت» یکی نگیرید. یک لینک ممکن است تکراری باشد، به بیرون از محدوده برود، به مسیر مسدود برسد، ریدایرکت شود یا پاسخ خطا بگیرد. تفکیک تعداد کشفشده، پذیرفتهشده، ردشده، موفق و ناموفق باعث میشود مصرفکننده داده بداند پوشش واقعی چقدر بوده است. بهتر است زمان آخرین اجرا، نسخه قواعد و محدودیتهای فعال نیز همراه خروجی بماند تا دو گزارش قابلمقایسه باشند.
اگر هدف بررسی ساختار سایت تحت مالکیت شماست، چنین گزارشی میتواند صفحههای یتیم یا مسیرهای تکراری را آشکار کند. اگر هدف فهرستبرداری از داده عمومی است، معیار کاملبودن باید با مجوز و دامنه توافقشده سنجیده شود، نه با تلاش برای پیمایش بیپایان کل سایت. ذخیره لاگها نیز باید به اندازه نیاز پشتیبانی ادامه یابد؛ داده خام را بیدلیل و نامحدود نگه ندارید.
چه زمانی کرالر اختصاصی ارزش ساخت دارد؟
کرالر وقتی توجیه دارد که فهرست URL آماده نیست، ساختار منبع تغییر میکند، تعداد صفحهها برای بررسی دستی زیاد است یا اجرای دورهای و ثبت تاریخچه ارزش عملی دارد. در مقابل، برای چند URL ثابت، دادهای با API رسمی، یا منبعی که اجازه جمعآوری نمیدهد، ساخت خزنده لزوماً تصمیم درستی نیست. ابتدا نمونه محدود و نیاز واقعی را بررسی کنید؛ شاید یک خروجی دستی، API یا گزارش موجود همان مسئله را سادهتر حل کند.
برای امکانسنجی، هدف داده، URLهای نمونه، مجوز یا محدودیت شناختهشده، نرخ بهروزرسانی موردنیاز و قالب خروجی را آماده کنید. سپس دامنه، معیار موفقیت، نحوه توقف، نگهداری و مالکیت داده را با تیم فنی مرور کنید. روبینش در پروژههای جمعآوری و اسکرپ داده ابتدا همین محدودیتها را روشن میکند تا راهحل بیش از نیاز ساخته نشود.
برای یک نمونه اولیه، چند URL مجاز را انتخاب کنید و دستی بررسی کنید که کدام لینکها باید دنبال شوند، چه اطلاعاتی برای تصمیم کسبوکار مفید است و چه پاسخهایی باید به توقف منجر شوند. سپس اجرای محدود را با سقف پایین صفحهها، فاصله محافظهکارانه و گزارش قابلمشاهده بسنجید. اگر خروجی واقعاً استفاده میشود و نیاز به تکرار دارد، میتوان ذخیرهسازی پایدار، زمانبندی و هشدار را اضافه کرد. این مسیر مرحلهای معمولاً از ساخت سامانه بزرگ پیش از اثبات نیاز کمریسکتر است.
جمعبندی
کرالر URLها را در محدوده مشخص کشف و بازدید میکند؛ اسکرپر دادههای موردنیاز را از صفحههای انتخابشده استخراج میکند. پروژه سالم با هدف روشن، صف یکتا، سقف و نرخ درخواست، گزارش قابلردیابی و شرط توقف ساخته میشود. robots.txt راهنمای خزیدن است، نه مجوز دسترسی؛ شرایط استفاده، اجازه و محدودیتهای فنی را جداگانه رعایت کنید و هیچ حفاظی را دور نزنید. برای شروع کوچک، هدف را محدود کنید و فقط پس از دیدن کیفیت و ارزش خروجی، مقیاس را افزایش دهید.
Top comments (0)