این مطلب نسخه خلاصهشدهای از یکی از راهنماهای تخصصی وبتیک است.
Screaming Frog SEO Spider یکی از شناخته شده ترین ابزارهای Crawl و Technical SEO است. این نرم افزار مانند یک Crawler در سایت حرکت می کند، URLها و لینک ها را دنبال می کند و اطلاعاتی مانند Status Code، Title، Meta Description، Canonical، Indexability، Headingها، Internal Links، تصاویر و بسیاری از عناصر فنی صفحات را در قالب یک Dataset قابل تحلیل جمع آوری می کند.
قدرت اصلی Screaming Frog در این نیست که کنار چند URL عبارت «Error» بنویسد. ارزش واقعی آن زمانی مشخص می شود که بخواهید سایتی با صدها، هزاران یا حتی تعداد بسیار بیشتری URL را به شکل سیستماتیک بررسی کنید.
هر چیزی که ابزار Flag می کند الزاماً یک مشکل SEO نیست و هر مشکل SEO نیز الزاماً توسط Screaming Frog قابل تشخیص نیست.
اگر ابزار ۱۰۰۰ Meta Description خالی پیدا کند، نتیجه لزوماً این نیست که اولویت اول پروژه نوشتن ۱۰۰۰ Description است. ممکن است بخش بزرگی از این URLها اصلاً نباید Index شوند، ممکن است Template اشتباهی تولید شده باشد یا مسئله بسیار مهم تری در Crawlability و Architecture وجود داشته باشد.
بنابراین این مقاله فقط آموزش کلیک کردن روی Tabها نیست. هدف این است که بفهمیم Screaming Frog چگونه Crawl می کند، چه داده ای تولید می کند و چطور خروجی آن را تفسیر کنیم.
Screaming Frog چیست؟
Screaming Frog SEO Spider یک Desktop Crawler است که سایت را با دنبال کردن URLها و لینک ها Crawl می کند و اطلاعات فنی و On-page مربوط به صفحات را استخراج می کند.
لینک های داخلی را پیدا می کند، صفحات مقصد را می خزد، لینک های آنها را پیدا می کند و این فرایند ادامه پیدا می کند.
در Documentation رسمی Screaming Frog نیز Internal Hyperlinkها به طور پیش فرض Crawl و Store می شوند و لینک های داخل یکی از مسیرهای اصلی Discovery در Spider Mode هستند.
Screaming Frog چگونه سایت را Crawl میکند؟
در Spider Mode، ابزار از URL شروع حرکت می کند و لینک های قابل کشف را دنبال می کند.
اگر هیچ مسیر لینک قابل دنبال کردنی به یک صفحه وجود نداشته باشد، Crawler معمولی ممکن است آن صفحه را پیدا نکند.
خود Screaming Frog توضیح می دهد که Spider برای Discovery لینک های HTML را از صفحات استخراج می کند و برای رسیدن به صفحه باید مسیری قابل Crawl از نقطه شروع وجود داشته باشد.
اگر Crawler نمی تواند صفحه ای را از مسیر لینک های داخلی پیدا کند، باید بپرسیم:
البته نبود یک URL در Crawl همیشه به معنی Orphan Page واقعی نیست؛ ممکن است Sitemap، External Link یا روش Discovery دیگری وجود داشته باشد.
نسخه رایگان Screaming Frog چه محدودیتی دارد؟
طبق Documentation فعلی Screaming Frog، نسخه رایگان SEO Spider امکان Crawl حداکثر ۵۰۰ URL در هر Crawl را دارد. نسخه دارای License این محدودیت رایگان را برمی دارد و قابلیت های پیشرفته بیشتری ارائه می کند.
در نتیجه اگر هدف فقط Audit صفحات HTML است، تنظیم Crawl اهمیت پیدا می کند.
آیا Resourceهای غیرضروری Crawl شده اند؟
اگر فقط صفحات HTML برایتان مهم هستند، Crawl گسترده Image و Resource می تواند Dataset را شلوغ کند.
تب Internal چه اطلاعاتی میدهد؟
Internal یکی از Tabهای اصلی Screaming Frog است و URLهایی را نشان می دهد که Tool آنها را Internal تشخیص داده است.
چگونه Broken Internal Link پیدا کنیم؟
در Screaming Frog می توانید URL خطادار را انتخاب کنید و بخش Inlinks را ببینید.
Redirect Chain چیست؟
Screaming Frog Reportهای مربوط به Redirect را برای بررسی Chainها و مقصدهای نهایی ارائه می کند و در List Mode نیز امکان Follow Redirect تا مقصد نهایی وجود دارد.
Meta Description را چگونه تحلیل کنیم؟
Missing یا Duplicate Meta Description می تواند ارزش بررسی داشته باشد، مخصوصاً روی صفحات مهم Indexable.
صفحات noindex
Duplicateها
Utility Pageها
Canonical را چگونه با Screaming Frog بررسی کنیم؟
در Configuration پیش فرض، Screaming Frog Canonicalها را Store و Crawl می کند و حتی می تواند URLهای داخل Canonical را برای Discovery دنبال کند.
صفحه Self-canonical دارد؟
Canonical به Redirect اشاره می کند؟
Canonical به 404 می رود؟
URLهای مهم به صفحه دیگری Canonical شده اند؟
Chain در Canonical وجود دارد؟
HTTP و HTML Canonical Conflict دارند؟
Indexability در Screaming Frog چیست؟
Screaming Frog می گوید URL از نظر داده Crawl چه وضعیتی دارد.
Crawl Depth چیست؟
Crawl Depth نشان می دهد ابزار برای رسیدن از Start URL به یک URL چند سطح لینک را طی کرده است.
آیا Screaming Frog صفحات Orphan را پیدا میکند؟
Orphan Page دقیقاً ممکن است صفحه ای باشد که از شبکه لینک داخلی Crawl کشف نمی شود.
XML Sitemap
Google Analytics
Google Search Console
URL List
Screaming Frog امکان Integration با Google Analytics و Search Console را دارد و می تواند این داده ها را در Crawl وارد کند.
اگر URL در Search Console یا Analytics وجود داشته باشد ولی Crawler از لینک های داخلی آن را پیدا نکند، می تواند Candidate مناسبی برای بررسی Orphan بودن باشد.
XML Sitemap را چگونه Audit کنیم؟
Screaming Frog می تواند Sitemapها را نیز وارد Crawl Analysis کند.
تصاویر را چگونه بررسی کنیم؟
Screaming Frog می تواند Image URLها را Crawl و اطلاعات مربوط به آنها را استخراج کند.
Imageهای سنگین
Broken Image
Missing Alt
Altهای خاص
Image URLهای Redirectشده
Screaming Frog و JavaScript
برای سایت هایی که محتوا یا لینک های مهم را با JavaScript تولید می کنند، این مسئله می تواند باعث ناقص شدن Crawl شود.
Screaming Frog حالت JavaScript Rendering دارد که صفحه را با Headless Chrome Render می کند و از Rendered HTML نیز Content و Link استخراج می کند.
چگونه بفهمیم سایت به JavaScript Crawl نیاز دارد؟
همچنین اگر Crawler استاندارد تعداد بسیار کمتری URL نسبت به انتظار پیدا کند، JavaScript می تواند یکی از فرضیه ها باشد.
Custom Search چیست؟
یکی از قابلیت های قدرتمند Screaming Frog امکان Search کردن Pattern دلخواه در HTML است.
آیا Analytics Tag روی تمام صفحات هست؟
کدام صفحات عبارت خاصی دارند؟
Schema مشخصی کجا وجود دارد؟
کدام Template Code قدیمی را دارد؟
آیا Snippet مشخصی فراموش شده؟
این قابلیت Screaming Frog را از Crawler ساده به ابزار QA عمومی وب نزدیک می کند.
اتصال Screaming Frog به Search Console چه فایده ای دارد؟
Screaming Frog Integration رسمی با Search Console را برای اضافه کردن Search Data به URLهای Crawl فراهم می کند.
اتصال PageSpeed Insights
Screaming Frog می تواند با API PageSpeed Insights نیز Integrate شود و داده Performance را برای URLها وارد Crawl کند. قابلیت Integration با GA، GSC و PSI در راهنمای رسمی ابزار ارائه شده است.
آیا Screaming Frog جای Site Audit کامل را میگیرد؟
Screaming Frog یکی از مهم ترین ابزارهای Technical Audit است، ولی Audit خود ابزار نیست.
Search Console
Analytics
Crawl
Log Data
Sitemap
SERP
آیا تعداد لینک داخلی زیاد Error است؟
Screaming Frog می تواند صفحات با تعداد بالای Internal Outlink را Flag کند و حتی Threshold این Filter قابل تنظیم است.
Anchor Text را میتوان با Screaming Frog بررسی کرد؟
چه صفحاتی به Target لینک داده اند؛
Anchorهای تکراری چیست؛
لینک از چه Contextی آمده؛
و آیا Sourceهای مناسب وجود دارند.
اما Screaming Frog نمی تواند به تنهایی تصمیم بگیرد یک Anchor «طبیعی» است یا نه.
چگونه Crawl دو زمان مختلف را مقایسه کنیم؟
Screaming Frog قابلیت Crawl Comparison دارد که برای مشاهده Issueها و تغییرات بین Crawlها استفاده می شود. Quick Start رسمی نیز Compare Crawls و مقایسه Staging با Production را از قابلیت های ابزار معرفی می کند.
Migration
Redesign
Technical Fix
Template Change
چه زمانی Screaming Frog ابزار مناسبی نیست؟
Screaming Frog برای Site Crawl و استخراج ساختار فنی بسیار قدرتمند است، اما نباید از آن انتظار پاسخ تمام سؤال های SEO را داشت.
جمعبندی
Screaming Frog SEO Spider یک Crawler قدرتمند برای تبدیل ساختار سایت به Dataset قابل تحلیل است.
Response Code
Redirect
Canonical
Indexability
Meta Robots
Internal Links
Screaming Frog مشکل را به شما نشان می دهد؛ اولویت و راه حل را Context سایت تعیین می کند.
مطالعه نسخه کامل
برای مطالعه توضیحات کامل، مثالها و جزئیات بیشتر، Screaming Frog چیست؟ آموزش Site Crawl برای سئو را در وبتیک بخوانید.
Top comments (0)