DEV Community

Mạnh Digital
Mạnh Digital

Posted on

Checklist crawl, index, render cho dev trước khi bàn giao website

Phần lớn lỗi SEO kỹ thuật mình gặp ở các website nhỏ không nằm ở chỗ khó. Chúng nằm ở chỗ không ai kiểm theo thứ tự: một biến môi trường còn bật noindex từ bản staging, một layout gắn canonical cứng về trang chủ, một trang sản phẩm chỉ có nội dung sau khi JavaScript chạy.

Đây là checklist mình dùng trước khi bàn giao, xếp theo đúng thứ tự Google xử lý một URL: crawl → index → render → chọn bản chính. Tầng dưới hỏng thì kiểm tầng trên vô nghĩa.

1. Crawl: bot có vào được không

  • [ ] robots.txt trên production không còn Disallow: / của staging.
  • [ ] Các thư mục chứa CSS/JS cần để hiển thị không bị chặn.
  • [ ] Trang quan trọng trả 200, trang đã xoá trả 404 hoặc 410, không trả 200 kèm chữ "Không tìm thấy" (soft 404).
  • [ ] Mỗi trang cần lên Google có ít nhất một link nội bộ dạng <a href> thật, không phải onClick điều hướng.
  • [ ] sitemap.xml chỉ chứa URL trả 200, không chứa URL chuyển hướng hay noindex.

2. Index: có gì chặn lưu trang không

  • [ ] Không có <meta name="robots" content="noindex"> trên trang cần index.
  • [ ] Không có header X-Robots-Tag: noindex do server hoặc CDN thêm vào.
  • [ ] Trang tìm kiếm nội bộ, giỏ hàng, trang lọc vô hạn thì ngược lại: nên noindex.

Đoạn script nhỏ này kiểm hai mục trên cùng canonical cho một danh sách URL, đọc đúng HTML server trả về lần đầu:

import re, sys, urllib.request

def check(url):
    req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0 (seo-check)"})
    with urllib.request.urlopen(req, timeout=15) as r:
        html = r.read().decode("utf-8", "ignore")
        xrt = r.headers.get("X-Robots-Tag", "")
        final = r.geturl()
    meta = re.search(r'<meta[^>]+name=["\']robots["\'][^>]*content=["\']([^"\']+)', html, re.I)
    canon = re.search(r'<link[^>]+rel=["\']canonical["\'][^>]*href=["\']([^"\']+)', html, re.I)
    return {
        "url": url,
        "final": final,
        "redirected": final != url,
        "meta_robots": meta.group(1) if meta else "",
        "x_robots_tag": xrt,
        "canonical": canon.group(1) if canon else "",
        "canonical_self": bool(canon) and canon.group(1).rstrip("/") == final.rstrip("/"),
    }

for line in sys.stdin:
    if line.strip():
        print(check(line.strip()))
Enter fullscreen mode Exit fullscreen mode

Chạy python3 check.py < urls.txt. Dòng nào có noindex, redirected: True hoặc canonical_self: False thì xem lại.

3. Render: nội dung chính có trong HTML ban đầu không

  • [ ] Mở "View source" (không phải DevTools Elements), tìm một câu trong đoạn đầu bài. Không thấy nghĩa là nội dung phụ thuộc JavaScript.
  • [ ] <title>, meta description, <h1> và đoạn mở đầu có sẵn trong HTML server trả về.
  • [ ] Nếu dùng framework SPA, bật SSR hoặc prerender cho trang landing, dịch vụ, bài viết.
  • [ ] Ảnh quan trọng dùng <img src> thật với alt, không chỉ là background CSS.

4. Chọn bản chính: mỗi nội dung một URL

  • [ ] Chọn một kiểu chuẩn (https, có hay không www, có hay không dấu / cuối) và 301 các kiểu còn lại về đó.
  • [ ] Canonical của mỗi trang trỏ về chính URL chuẩn của nó, không gắn cứng về trang chủ trong layout chung.
  • [ ] Link nội bộ trỏ thẳng URL chuẩn, không đi qua chuỗi chuyển hướng.
  • [ ] Tham số tracking (?utm_...) không tạo trang index riêng.

5. Sau khi bàn giao

  • [ ] Gửi sitemap trong Google Search Console.
  • [ ] Hai tuần sau mở báo cáo Lập chỉ mục trang, đọc lý do từng nhóm URL chưa được index.

Thứ tự 4 tầng ở trên lấy theo bài phân tích tối ưu kỹ thuật website theo 6 tầng của Mạnh Digital, hai tầng còn lại (tốc độ và schema) mình để cho một checklist riêng. Nếu website đã "chuẩn" mà vẫn không lên, bài 5 lỗi kỹ thuật khiến một website chuẩn SEO vẫn không lên Google có thêm các lệnh curl để kiểm từng lỗi, còn bản 5 lệnh curl tự kiểm technical SEO trước khi thuê bên ngoài thì gọn hơn để gửi cho khách.

Top comments (0)