DEV Community

Onic Ai
Onic Ai

Posted on Originally published at onic.vn

Crawl, index, rank: Google xử lý một trang web thế nào và cách kiểm tra từng bước

Lập trình viên thường được giao việc "làm SEO cho website" mà không ai giải thích SEO ở tầng kỹ thuật là gì. Bài này không bàn chuyện viết bài hay chọn từ khóa. Nó đi vào pipeline mà Google mô tả trong tài liệu chính thức về cách Google Tìm kiếm hoạt động, và chỉ ra ở mỗi giai đoạn, phía kỹ thuật cần kiểm tra gì.

Pipeline ba giai đoạn

Theo Google, mọi trang đều đi qua ba giai đoạn trước khi đến tay người tìm:

  1. Crawl (thu thập): Googlebot tìm và đọc trang.
  2. Index (lập chỉ mục): Google hiểu và lưu trang.
  3. Rank (xếp hạng): Google chọn trang hợp nhất để hiển thị cho từng câu tìm kiếm.

Ràng buộc quan trọng nhất là thứ tự: một trang phải được thu thập và lập chỉ mục thì mới có cơ hội được xếp hạng. Hai giai đoạn đầu gần như hoàn toàn là chuyện kỹ thuật. Trang không qua được hai giai đoạn này thì nội dung hay đến đâu cũng không ai thấy. Đây là lý do khi một website "không lên Google", việc đầu tiên nên debug là crawl và index, chưa phải nội dung.

Giai đoạn 1: Crawl

Ở giai đoạn này, câu hỏi là Googlebot có tìm được và đọc được trang không. Những thứ phía kỹ thuật kiểm soát gồm:

  • Sitemap: danh sách URL để Googlebot biết trang nào tồn tại. Gửi sitemap trong Google Search Console.
  • robots.txt: một dòng Disallow sai có thể chặn cả thư mục.
  • Mã trạng thái: trang trả về 404 hoặc 5xx thì không có gì để đọc.
  • Liên kết nội bộ: trang không có link nào trỏ tới thì khó được tìm thấy.

Một lệnh kiểm tra nhanh mã trạng thái và header của một URL:

curl -sI https://example.com/bai-viet/ | head -n 5
curl -s https://example.com/robots.txt
Enter fullscreen mode Exit fullscreen mode

Lỗi tôi hay gặp nhất ở giai đoạn này là môi trường staging chặn bot, rồi cấu hình đó bị đẩy nguyên lên production.

Giai đoạn 2: Index

Thu thập được chưa có nghĩa là được lưu. Ở giai đoạn này Google cố hiểu trang nói về gì. Phía kỹ thuật cần chắc rằng:

  • Trang không có <meta name="robots" content="noindex"> ngoài ý muốn.
  • Thẻ canonical trỏ đúng về chính trang, không trỏ nhầm sang trang khác.
  • Nội dung chính có trong HTML mà Google đọc được.
<head>
  <title>Tiêu đề riêng cho trang này</title>
  <link rel="canonical" href="https://example.com/bai-viet/">
  <!-- không có noindex -->
</head>
Enter fullscreen mode Exit fullscreen mode

Trong Search Console, báo cáo lập chỉ mục cho biết trang nào chưa được lập chỉ mục và lý do. Đây là chỗ nên mở đầu tiên khi một website mới ra mắt, trước khi đội nội dung viết thêm bài nào.

Giai đoạn 3: Rank

Đây là giai đoạn các trang cạnh tranh nhau. Google cho biết khi xếp hạng, hệ thống xét năm nhóm yếu tố:

  1. Ý nghĩa của câu tìm kiếm.
  2. Mức độ liên quan của nội dung.
  3. Chất lượng nội dung.
  4. Khả năng sử dụng của trang.
  5. Bối cảnh của người tìm, như vị trí và ngôn ngữ.

Phía kỹ thuật tác động trực tiếp nhất vào nhóm thứ tư. Trang tải nhanh, hiển thị tốt trên điện thoại, chạy HTTPS, không có khối bật lên che nội dung. Ba nhóm đầu thuộc về nội dung. Nhóm cuối nằm ngoài tầm kiểm soát của website.

Về chất lượng, Google dùng khung E-E-A-T: Experience, Expertise, Authoritativeness và Trustworthiness, trong đó Trustworthiness là quan trọng nhất. Ở tầng code, độ tin cậy hiện ra qua những thứ rất cụ thể: trang tác giả thật, thông tin liên hệ, HTTPS hợp lệ.

Bốn trụ cột nhìn từ phía kỹ thuật

SEO thường được chia thành bốn trụ cột: Technical, Onpage, Content và Offpage. Một cách ví dễ nhớ là website như một cửa hàng: Technical là mặt bằng và lối đi, Onpage là biển hiệu và cách bày hàng, Content là hàng hóa, Offpage là tiếng tăm cửa hàng trong khu phố.

Trụ cộtCâu hỏi nó trả lờiViệc phía dev thường nhận

TechnicalGoogle có đọc được trang không?Sửa 404, tăng tốc tải trên điện thoại, gửi sitemap

OnpageTrang này nói về chủ đề gì?Template cho title, meta, heading, liên kết nội bộ

ContentTrang có trả lời tốt nhất không?Ít việc trực tiếp, nhưng cần CMS cho người viết làm đúng

OffpageNơi khác có tin thương hiệu này không?Gần như không có

Nếu anh em muốn xem cả bốn trụ cột ở góc nhìn kinh doanh, kèm ví dụ theo ngành và chuyện SEO trong thời AI Overview, bài giải thích SEO là gì cho người mới trên Onic.vn đi đầy đủ hơn. Phần còn lại của bài này quay về chuyện debug.

Một bug không nằm trong code: trang trùng nhau

Có một lỗi trông như lỗi kỹ thuật nhưng gốc lại ở kiến trúc nội dung: nhiều trang cùng trả lời một câu hỏi. Ví dụ website có "SEO là gì", "Khái niệm SEO" và "SEO là gì cho người mới". Cả ba đều crawl được, index được, nhưng ở giai đoạn rank, Google không biết nên chọn bài nào nên cả ba cùng đứng thấp. Hiện tượng này gọi là keyword cannibalization.

Cách xử lý cũng mang tính hệ thống: gộp các trang trùng về một trang tốt nhất, rồi chuyển hướng 301 các URL còn lại về đó.

Thứ tự debug đề xuất

  1. Search Console đã kết nối chưa, sitemap đã gửi chưa.
  2. robots.txt và thẻ robots có chặn nhầm không.
  3. Báo cáo lập chỉ mục: trang nào chưa vào chỉ mục, lý do gì.
  4. Trang có hiển thị tốt trên điện thoại và tải nhanh không.
  5. Có nhóm URL nào cùng trả lời một câu hỏi không.

Về thời gian, đừng kỳ vọng thấy kết quả ngay sau khi sửa. Trang hướng dẫn của Google ghi rằng trong đa số trường hợp, cần từ bốn tháng đến một năm để triển khai cải thiện và bắt đầu thấy lợi ích, nhất là với website cũ cần sửa nhiều.


Bài gốc: https://onic.vn/kien-thuc/seo-la-gi/

Top comments (0)