Sitemap so với robots.txt

Scrapeless Crawl thu thập nội dung trang từ các URL có thể được khám phá thông qua sitemap hoặc một nguồn xác định khác.

Mỗi Tệp Làm Gì?

Sitemap so với robots.txt so sánh một định dạng phục vụ khám phá với một tệp chính sách thu thập dữ liệu. Sitemap xác định các URL mà nhà xuất bản muốn người tiêu dùng khám phá. Tệp robots.txt truyền đạt các quy tắc về những đường dẫn mà một client tự động tuân thủ nên yêu cầu.

Hai tệp có thể phối hợp với nhau. Một tệp robots.txt có thể quảng bá vị trí sitemap, trong khi sitemap có thể xác định các trang vốn khó được khám phá thông qua liên kết. Không tệp nào thay thế được phản hồi của trang hoặc quá trình xử lý sau đó của công cụ tìm kiếm.

Giao thức Sitemaps XML xác định định dạng liệt kê URL và các sitemap index. Giao thức Robots Exclusion Protocol xác định hành vi quy tắc thu thập dữ liệu. Hãy coi chúng là các trách nhiệm khác nhau thay vì xếp hạng tệp nào là tệp SEO “mạnh” hơn.

Sitemap Hỗ Trợ Khám Phá Nhưng Không Ép Buộc Lựa Chọn

Một sitemap cung cấp cho crawler một danh mục URL ứng viên do nhà xuất bản cung cấp. Điều đó hữu ích cho các trang mới, tập hợp lớn và tài nguyên có liên kết nội bộ hạn chế. Người tiêu dùng có thể dùng danh sách để gieo hàng đợi mà không cần điều hướng mọi giao diện trên trang web.

Danh sách nên phản ánh danh mục công khai dự định của trang web. Một sitemap chứa các chuyển hướng, trang đã gỡ bỏ, biến thể trùng lặp hoặc các URL mà chính trang web đó chặn thu thập dữ liệu sẽ tạo ra công việc không cần thiết và tín hiệu gây nhầm lẫn. Hãy coi việc tạo sitemap là một trách nhiệm xuất bản gắn với chính sách URL canonical.

Các sitemap index cho phép nhà xuất bản tổ chức nhiều tệp sitemap. Một bộ thu thập nên phân biệt index với tập URL thông thường và xử lý các mục phù hợp. Theo dõi các vị trí sitemap đã truy cập để các tham chiếu sai định dạng không gây ra vòng lặp không giới hạn.

Thông tin chỉnh sửa nên thể hiện các thay đổi nguồn có ý nghĩa khi được cung cấp. Không nên cập nhật chỉ vì một tác vụ theo lịch đã tạo lại tệp vốn giống hệt. Người tiêu dùng vẫn quyết định cách ưu tiên và xác thực các tài nguyên được quảng bá.

robots.txt Áp Dụng Quy Tắc Cho Client Và Đường Dẫn Cụ Thể

robots.txt nhóm các quy tắc theo danh tính client tự động và áp dụng so khớp đường dẫn cho các yêu cầu tài nguyên. Nó phải nằm ở vị trí gốc của origin liên quan và phạm vi của nó phải được đánh giá cho host và scheme đang được thu thập. Đừng cho rằng một tệp trên một origin xác định chính sách cho mọi subdomain.

Các mẫu đường dẫn cần được kiểm thử cẩn thận. Một quy tắc quá rộng có thể vô tình bao gồm những phần hữu ích, trong khi một quy tắc quá hẹp có thể bỏ sót các biến thể. Hãy kiểm thử các URL tiêu biểu từ nhóm tuyến (route) bị ảnh hưởng thay vì chỉ xem xét văn bản bằng mắt thường.

Các quy tắc cũng phụ thuộc vào nhóm user-agent nào được áp dụng. Một nhóm chung và một nhóm được đặt tên có thể tạo ra các kết quả khác nhau cho các client khác nhau. Hãy sử dụng một bộ phân tích (parser) triển khai đúng hành vi giao thức dự định thay vì coi file này như một danh sách đen chuỗi con đơn giản.

Giữ tách biệt việc ủy quyền (authorization) của ứng dụng. Các quy tắc robots là những hướng dẫn có thể đọc công khai dành cho các client tự động. Tài liệu nhạy cảm cần có xác thực và kiểm soát truy cập; nêu tên một đường dẫn bí mật trong robots.txt có thể tiết lộ vị trí của nó mà không bảo vệ nội dung.

Chặn thu thập khác với gỡ bỏ khỏi chỉ mục

Chặn thu thập không đảm bảo loại bỏ một URL khỏi kết quả tìm kiếm. Một công cụ tìm kiếm có thể biết về một URL thông qua các tín hiệu khác ngay cả khi nó không thể lấy trang đó. Phần Google robots.txt limitations giải thích vì sao việc loại trừ thu thập và các cơ chế kiểm soát lập chỉ mục phải được xem xét riêng biệt.

Một chỉ thị lập chỉ mục trên trang phải được trình thu thập tuân theo thì mới được xử lý. Nếu một trình thu thập bị cấm lấy trang đó, nó có thể không bao giờ thấy chỉ thị bạn đặt ở đó. Hãy xác định xem mục tiêu là giảm thu thập, loại bỏ nội dung khỏi chỉ mục, hay bảo vệ truy cập trước khi chọn cơ chế kiểm soát.

Sitemap không phải là ngoại lệ cho một quy tắc disallow. Liệt kê một URL bị chặn không cấp cho client tuân thủ quyền lấy nó. Tương tự, việc xóa một URL khỏi sitemap không chứng minh rằng nó không thể được phát hiện hoặc đã bị xóa; các liên kết và quan sát trước đây vẫn có thể làm lộ nó.

Đối với xử lý sự cố, hãy tách kết quả mong muốn khỏi việc chỉnh sửa file. Một mục sitemap bị xóa, một quy tắc robots thay đổi, một hạn chế truy cập phía máy chủ và một yêu cầu gỡ bỏ khỏi chỉ mục đại diện cho các hành động khác nhau. Hãy xác minh trạng thái đạt được thông qua kiểm tra phù hợp thay vì cho rằng đã hoàn tất chỉ từ lần chỉnh sửa.

Kiểm toán các file so với website thực tế

Một cuộc kiểm toán hữu ích so sánh các URL được công bố và các quy tắc thu thập với phản hồi thực tế. Việc file tồn tại mới chỉ là bước khởi đầu. Cuộc kiểm toán nên làm lộ các mâu thuẫn như một URL trong sitemap chuyển hướng đến một URL chuẩn tắc (canonical) khác hoặc một trang đích mong muốn lại bị loại trừ bởi một quy tắc rộng.

1. Xác định các origin liên quan và lấy các file robots của chúng.
2. Tìm vị trí sitemap từ các nguồn đã khai báo hoặc từ hệ thống xuất bản.
3. Phân tích các tập URL và index với độ đệ quy được giới hạn.
4. Đánh giá từng trang đã chọn dựa trên các quy tắc thu thập áp dụng.
5. Kiểm tra mã trạng thái phản hồi, URL cuối cùng và ý định canonical.
6. Ghi lại riêng các trường hợp bị loại trừ, lỗi và nội dung đã được xác thực.

Không dùng chuẩn hóa để xóa bỏ các khác biệt có ý nghĩa. Dấu gạch chéo cuối, tiền tố ngôn ngữ hoặc tham số truy vấn có thể là một phần trong chính sách URL của site. Hãy giữ lại URL gốc song song với bất kỳ định danh đã chuẩn hóa nào để người xem có thể hiểu cách cuộc kiểm toán đã nhóm các bản ghi.

Một bản đối soát gọn có thể nêu liệu một URL đã được liệt kê, cho phép, yêu cầu, chuyển hướng và chấp nhận hay chưa. Đây là những sự kiện riêng biệt. Một trang được cố ý loại trừ không nên được tính là lần lấy thất bại, và một trang được lấy thành công không nên được gọi là đã lập chỉ mục nếu không có bằng chứng từ công cụ tìm kiếm.

Từ Sitemaps đến Thu thập Nội dung

Một sitemap có thể gieo dữ liệu đầu vào cho pipeline nội dung sau khi đã kiểm tra chính sách và URL. Hãy đưa tập URL được chấp nhận vào tầng thu thập, sau đó xác thực nội dung trả về so với mục đích dự định. Một danh sách URL được phát hiện vẫn chưa phải là một tập tài liệu hoàn chỉnh.

Scrapeless Crawl có thể cung cấp việc thu thập nội dung trang cho quy trình đó. Hãy lưu lại vị trí sitemap nguồn, URL được yêu cầu, URL cuối cùng và ngữ cảnh quan sát trong hồ sơ của bạn. Các trường này giúp giải thích vì sao một tài liệu có mặt và mục nào trong nguồn đã tạo ra nó.

Phần sitemap-driven collection overview mở rộng thêm về quy trình chuyển giao từ phát hiện đến nội dung. Ước tính chi phí bằng Scrapeless pricing sau khi loại bỏ các tác vụ nằm ngoài phạm vi và trùng lặp thay vì lập ngân sách dựa trên số lượng URL chưa lọc.

Giữ lại dữ liệu đầu vào phát hiện để so sánh về sau. Nếu một tài liệu biến mất khỏi sitemap tiếp theo, hãy xác định xem nó đã được gỡ bỏ có chủ đích, chuyển sang một URL canonical khác, hay bị bỏ sót do lỗi xuất bản. Việc vắng mặt trong file hiện tại một mình không thể phân biệt được những kết quả đó.

Giải quyết các tín hiệu xuất bản mâu thuẫn

Một cuộc kiểm toán sitemap nên giải thích các tín hiệu mâu thuẫn bằng từng ví dụ cụ thể. Giả sử một trang đích mong muốn xuất hiện trong sitemap nhưng lại nằm dưới một quy tắc disallow rộng. Một trình thu thập tuân thủ có thể phát hiện URL mà không thể lấy nó. Việc loại bỏ trang khỏi sitemap sẽ che giấu mâu thuẫn khỏi bảng kiểm kê đó nhưng sẽ không tạo ra hành vi thu thập như mong muốn.

Hãy xác nhận ý định xuất bản với chủ sở hữu site, rồi sửa quy tắc phù hợp hoặc danh mục đã công bố. Nếu một trang được liệt kê lại chuyển hướng sang trang thay thế, hãy căn chỉnh sitemap với đích canonical dự định sau khi xác minh việc chuyển. Giữ lại quan sát ban đầu để báo cáo có thể giải thích vì sao URL đã thay đổi.

Kiểm tra lại các file thực tế và phản hồi trang sau khi triển khai. Một mẫu nguồn đúng vẫn có thể tạo ra đầu ra công khai lỗi thời nếu bản build hoặc cache chưa thay đổi. Bản kiểm toán hoàn chỉnh nên mô tả trạng thái website đã quan sát, với các khoảng trống xuất bản chưa giải quyết được tách biệt khỏi các chỉnh sửa đề xuất.

Kết luận

Sitemap giúp tài nguyên được phát hiện; robots.txt truyền đạt các quy tắc thu thập. Hãy dùng cả hai một cách nhất quán với danh mục trang thực tế, và tách bạch việc thu thập khỏi lập chỉ mục và bảo vệ truy cập. Xác thực kết quả tại tầng nơi thay đổi dự định cần có hiệu lực.