Web Indexing là gì? Cách hoạt động của Crawling, Rendering và Indexing.

Tóm tắt:

• Lập chỉ mục web biến các trang được lấy thành các bản ghi mà hệ thống tìm kiếm có thể truy xuất. Quá trình thu thập tìm kiếm và tải xuống các URL; lập chỉ mục phân tích, chuẩn hóa, loại bỏ nội dung trùng lặp và lưu trữ nội dung hữu ích của chúng.
• Kết xuất nằm giữa việc lấy và lập chỉ mục khi JavaScript cung cấp nội dung. Một bộ lập chỉ mục không thể lưu trữ văn bản hoặc liên kết mà lớp thu thập của nó không nhận được.
• Lập chỉ mục và xếp hạng giải quyết các vấn đề khác nhau. Chỉ mục xác định những gì có thể được truy xuất; xếp hạng quyết định thứ tự cho một truy vấn cụ thể.
• URL chuẩn ngăn các bản ghi trùng lặp tranh giành lẫn nhau. Chuẩn hóa các biến thể URI, bảo tồn một danh tính chuẩn và giữ lại các băm nội dung để phát hiện thay đổi.
• Một sơ đồ trang hoặc một lần thu thập thành công không đảm bảo được bao gồm. Bộ lập chỉ mục vẫn áp dụng quy định về nội dung, chính sách, chất lượng và quy tắc trùng lặp.

Lập chỉ mục web là quá trình chuyển đổi các tài nguyên web đã được lấy thành một cấu trúc dữ liệu có thể tìm kiếm. Một trình thu thập khám phá một URL và lấy một đại diện. Một bộ lập chỉ mục quyết định ý nghĩa của đại diện đó, URL nào sở hữu nó, các thuật ngữ hoặc thực thể nào nó chứa và liệu nó có nên được tìm kiếm hay không.

Định nghĩa đó phân tách một số hoạt động thường được gộp lại thành từ "thu thập". Khám phá, lấy, kết xuất, phân tích, lập chỉ mục và xếp hạng là các giai đoạn liên kết, nhưng mỗi giai đoạn có một đầu ra và ranh giới thất bại khác nhau.

Hướng dẫn này theo dõi một trang qua toàn bộ hành trình và sau đó cho thấy cách mô hình tương tự áp dụng cho các công cụ tìm kiếm, tìm kiếm trang web và hệ thống truy xuất cho các ứng dụng AI.

Lập Chỉ Mục Web Là Gì?

Lập chỉ mục web là giai đoạn phân tích và lưu trữ giúp nội dung web có thể truy xuất được bởi một hệ thống tìm kiếm. Chỉ mục thường lưu trữ văn bản tài liệu đã được chuẩn hóa, siêu dữ liệu, thuật ngữ, liên kết, thực thể và các định danh nguồn trong các cấu trúc được thiết kế để tra cứu nhanh.

Một vòng đời đơn giản như sau:

Khám phá URL → Nhận phản hồi → Kết xuất khi cần thiết → Phân tích nội dung → Chuẩn hóa danh tính → Lập chỉ mục các trường → Truy xuất các ứng viên → Xếp hạng kết quả

Các giai đoạn trả lời các câu hỏi khác nhau:

Giai đoạn	Câu hỏi chính	Đầu ra điển hình
Khám phá	URL nào có thể tồn tại?	Đường biên URL
Lấy	Máy chủ đã trả về điều gì?	Nội dung phản hồi và tiêu đề
Kết xuất	Ứng dụng tạo ra điều gì sau khi các tập lệnh chạy?	Tài liệu đã kết xuất
Phân tích	Liên kết, văn bản và trường nào là quan trọng?	Tài liệu có cấu trúc
Lập chỉ mục	Làm thế nào tài liệu này có thể được tìm thấy sau đó?	Các bài đăng có thể tìm kiếm và siêu dữ liệu
Truy xuất	Bản ghi nào có thể trả lời truy vấn?	Tập hợp ứng viên
Xếp hạng	Ứng viên nào nên xuất hiện đầu tiên?	Kết quả theo thứ tự

Sự phân biệt này mang tính hoạt động. Nếu việc khám phá thất bại, URL sẽ không bao giờ vào được đường biên. Nếu việc kết xuất thất bại, bộ phân tích có thể nhận được một khung ứng dụng trống rỗng. Nếu việc chuẩn hóa thất bại, chỉ mục có thể lưu trữ nhiều bản sao của một trang. Nếu việc xếp hạng thất bại, tài liệu chính xác có thể tồn tại nhưng xuất hiện quá thấp để giúp người dùng.

Thu Thập So Với Lập Chỉ Mục So Với Xếp Hạng

Thu thập, lập chỉ mục và xếp hạng hình thành một quy trình thay vì là những tên gọi có thể hoán đổi cho nhau.

Thu thập khám phá và lấy dữ liệu

Một trình thu thập bắt đầu từ các hạt giống như các liên kết nội bộ, nguồn cấp dữ liệu, sơ đồ trang web, các URL đã gửi hoặc các trang đã biết trước đó. Nó duy trì một đường biên, chọn một URL, kiểm tra chính sách nguồn, gửi yêu cầu, ghi lại phản hồi, trích xuất các liên kết mới và thêm các khám phá đủ điều kiện vào đường biên.

Quá trình thu thập không đảm bảo việc lập chỉ mục. Một trình thu thập có thể lấy một trang mà bộ lập chỉ mục sau đó từ chối vì nó trống, trùng lặp, bị chặn không cho lập chỉ mục, nằm ngoài phạm vi hoặc dưới ngưỡng chấp nhận của hệ thống.

Giao thức loại trừ Robots định nghĩa cách chủ sở hữu dịch vụ có thể công bố quy tắc cho các khách hàng tự động. Những quy tắc đó ảnh hưởng đến chính sách thu thập; chúng không tạo ra xác thực hoặc buộc một hệ thống tìm kiếm phải bao gồm một trang.

Lập chỉ mục tạo bản ghi truy xuất

Lập chỉ mục bắt đầu khi hệ thống có một đại diện có thể sử dụng. Bộ lập chỉ mục có thể:

• trích xuất văn bản hiển thị và siêu dữ liệu có nghĩa;
• xác định ngôn ngữ và loại tài liệu;
• loại bỏ điều hướng và các đoạn mã lặp lại;
• chuẩn hóa URL nguồn;
• chọn hoặc tôn trọng một URL chuẩn;
• xác định các bản sao và gần giống như bản sao;
• phân đoạn văn bản và ghi lại vị trí các thuật ngữ;
• trích xuất thực thể hoặc các trường có cấu trúc;
• lưu trữ nguồn, bộ sưu tập và siêu dữ liệu chính sách.

Kết quả không nhất thiết phải là một bản sao của trang. Đó là một bản ghi tài liệu được tối ưu hóa cho việc truy xuất.

Xếp hạng sắp xếp các bản ghi phù hợp

Xếp hạng bắt đầu khi một truy vấn đến. Một hệ thống xếp hạng chấm điểm các bản ghi ứng viên bằng cách sử dụng các tín hiệu như khớp từ vựng, tương đồng ngữ nghĩa, thẩm quyền, độ mới, vị trí, ngôn ngữ, bộ lọc có cấu trúc và các quy tắc kinh doanh cụ thể cho sản phẩm.

Một chỉ mục có thể tồn tại mà không cần xếp hạng, chẳng hạn như trong một tra cứu theo ID sản phẩm. Một hệ thống xếp hạng không thể trả về một trang không có trong chỉ mục ứng viên của nó.

Nơi Kết Xuất Phù Hợp

Rendering chuyển đổi một shell ứng dụng đã được truy xuất thành tài liệu mà trình duyệt có thể kiểm tra sau khi JavaScript thực thi. Nó thuộc về trước khi phân tích và lập chỉ mục bất cứ khi nào phản hồi ban đầu không chứa nội dung cần thiết.

Bài viết Tổng quan về việc thu thập và lập chỉ mục Google Search mô tả thu thập, rendering JavaScript, lập chỉ mục và cung cấp như những giai đoạn liên quan. Bài học chung áp dụng không chỉ cho tìm kiếm công khai: việc thu thập phải phơi bày văn bản và liên kết trước khi một trình lập chỉ mục có thể xử lý chúng.

Sử dụng quyết định rendering thay vì gửi mọi URL qua trình duyệt:

Hành vi trang	Đường dẫn thu thập	Kiểm tra chấp nhận
HTML được render từ máy chủ hoàn chỉnh	Truy xuất trực tiếp	Tiêu đề hoặc trường cần thiết tồn tại
JavaScript chèn nội dung cốt lõi	Rendering từ trình duyệt	Văn bản mong đợi xuất hiện trong tài liệu đã render
Điểm cuối có cấu trúc công khai	Điểm cuối đã tài liệu hóa	Phản hồi khớp với sơ đồ mong đợi
Tệp như PDF	Trình phân tích tệp	Văn bản và siêu dữ liệu có thể được trích xuất
Shell đồng ý hoặc thách thức	Cách ly	Nội dung mong đợi không có

Rendering không giống như lập chỉ mục. Nó sản xuất một đầu vào mà trình lập chỉ mục có thể chấp nhận hoặc từ chối.

Cách Một Chỉ Mục Đảo Ngược Hoạt Động

Một chỉ mục đảo ngược ánh xạ một thuật ngữ đến các tài liệu chứa nó. Thay vì quét từng tài liệu cho từng truy vấn, công cụ tìm kiếm tra cứu thuật ngữ và nhận được danh sách bài đăng.

Hãy tưởng tượng ba bản ghi được chấp nhận:

• Tài liệu A: “rendering trình duyệt cho trang sản phẩm”
• Tài liệu B: “lập chỉ mục web và xếp hạng tìm kiếm”
• Tài liệu C: “tự động hóa trình duyệt cho dữ liệu web công khai”

Thuật ngữ “trình duyệt” chỉ đến A và C. Thuật ngữ “lập chỉ mục” chỉ đến B. Một bài đăng sản xuất cũng có thể lưu trữ tần suất thuật ngữ, trường và vị trí để trình xếp hạng có thể phân biệt một trận hợp tiêu đề với một đề cập thân thể thoáng qua.

Một chỉ mục đảo ngược mạnh về các thuật ngữ chính xác, mã nhận dạng, mã lỗi, tên và cụm từ. Nó vẫn hữu ích ngay cả khi hệ thống cũng hỗ trợ truy xuất ngữ nghĩa.

Cách Lập Chỉ Mục Vector Khác

Một chỉ mục vector lưu trữ các biểu diễn số học mà đặt các đoạn văn liên quan về mặt ngữ nghĩa gần nhau. Nó có thể truy xuất một tài liệu trả lời truy vấn ngay cả khi cách diễn đạt khác nhau.

Truy xuất vector không thay thế cho danh tính nguồn hoặc tìm kiếm từ vựng. Thiết kế sản xuất thường kết hợp:

• truy xuất từ khóa cho các tên và mã nhận dạng chính xác;
• truy xuất vector cho độ tương đồng ngữ nghĩa;
• bộ lọc siêu dữ liệu cho nguồn, ngôn ngữ, ngày, sản phẩm hoặc chính sách;
• một lớp xếp hạng kết hợp các tập hợp ứng viên.

Đối với thế hệ tăng cường truy xuất, mỗi khối nên giữ URL nguồn chính, phiên bản tài liệu và ngữ cảnh tập hợp của nó. Nếu không, ứng dụng không thể hiển thị nguồn gốc hoặc loại bỏ tài liệu lỗi thời một cách sạch sẽ.

URL Chính và Kiểm Soát Trùng Lặp

Canonical hóa cung cấp cho nhiều biểu diễn một danh tính tài liệu ổn định. Nếu không có nó, các tham số theo dõi, sự khác biệt kiểu, đoạn, đường dẫn thay thế, chế độ xem in và giá trị phiên có thể tạo ra các bản ghi trùng lặp.

Tiêu chuẩn cú pháp URI và tiêu chuẩn bình thường hóa mô tả các quy tắc bình thường hóa như xử lý trường hợp cho các sơ đồ và máy chủ, bình thường hóa mã hóa phần trăm và loại bỏ các đoạn dấu chấm. Các quy tắc cụ thể cho ứng dụng vẫn cần phải được chăm sóc vì hai chuỗi truy vấn có thể đại diện cho các tài nguyên khác nhau.

Sử dụng chính sách bình thường hóa bảo thủ:

• viết thường sơ đồ và máy chủ;
• xóa đoạn;
• giải quyết các tham chiếu tương đối;
• chỉ xóa các tham số theo dõi được phê duyệt;
• bảo tồn các tham số thay đổi tài nguyên;
• bình thường hóa dấu gạch chéo cuối theo một quy tắc trang web cụ thể;
• tôn trọng chuyển hướng và tín hiệu chính thống đã công bố;
• tính toán một hash nội dung sau khi loại bỏ mẫu vật.

Định nghĩa liên kết chính thống trong HTML cung cấp cho các nhà xuất bản một cách để xác định URL ưa thích cho nội dung trùng lặp hoặc có liên quan chặt chẽ. Một trình lập chỉ mục nên ghi lại canonical đã được tuyên bố và so sánh nó với các chuyển hướng, liên kết nội bộ và sự tương đồng nội dung thay vì chấp nhận bất kỳ giá trị không đáng tin cậy nào một cách mù quáng.

Các bản hash nội dung giải quyết một vấn đề khác. URL có thể giữ ổn định trong khi trang thay đổi, hoặc hai URL có thể mang cùng một tài liệu. Giữ cả danh tính URL và danh tính nội dung cho phép hệ thống phân biệt các trường hợp đó.

Điều Gì Kiểm Soát Đủ Điều Kiện Lập Chỉ Mục?

Một trình lập chỉ mục cần một hợp đồng chấp nhận rõ ràng. Một lần truy xuất hoàn tất là không đủ.

Các kiểm tra chung bao gồm:

• nguồn và đường dẫn được cho phép bởi đăng ký;
• loại phản hồi được hỗ trợ;
• nội dung cần thiết có mặt sau khi rendering;
• trang không phải là lỗi, thách thức, shell đồng ý, hoặc trang không tìm thấy tạm thời;
• ngôn ngữ và địa phương khớp với tập hợp mong đợi;
• các chỉ thị lập chỉ mục cho phép bao gồm cho hệ thống liên quan;
• mục tiêu chính thống là hợp lệ và trong phạm vi;
• Nội dung không phải là bản sao không thay đổi;
• Tài liệu đáp ứng các quy tắc chất lượng và an toàn tối thiểu.

Các công cụ tìm kiếm đưa ra quyết định về đủ điều kiện của riêng mình. Các hệ thống doanh nghiệp cũng nên làm như vậy thay vì đưa từng byte đã lấy vào quy trình truy xuất.

Sơ đồ trang web, robots.txt, noindex và Tín hiệu Canonical

Các điều khiển này ảnh hưởng đến các phần khác nhau của quy trình.

Điều khiển	Vai trò chính	Những gì không thể đảm bảo
Sơ đồ trang web	Gợi ý khám phá URL	Quét, lập chỉ mục hoặc xếp hạng
robots.txt	Hướng dẫn truy cập của bot	Tính bảo mật hoặc gỡ chỉ mục
noindex	Hướng dẫn đủ điều kiện lập chỉ mục	Gỡ bỏ khỏi mọi bản sao bên ngoài
Liên kết Canonical	Tín hiệu danh tính ưu tiên	Tự động chấp nhận mục tiêu
Chuyển hướng	Tín hiệu di chuyển tài nguyên	Chất lượng nội dung hoặc khả năng đủ điều kiện

Khái quát về giao thức Sơ đồ trang web nêu rõ rằng sơ đồ trang web giúp các bot phát hiện các URL nhưng không đảm bảo sự đưa vào một công cụ tìm kiếm. Sơ đồ trang web là một gợi ý kiểm kê, không phải vé vào.

robots.txt kiểm soát hành vi quét cho các khách hàng tuân thủ. Nó không nên được sử dụng để bảo vệ nội dung nhạy cảm vì tệp là công khai và các đường dẫn của nó có thể được phát hiện.

noindex thuộc về lớp lập chỉ mục. Nếu một bot không thể lấy trang hoặc tiêu đề chứa hướng dẫn, hệ thống có thể có thông tin không đầy đủ. Các chủ sở hữu trang web nên đồng bộ hóa các điều khiển quét và lập chỉ mục thay vì giả định chúng có thể thay thế cho nhau.

Lập chỉ mục của Công cụ Tìm kiếm so với Lập chỉ mục Web Doanh nghiệp

Các công cụ tìm kiếm công cộng lập chỉ mục web mở để trả lời các truy vấn người dùng rộng. Lập chỉ mục doanh nghiệp bắt đầu từ một cơ sở dữ liệu nguồn có kiểm soát và phục vụ cho một mục tiêu sản phẩm hẹp hơn.

Kích thước	Công cụ tìm kiếm công cộng	Lập chỉ mục Doanh nghiệp hoặc RAG
Phạm vi nguồn	Khám phá web rộng	Miền và tập dữ liệu được phê duyệt
Danh tính	URL Canonical công khai	URL Canonical cộng với khóa tài liệu nội bộ
Tính mới mẻ	Chính sách quét lại do công cụ xác định	Mục tiêu dịch vụ cụ thể nguồn
Truy xuất	Ý định chung của người dùng	Sản phẩm, hỗ trợ, nghiên cứu hoặc nhiệm vụ của đại lý
Quyền truy cập	Quy tắc đủ điều kiện công khai	Chính sách người dùng, khách hàng, vai trò và nguồn
Đầu ra	Trang kết quả được xếp hạng	Gói bằng chứng, đoạn văn hoặc hồ sơ có cấu trúc

Một chỉ mục doanh nghiệp nên giữ chính sách truy cập bên cạnh tài liệu. Truy xuất phải lọc các bản ghi không được ủy quyền trước khi xếp hạng, không phải sau khi mô hình đã nhận chúng.

Một Quy trình Lập chỉ mục Web Thực tiễn

Một quy trình đáng tin cậy tách việc thu thập thông tin khỏi việc lập chỉ mục để mỗi giai đoạn có thể được kiểm tra.

1. Đăng ký nguồn

Lưu trữ máy chủ được phép, phạm vi đường dẫn, địa phương, chủ sở hữu, mục đích thu thập, quyết định robots, loại tài liệu mong đợi và mục tiêu mới mẻ.

2. Khám phá URL

Sử dụng liên kết nội bộ, sơ đồ trang web, nguồn cấp, các mẫu đã biết hoặc danh sách hạt giống được chọn lọc. Loại bỏ các URL nằm ngoài phạm vi được phê duyệt.

3. Thu thập đại diện

Lấy HTML ổn định trực tiếp. Sử dụng việc kết xuất trình duyệt chỉ khi các trường yêu cầu phụ thuộc vào JavaScript. Giữ nguyên siêu dữ liệu phản hồi và URL cuối cùng.

4. Xác thực nội dung

Kiểm tra một đánh dấu cụ thể cho trang, loại tài liệu, ngôn ngữ, các trường yêu cầu và chữ ký lỗi. Cách ly các phản hồi không mong muốn.

5. Chuẩn hóa danh tính

Áp dụng chính sách URI cụ thể nguồn, đánh giá các tín hiệu canonical và tính toán hash URL và nội dung.

6. Phân tích và làm phong phú

Trích xuất nội dung chính, tiêu đề, liên kết, thực thể và các trường có cấu trúc. Thêm nguồn gốc, chủ sở hữu nguồn, ngữ cảnh thu thập và phiên bản sơ đồ.

7. Viết cấu trúc truy xuất

Tạo các bài đăng từ khóa, đại diện vector nơi cần thiết và bộ lọc siêu dữ liệu. Giữ bản ghi thô đã được chấp nhận đủ lâu để kiểm toán các biến đổi.

8. Đo lường hệ thống

Theo dõi kích thước biên giới, tài liệu đã được chấp nhận, tỷ lệ bản sao, tỷ lệ kết xuất, thất bại phân tích, độ trễ mới mẻ và các truy vấn không có kết quả đủ điều kiện. Những biện pháp này chỉ ra giai đoạn đang thất bại thay vì đổ lỗi cho “tìm kiếm” như một thành phần không rõ ràng.

Cách Scrapeless Hỗ trợ Lớp Thu thập

Lập chỉ mục web phụ thuộc vào việc nhận nội dung công khai dự định. Trình duyệt Scrapeless Scraping xử lý việc kết xuất trình duyệt khi JavaScript là một phần của con đường chấp nhận. Các trang tĩnh có thể sử dụng một lộ trình thu thập đơn giản hơn, trong khi bộ lập chỉ mục giữ một hợp đồng xác thực và nguồn gốc cho cả hai.
Hướng dẫn thu thập dữ liệu trên web đề cập đến các nguyên tắc cơ bản của việc trích xuất, và so sánh trình thu thập thông tin web giúp phân tách khả năng của trình thu thập thông tin khỏi chỉ mục theo sau chúng. Kiểm tra giá cả của Scrapeless sau khi đo lường số lượng trang đã được phê duyệt thực sự cần trình duyệt hiển thị.

Nhận khóa API của bạn trên gói miễn phí: app.scrapeless.com

Kết luận: Đối xử với Chỉ mục như một Hợp đồng Sản phẩm

Việc lập chỉ mục web bắt đầu trước khi một tài liệu đến được công cụ tìm kiếm. Phạm vi nguồn, trình bày, danh tính chuẩn, phân tích, chất lượng, quyền truy cập và độ mới đều xác định xem bản ghi được lưu trữ có thể hỗ trợ một kết quả đáng tin cậy hay không.

Hãy cung cấp mỗi giai đoạn một đầu vào có kiểu, một đầu ra có thể đo lường và một trạng thái từ chối rõ ràng. Điều đó giúp việc thiếu kết quả có thể chẩn đoán và giữ cho lớp thu hồi không bị nội dung trùng lặp, lỗi thời hoặc không được phép.

---

Sẵn sàng để Xây dựng Một Tập Dữ Liệu Tìm Kiếm trên Web?

Tham gia cùng các nhà phát triển đang làm việc về hệ thống thu thập thông tin, trình bày và thu hồi: Discord · Telegram.

Đăng ký tại app.scrapeless.com và kết nối các nguồn công khai đã được phê duyệt trong kế hoạch lập chỉ mục của bạn với một lớp thu thập được đo lường.

---

Câu hỏi thường gặp

Q: Lập chỉ mục web là gì theo cách đơn giản?

Lập chỉ mục web là quá trình phân tích một trang đã được fetch và lưu trữ nội dung hữu ích và siêu dữ liệu của nó trong các cấu trúc cho phép trang đó có thể tìm kiếm.

Q: Sự khác biệt giữa thu thập thông tin và lập chỉ mục là gì?

Thu thập thông tin phát hiện và lấy URL. Lập chỉ mục phân tích nội dung đã được chấp nhận, gán một danh tính ổn định, loại bỏ nội dung trùng lặp và ghi lại bản ghi có thể tìm kiếm.

Q: Có phải thu thập thông tin một trang có nghĩa là nó sẽ được lập chỉ mục không?

Không. Trang có thể được thu thập thông tin nhưng vẫn bị loại trừ do sự trùng lặp, chỉ dẫn, nội dung không được hỗ trợ, chất lượng kém, chính sách hoặc kiểm tra chấp nhận không thành công.

Q: Tại sao việc hiển thị JavaScript lại quan trọng đối với lập chỉ mục?

Việc trình bày quan trọng khi phản hồi ban đầu thiếu văn bản hoặc liên kết mà ứng dụng tạo ra trong trình duyệt. Nếu không có hình ảnh đã được trình bày, trình lập chỉ mục sẽ nhận được đầu vào không đầy đủ.

Q: Cơ sở dữ liệu vector có giống với chỉ mục web không?

Không. Cơ sở dữ liệu vector có thể lưu trữ các biểu diễn ngữ nghĩa, nhưng một chỉ mục web hoàn chỉnh cũng cần phát hiện nguồn, danh tính chuẩn, siêu dữ liệu, quyền giao dịch, độ mới, và thường là thu hồi từ khóa.

Q: Scrapeless có thể tự lập chỉ mục một trang web không?

Scrapeless cung cấp các khả năng thu thập và hiển thị trình duyệt cho các trang công khai đã được phê duyệt. Ứng dụng của bạn xác định sơ đồ chỉ mục, chuẩn hóa, quyền truy cập, lưu trữ, thu hồi và quy tắc xếp hạng.