Một Trình Thu Thập Web Hoạt Động Như Thế Nào?

Hạt giống và Ranh giới URL

Một trình thu thập bắt đầu với các URL hạt giống và một ranh giới giữ các tài nguyên ứng viên. Các hạt giống có thể đến từ một danh sách kiểm kê đã được phê duyệt, một bản đồ trang hoặc các trang công khai được chọn. Ranh giới đại diện cho công việc chưa hoàn thành, thường đi kèm với thông tin như nguồn phát hiện và ưu tiên.

Một bộ lập lịch chọn một ứng viên dựa theo mục đích của quá trình thu thập. Một danh sách kiểm kê trang có thể ưu tiên việc khám phá rộng rãi, trong khi một bộ sưu tập tập trung có thể ưu tiên các liên kết có khả năng trùng khớp với một loại trang cụ thể. Không chiến lược nào đảm bảo rằng mỗi trang liên quan sẽ được tìm thấy.

Kiến trúc thu thập web tách ranh giới khỏi việc tải xuống và xử lý liên kết. Việc tách biệt đó giúp một công việc ghi lại công việc đang chờ xử lý ngay cả khi việc thu thập được thực hiện bởi nhiều người lao động.

Giữ nguồn gốc của hạt giống. Một URL do chủ sở hữu trang cung cấp có cơ sở phát hiện khác với một cái được tìm thấy trong chân trang. Lưu lại tài nguyên nào đã giới thiệu một ứng viên khi mối quan hệ đó giúp giải thích sự phủ sóng. Đối với một kiểm tra có giới hạn, ranh giới cũng nên giữ lý do tại sao một ứng viên bị loại trừ thay vì lặng lẽ loại bỏ mọi địa chỉ không quen thuộc.

Kiểm Tra Phạm Vi Trước Khi Tài Nguyên Được Lấy

Một trình thu thập kiểm tra các URL ứng viên dựa trên phạm vi và quy tắc truy cập trước khi lập lịch lấy. Các chiều phạm vi thông thường bao gồm máy chủ, tiền tố đường dẫn, loại tài nguyên và mẫu truy vấn. Đây là quyết định của dự án và nên được ghi lại trước khi quá trình thu thập mở rộng.

Giải quyết các liên kết tương đối bằng cách sử dụng URL cơ sở áp dụng của trang. Tiêu chuẩn giải quyết tham chiếu URI giải thích cách một tham chiếu trở thành một địa chỉ tuyệt đối. So sánh URL đã giải quyết với các quy tắc phạm vi; một liên kết trông tương đối vẫn có thể giải quyết ra ngoài khu vực đã dự định.

Đánh giá các chuyển hướng cũng như các ứng viên đầu tiên. Một URL đã được phê duyệt có thể dẫn đến một máy chủ khác hoặc một đường dẫn bị hạn chế. Điểm đến cuối cùng nên nhận được cùng một đánh giá phạm vi thay vì kế thừa sự chấp thuận từ địa chỉ bắt đầu.

Kiểm tra quy tắc robots cho danh tính của trình thu thập. Tiêu chuẩn Giao thức Loại bỏ Robots định nghĩa sự so khớp đường dẫn và xử lý tệp quy tắc. Giữ sở thích của trang bên cạnh các ràng buộc hợp đồng và pháp lý. Một quyết định cho phép kỹ thuật không thiết lập rằng mỗi sử dụng tiếp theo có thể của nội dung là được phép.

Áp dụng phạm vi thực tế hẹp nhất. Đối với một kiểm tra tài liệu đã sở hữu, việc thu thập chỉ máy chủ tài liệu và các phần đã đồng ý dễ xác minh hơn là cho phép mỗi đích liên kết.

Lấy, Danh Tính Trang và Kết Xuất Tùy Chọn

Lấy được đại diện cần thiết để kiểm tra một tài nguyên và phát hiện thêm liên kết. Một trình thu thập có thể sử dụng một client HTTP cho các trang phù hợp và thực thi trình duyệt khi các liên kết phụ thuộc vào JavaScript.

Trước tiên xác định cái gì đã đến. Ghi lại trạng thái phản hồi, URL cuối cùng và phân loại trang thích hợp. Một chuyển hướng đến xác thực hoặc phản hồi thách thức có thể để lại cho trình thu thập dữ liệu với dữ liệu vận chuyển hợp lệ mà không có đầu vào phát hiện hữu dụng. Đừng coi tài nguyên đó là đã được kiểm tra thành công chỉ vì đã nhận được bytes.

Kết xuất có một mục đích khi các liên kết phát hiện không có trong đánh dấu ban đầu. Kiểm tra trang trước khi giả định rằng mọi tài nguyên đều cần một trình duyệt. Thực hiện trình duyệt có thể thêm công việc mạng và giới thiệu trạng thái mà một mức tài liệu đơn giản không mang theo.

Đối với các quy trình động, Trình Duyệt Đại Lý Không Mảnh cung cấp lớp thực thi được sử dụng bởi bộ sưu tập dựa trên trình duyệt. Cấu hình thu thập website Scrapeless mô tả bề mặt thu thập được quản lý. Xác nhận kiểm soát phạm vi và ngữ nghĩa kết quả trước khi dựa vào chúng cho một tuyên bố đầy đủ.

Một trang đã được kết xuất vẫn cần một quyết định sẵn sàng gắn liền với các liên kết hoặc nội dung cần thiết bởi nhiệm vụ. Trình thu thập nên biết liệu nó đã kiểm tra tài liệu dự định, một trạng thái rỗng rõ ràng, hoặc một phản hồi không liên quan.

Khám Phá Liên Kết và Xóa Trùng Lặp URL

Khám phá liên kết trích xuất các tham chiếu ứng viên từ một tài nguyên đã được kiểm tra, và việc xóa trùng lặp quyết định ứng viên nào đại diện cho công việc đã biết. Một trình thu thập cần lý luận cả trên cấp độ URL và, trong một số dự án, cấp độ nội dung.

Loại bỏ các đoạn từ danh tính thu thập HTTP thông thường khi thích hợp, vì một đoạn xác định vị trí hoặc diễn giải phía máy khách thay vì một yêu cầu máy chủ riêng biệt. Xử lý cẩn thận các tham số truy vấn. Một số tham số chỉ theo dõi quyền sở hữu, trong khi những cái khác thay đổi biến thể sản phẩm hoặc nội dung của một danh mục. Một quy tắc xóa mọi truy vấn có thể hợp nhất các tài nguyên khác biệt.

Chỉ chuẩn hóa những gì chính sách URL của bạn có thể biện minh. Giữ địa chỉ ban đầu và cuối cùng bên cạnh một khóa lập lịch đã chuẩn hóa. Điều này cho phép bạn sửa đổi một quy tắc tương đương sai mà không mất dấu vết phát hiện.

Nội dung trùng lặp là một vấn đề riêng biệt. Nhiều URL có thể phục vụ các tài liệu tương tự, và hai lần lấy một URL có thể khác nhau theo vùng hoặc phiên. Quyết định những khác biệt nào là quan trọng đối với nhiệm vụ trước khi hợp nhất hồ sơ. Một hàm băm nội dung có thể phát hiện các byte giống hệt nhau, nhưng các byte giống hệt không phải là định nghĩa duy nhất của thông tin trùng lặp.

Trang web phương pháp phát hiện URL minh họa lý do tại sao các bộ đếm thường cần nhiều đầu vào. Các liên kết và sitemap mô tả các góc nhìn khác nhau về trang web, và cả hai có thể bỏ qua các tài nguyên liên quan.

Lập lịch tải trọng máy chủ và Kiểm soát Bẫy thu thập dữ liệu

Một lập lịch thu thập dữ liệu kiểm soát tải trọng máy chủ tổng hợp và ngăn chặn việc phát hiện mở rộng mà không có giới hạn hữu ích. Các giới hạn theo máy chủ nên áp dụng trên toàn bộ công nhân và lối thoát mạng, vì điểm đến trải nghiệm khối lượng tải dữ liệu kết hợp.

Đặt tốc độ yêu cầu đã được phê duyệt, ngân sách trang, và ngân sách thời gian cho công việc. Đây là các ràng buộc hoạt động, không phải các giá trị an toàn toàn cầu. Một trang web công cộng nhỏ và một nguồn dữ liệu doanh nghiệp đã đồng ý có thể có các giới hạn rất khác nhau. Tài liệu nguồn gốc của các giới hạn đã chọn.

Bẫy thu thập dữ liệu thường phát sinh từ các không gian URL có thể liên tục tạo ra các tổ hợp mới. Điều hướng lịch, các tùy chọn sắp xếp và các bộ lọc phân kỳ là những ví dụ phổ biến. Một trình thu thập dữ liệu có thể thấy các địa chỉ vô tận khác nhau mà không cung cấp thêm thông tin cho mục đích của nó.

Sử dụng quy tắc gắn liền với ý nghĩa trang. Đối với một bộ đếm danh mục, các đường dẫn chi tiết sản phẩm chính thức có thể hữu ích trong khi các tổ hợp tùy ý của các tham số bộ lọc nằm ngoài phạm vi. Nếu sự phân biệt đó không thể được suy ra một cách đáng tin cậy, hãy để chủ sở hữu nguồn cung cấp một bộ đếm đã được phê duyệt hoặc hạn chế việc phát hiện thêm.

Lưu lý do dừng. Đạt đến ngân sách trang là khác với việc cạn kiệt biên giới đủ điều kiện. Các nhà điều hành nên có khả năng thấy liệu một lần thu thập dữ liệu dừng lại theo thiết kế, đáp ứng phạm vi yêu cầu của nó, hoặc vẫn còn công việc đang chờ xử lý.

Kết quả Thu thập dữ liệu, Điểm kiểm tra và Phạm vi

Kết quả thu thập dữ liệu nên giải thích những gì đã được phát hiện, truy cập, loại trừ và chấp nhận. Một nhãn “hoàn thành” duy nhất không mô tả liệu bộ đếm có ý định đã được bao phủ hay không.

Theo dõi trạng thái cho các ứng viên và tài nguyên. Một ứng viên có thể nằm ngoài phạm vi, không được phép theo chính sách, đang chờ xử lý, đã thu thập, hoặc bị từ chối sau khi kiểm tra nội dung. Giữ cho các chuyển tiếp trạng thái dễ hiểu. Nếu một nhà điều hành tiếp tục công việc từ một điểm kiểm tra, hồ sơ đó nên phân biệt các tài nguyên đã hoàn thành với những tài nguyên vẫn đang chờ quyết định.

Phạm vi luôn tương đối với một định nghĩa. Một lần thu thập dữ liệu có thể bao phủ danh sách hạt giống đã được phê duyệt, các liên kết có thể truy cập theo quy tắc đường dẫn, hoặc các tài nguyên được công bố trong một sitemap. Nó không thể chứng minh rằng không có trang mồ côi tồn tại chỉ bằng cách đạt đến cuối hàng đợi của nó.

So sánh bộ đếm quan sát được với một nguồn thích hợp khác khi tính đầy đủ là quan trọng. Một xuất khẩu CMS sở hữu có thể tiết lộ các trang không có liên kết đến. Một sitemap có thể xác định các trang đã được công bố mà lần thu thập dữ liệu đã bỏ lỡ. Giải quyết sự khác biệt bằng cách kiểm tra nguồn, không phải bằng cách hợp nhất các phép đếm mà không có giải thích.

Ngân sách cho lớp thực thi đã chọn bằng cách sử dụng giá cả hiện tại của Scrapeless.Việc phát hiện đã được render và thu thập tĩnh có nhu cầu tài nguyên khác nhau, vì vậy hãy so sánh chi phí với kết quả bao phủ đã định nghĩa.

Một Lần thu thập tài liệu minh họa

Một lần thu thập tài liệu sở hữu có thể làm cho mọi điều khiển trở nên rõ ràng. Ví dụ lập kế hoạch này bắt đầu với một phần tài liệu đã đồng ý và một sitemap được cung cấp bởi chủ sở hữu trang. Nó không đại diện cho một lần thu thập trực tiếp đo lường.

Biên giới nhận những hạt giống đó cùng với nguồn phát hiện của chúng. Các kiểm tra phạm vi giữ cho công việc trên máy chủ và các đường dẫn đã được phê duyệt. Mỗi trang đã được thu thập được phân loại, các liên kết của nó được giải quyết, và các ứng viên đủ điều kiện bước vào biên giới theo chính sách tương tự URL.

Trình thu thập dữ liệu ghi lại các chuyển hướng và loại trừ các tuyến tài khoản. Nó chỉ sử dụng việc render trình duyệt cho việc điều hướng thật sự phụ thuộc vào nó. Một giai đoạn kiểm tra riêng biệt kiểm tra các tiêu đề, các liên kết nội bộ và các thuộc tính khác cần thiết cho nhiệm vụ di chuyển.

Khi biên giới đủ điều kiện đã cạn kiệt, nhà điều hành so sánh bộ đếm đã truy cập với sitemap và danh sách CMS. Các tài nguyên bị thiếu nhận được các lý do cụ thể: trang không liên kết, đường dẫn nằm ngoài phạm vi, phản hồi bị từ chối, hoặc nguồn không khả dụng. Báo cáo cuối cùng có thể mô tả phạm vi theo các điều khoản mà chủ sở hữu có thể xác minh.

Quy trình này giữ cho trình thu thập dữ liệu chịu trách nhiệm về việc phát hiện và thu hồi, trong khi kiểm tra sở hữu việc giải thích. Giữ những trách nhiệm đó tách biệt làm cho việc tái sử dụng cùng một bộ đếm cho một phân tích có thẩm quyền khác dễ dàng hơn.

Kết luận

Một trình thu thập dữ liệu web hoạt động thông qua một vòng lặp có kiểm soát của việc lập lịch, thu thập dữ liệu, phát hiện liên kết, và loại bỏ trùng lặp. Các quy tắc phạm vi và điều kiện dừng xác định điều gì mà vòng lặp đó có thể tuyên bố đã bao phủ.

Bắt đầu với các hạt giống rõ ràng và một định nghĩa bộ đếm được đồng ý. Giữ các quyết định ứng viên, điểm đến cuối cùng và lý do từ chối trong các kết quả. Một lần thu thập dữ liệu là hữu ích khi phạm vi của nó có thể được giải thích và kiểm tra so với mục đích bắt đầu nó.

Tài liệu tham khảo

• Cấu hình thu thập dữ liệu trang web không cần sao chép
• Thực thi trình duyệt tác nhân cho các trang động
• Các phương pháp phát hiện URL trang web