Khung web scraping là gì?

Một khung web scraping xác định quy trình làm việc

Một khung web scraping là một cấu trúc phần mềm để xây dựng và vận hành các crawler và extractor thông qua các thành phần, quy ước và sự kiện vòng đời đã được định nghĩa. Nó thường phối hợp việc tạo yêu cầu, lập lịch, tải xuống, phân tích, xử lý mục, bảo quản và tín hiệu hoạt động trong khi mã ứng dụng cung cấp các quy tắc riêng của từng trang web.

Khung không phải là chính người trích xuất. Các bộ chọn, lược đồ, logic phân trang và ngữ nghĩa nguồn vẫn thuộc về dự án, trong khi khung cung cấp mô hình thực thi kết nối những lựa chọn đó. Đường ranh hữu ích là quyết định mà thông tin hỗ trợ. Một trường được thu thập không có giá trị chỉ vì nó tồn tại; trường đó trở nên hữu ích khi ý nghĩa, ngữ cảnh quan sát và người tiêu dùng dự định của nó được công bố.

Đối với một khung web scraping, đơn vị công việc là một tài nguyên được yêu cầu và các bản ghi phát sinh của nó. Kết quả mong muốn là một tập dữ liệu có thể tái tạo thay vì một đống tệp trang. Sự phân biệt đó giữ cho việc thu thập tách biệt khỏi việc diễn giải: một bản chụp trang là bằng chứng, một bản ghi được trích xuất là một đại diện, và một kết luận phân tích là một hiện vật quyết định mà nên giữ được truy xuất cả hai.

Cách các yêu cầu trở thành bản ghi có cấu trúc

Một khung biến một định nghĩa mục tiêu thành một chuỗi kiểm soát của việc khám phá, thu thập, phân tích, xác thực và giao hàng.

1. Chọn URL đã được phê duyệt và đính kèm siêu dữ liệu yêu cầu như thị trường, mục đích và loại trang dự kiến. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận để các lỗi có thể được phân lập mà không coi toàn bộ quy trình làm việc như một công việc tối nghĩa.
2. Lập lịch các yêu cầu giới hạn theo quy tắc máy chủ, chính sách nhân bản và độ ưu tiên. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận để các lỗi có thể được phân lập mà không coi toàn bộ quy trình làm việc như một công việc tối nghĩa.
3. Thu thập tài nguyên bằng HTTP trực tiếp hoặc một phiên trình duyệt được chọn từ hành vi trang có thể quan sát. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận để các lỗi có thể được phân lập mà không coi toàn bộ quy trình làm việc như một công việc tối nghĩa.
4. Xác nhận danh tính trang trước khi phân tích các trường để một trang lỗi không thể cải trang thành dữ liệu hợp lệ. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận để các lỗi có thể được phân lập mà không coi toàn bộ quy trình làm việc như một công việc tối nghĩa.
5. Trích xuất các mục và liên kết được loại, sau đó xác thực các trường và mối quan hệ cần thiết. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận để các lỗi có thể được phân lập mà không coi toàn bộ quy trình làm việc như một công việc tối nghĩa.
6. Gửi các mục đã được chấp nhận vào kho lưu trữ trong khi công bố các số liệu, nguồn gốc, và các trường hợp thất bại có cấu trúc. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận để các lỗi có thể được phân lập mà không coi toàn bộ quy trình làm việc như một công việc tối nghĩa.

Trình tự có ý nghĩa vì cấu trúc trang web và hành vi phản hồi có thể thay đổi trước khi nhóm kỹ thuật hoặc phân tích thay đổi quy trình quyết định của mình. Giữ cho thu thập, chuẩn hóa, diễn giải và giao hàng tách biệt cho phép một lớp tiến hóa mà không thay đổi âm thầm mọi chỉ số hạ nguồn. Nó cũng hỗ trợ việc xử lý lại lịch sử khi một phân loại, mô hình, quy tắc phù hợp hoặc định nghĩa kinh doanh được cải thiện.

Móc và phần mềm trung gian cho phép các dự án thay đổi tiêu đề yêu cầu, định tuyến, phân tích và xử lý mục mà không phải viết lại bộ lập lịch. Tính linh hoạt tương tự có thể làm mờ hành vi nếu quyền sở hữu và thứ tự không được tài liệu. Do đó, một triển khai thực tiễn giữ bằng chứng thô, bản ghi đã được chuẩn hóa và các phán đoán phát sinh trong các kho lưu trữ hoặc bảng đã được phiên bản rõ ràng.

Khung, Thư viện, Dịch vụ, hoặc Kịch bản Một lần?

Ranh giới chính xác thường là hỗn hợp. Một khung có thể điều phối các yêu cầu trực tiếp, các phiên trình duyệt được quản lý và xác thực hạ nguồn mà không giả vờ rằng mọi mục tiêu đều cần phương pháp thu thập giống nhau.

Các tùy chọn trong bảng không phải là các mức độ trưởng thành. Một đánh giá thủ công có thể là kiểm soát chính xác cho một mẫu nhỏ, quan trọng, trong khi tự động hóa là thích hợp cho các quyết định lặp lại với xử lý lỗi có thể đo lường được. Sự lựa chọn nên theo dõi chi phí của một kết quả sai, tốc độ thay đổi nguồn, và bằng chứng mà người xem cần.

Nơi các Framework kiếm được chi phí của chúng

Các Framework có lợi khi công việc lặp lại trên nhiều tài nguyên hoặc phải được vận hành bởi nhiều người. Mỗi trường hợp sử dụng vẫn cần một chủ sở hữu được đặt tên và một quy tắc phát hành. Một quy trình làm việc của framework thu thập web không nên gửi dữ liệu đến bảng điều khiển, mô hình, người bán hàng, hoặc hành động tự động cho đến khi người nhận biết được độ tinh chỉnh của bản ghi, khoảng thời gian tươi mới, chính sách giá trị thiếu và mục đích được phép.

Thiết kế hợp đồng dự án

Chất lượng framework được nhìn thấy ở các ranh giới hơn là ở số lượng tính năng tích hợp.

• Kiểm tra danh tính trang. Xác nhận phản hồi là tài nguyên dự định trước khi các bộ chọn chạy.
• Hợp đồng mục có kiểu. Làm cho sự vắng mặt, giá trị null, đơn vị, và các định danh trở nên rõ ràng.
• Khám phá xác định. Ghi lại lý do tại sao mỗi URL vào hàng đợi và quy tắc phạm vi nào đã chấp nhận nó.
• Thực hiện có giới hạn. Đặt giới hạn máy chủ, độ sâu, trang, và thời gian phù hợp với nhiệm vụ đã được phê duyệt.
• Bằng chứng hoạt động. Phơi bày trạng thái hàng đợi, kết quả yêu cầu, phiên bản bộ phân tích, và lý do từ chối mục.

Đánh giá chất lượng nên lấy mẫu toàn bộ con đường từ cấu trúc trang web và hành vi phản hồi đến một tập dữ liệu có thể tái tạo hơn là một đống tệp trang. Độ chính xác cấp trường một mình có thể che giấu một trang sai, một quan sát lỗi thời, một thực thể không khớp, hoặc một quy tắc quyết định được áp dụng bên ngoài phân đoạn dự định của nó. Lưu trữ phiên bản của mỗi bộ phân tích, phân loại, mô hình, ngưỡng, và ánh xạ cần thiết để tái tạo bản ghi đã phát hành.

Các chỉ số tốt kết nối hành vi kỹ thuật với chi phí quyết định. Độ bao phủ cho thấy những gì quy trình làm việc có thể quan sát; độ chính xác cho thấy liệu các trường đã phát hành có đồng ý với bằng chứng được gán nhãn hay không; độ tươi mới cho thấy liệu quan sát có kịp thời đủ không; và độ ổn định cho thấy liệu một phép đo có thay đổi do thị trường thay đổi hay vì quá trình thu thập thay đổi.

Chính sách thu thập và các ranh giới nguồn

Một framework có thể tự động hóa truy cập, nhưng nó không thể quyết định liệu một nguồn hoặc mục đích là thích hợp.

Đối với việc thu thập tự động, Giao thức loại trừ Robots định nghĩa cách các chủ sở hữu dịch vụ công bố sở thích của trình thu thập. Những sở thích đó không thay thế quyền ủy quyền, xem xét theo hợp đồng, hoặc các giới hạn mục đích, nhưng chúng thuộc về chính sách thu thập và nên được đánh giá trước khi một lịch trình được kích hoạt.

Tiêu chuẩn WHATWG DOM Standard cung cấp một ranh giới thứ hai cho chủ đề này. Nó giúp các nhóm phân biệt dữ liệu có thể quan sát về mặt kỹ thuật với dữ liệu thích hợp để giữ lại, kết hợp, chấm điểm, hoặc sử dụng cho một hành động. Quyết định về quyền truy cập, lưu trữ, và các quy tắc xóa nên tuân theo trường nhạy cảm nhất trong một bản ghi thay vì trường ít nhạy cảm nhất.

Tiêu chuẩn DOM và tự động hóa trình duyệt giúp xác định những gì một bộ phân tích và máy khách trình duyệt từ xa tương tác với; chúng không định nghĩa ý nghĩa kinh doanh của các trường được trích xuất. Tiêu chuẩn W3C WebDriver specification cung cấp một tham chiếu cụ thể cho sự đại diện theo miền, rủi ro, hoặc thực hành dữ liệu công cộng liên quan ở đây.

Sử dụng Trình duyệt được quản lý bên trong một Framework

Một trình duyệt được quản lý thuộc về một giao diện thu thập rõ ràng, không rải rác qua mã phân tích.

Trình duyệt Agent không chứa rác có thể cung cấp phiên làm việc trình duyệt được quản lý cho các trang công cộng đã được phê duyệt, bao gồm cả các trang có nội dung hữu ích xuất hiện sau khi trình duyệt phía máy khách render. Ứng dụng vẫn có trách nhiệm với phê duyệt mục tiêu, lựa chọn trường, bước điều hướng, quy tắc trích xuất, giới hạn khối lượng công việc, lưu trữ, và mọi cách diễn giải áp dụng sau khi thu thập.

Một bản ghi thu thập bền bỉ bao gồm URL đã yêu cầu, URL cuối cùng, thời gian quan sát, thị trường hoặc địa phương khi có liên quan, kiểm tra danh tính trang, và bằng chứng thô cần thiết để giải thích một tập dữ liệu có thể tái tạo hơn là một đống tệp trang. Giữ các thông tin đó bên cạnh bản ghi đã lấy tạo điều kiện cho việc điều chỉnh sau này khi cấu trúc hoặc ý nghĩa của trang thay đổi.

Đối xử với HTML đã render, ảnh chụp màn hình, quan sát mạng, và các bản ghi trích xuất như các đối tượng khác nhau. Framework nên cho phép mỗi đối tượng được giữ lại hoặc từ chối theo mục đích và quy tắc lưu trữ riêng của nó.

Mô hình thất bại trong dự án Framework

Các dự án Framework thất bại khi cơ sở hạ tầng chung che dấu những giả định cụ thể về nguồn.

• Bắt đầu bằng một lớp cơ sở toàn cầu. Hành vi chung được đoán trước khi hai mục tiêu thực sự chứng minh những gì được chia sẻ.
• Phân tích trước khi kiểm tra danh tính. Các trang thách thức hoặc đồng ý tạo ra các bản ghi hợp lệ về cấu trúc nhưng sai.
• Liên kết các bộ chọn với lưu trữ. Một thay đổi trang bắt buộc thay đổi lược đồ và cơ sở dữ liệu đồng thời.
• Theo dõi liên kết không giới hạn. Một hạt giống nhỏ mở rộng thành các con đường không liên quan và chi phí không ổn định.
• Xử lý nhật ký như một sự quan sát. Văn bản tự do không trả lời loại trang nào, các trường, hoặc phiên bản nào đang thất bại.

Khi các kết quả khác biệt, so sánh trạng thái mong đợi và quan sát được một ranh giới tại một thời điểm: danh tính nguồn, độ hoàn chỉnh của việc ghi nhận, khớp thực thể, giá trị đã được chuẩn hóa, quy tắc phân tích, timing giao hàng, và hành động của người tiêu dùng. Thứ tự đó ngăn chặn sự sai lệch trong bảng điều khiển bị chẩn đoán nhầm là một sự thất bại trong việc thu thập và giữ công việc khắc phục liên quan đến bằng chứng.

Danh sách kiểm tra sẵn sàng của khuôn khổ

Sử dụng các câu hỏi sau đây trước khi một thử nghiệm trở thành một quy trình sản xuất lặp lại.

• Quyết định nào sẽ được tập dữ liệu này hỗ trợ và ai sở hữu quyết định đó?
• Một bản ghi đại diện cho điều gì, và các định danh nào giữ cho hạt đó ổn định?
• Những nguồn và trạng thái trang nào được phê duyệt cho việc thu thập?
• Những trường nào là bắt buộc, tùy chọn, dẫn xuất hoặc bị cấm?
• Làm thế nào để ghi lại ngôn ngữ, tiền tệ, thời gian, và bối cảnh quan sát?
• Bằng chứng nào được gán nhãn định nghĩa độ chính xác và độ bao phủ chấp nhận được?
• Làm thế nào để xử lý các sửa đổi, giữ lại, xóa, và yêu cầu truy cập?
• Sự thay đổi nào trong hợp đồng nguồn hoặc người tiêu dùng kích hoạt một cuộc đánh giá mới?

Một thiết kế đã sẵn sàng cho một thử nghiệm giới hạn khi mọi câu trả lời đều có người sở hữu, tài nguyên đã được yêu cầu và các bản ghi dẫn xuất của nó có thể được kiểm tra, và người tiêu dùng có thể giải thích hành động nào theo sau mỗi kết quả. Hãy xem lại danh sách kiểm tra bất cứ khi nào hành vi của nguồn, độ bao phủ thị trường, cơ sở pháp lý, phân loại, mô hình, hoặc thẩm quyền quyết định thay đổi.

Kết luận: Một khuôn khổ là một hợp đồng hoạt động

Một khuôn khổ thu thập dữ liệu web điều phối công việc thu thập lặp lại, nhưng giá trị của nó đến từ các ranh giới rõ ràng. Các dự án mạnh tách biệt việc phát hiện, thu thập, xác minh trang, phân tích, xác thực, lưu trữ, và giao hàng. Họ chỉ chọn việc kết xuất trình duyệt nơi hành vi của trang yêu cầu và giữ đủ bằng chứng để giải thích mọi bản ghi đã phát hành.

Bước thực tiễn tiếp theo là một thử nghiệm hẹp: chọn một tài nguyên đã được yêu cầu và các bản ghi dẫn xuất của nó, thu thập bằng chứng tối thiểu, chuẩn hóa nó theo một lược đồ rõ ràng, xem xét kết quả với đội ngũ kỹ thuật hoặc phân tích, và chỉ mở rộng sau khi hồ sơ lỗi quan sát được phù hợp với dung sai của quyết định.

Tài liệu tham khảo

• Tài liệu hướng dẫn khởi đầu Scrapeless Agent Browser
• Tổng quan về sản phẩm Scrapeless Agent Browser
• Hướng dẫn Scrapeless về các phương pháp API thu thập dữ liệu web
• Các dự án mã nguồn mở Scrapeless trên GitHub