Crawlee là gì?

Scrapeless Agent Browser cung cấp hạ tầng trình duyệt từ xa cho các quy trình tự động hóa cần render JavaScript.

Crawlee là một thư viện crawling và web scraping mã nguồn mở với các bản triển khai bằng JavaScript và Python. Nó tổ chức các tác vụ như xử lý URL, lựa chọn thực thi bằng HTTP hay dựa trên trình duyệt, trích xuất bản ghi và lưu kết quả. Một crawler framework điều phối công việc trên nhiều trang; nó khác với cả engine trình duyệt lẫn hạ tầng lưu trữ trình duyệt đó.

Sự phân biệt này trở nên hữu ích ngay khi một script có nhiều việc hơn một lần truy cập trang. Bạn cần biết URL nào thuộc về job, URL nào đã được xử lý, và mỗi kết quả sẽ được lưu ở đâu. Crawlee cung cấp các thành phần cho việc điều phối đó, trong khi các handler của bạn vẫn quyết định thế nào là một bản ghi hợp lệ.

Crawlee bổ sung gì so với một script xử lý một trang

Crawlee bổ sung việc điều phối crawl xung quanh đoạn mã fetch hoặc mở một trang. Kiến trúc crawler framework của nó bao gồm lưu trữ request, lưu trữ kết quả, quản lý trình duyệt và lập lịch dựa trên tài nguyên. Các class và tùy chọn cụ thể phụ thuộc vào bản triển khai ngôn ngữ và phiên bản mà bạn dùng.

Một script độc lập có thể mở một URL và in ra tiêu đề. Một phiên crawl còn phải quản lý các quyết định xung quanh: URL đến từ đâu, có nên truy cập hay không, handler nào sẽ xử lý nó, và kết quả của nó liên quan thế nào tới phần còn lại của dataset. Những mối quan tâm đó vẫn tồn tại ngay cả khi bản thân trang rất dễ phân tích.

Đừng hiểu tự động hóa của framework như một đặc tả trích xuất hoàn chỉnh. Crawlee không biết mức giá nào thuộc về sản phẩm bạn muốn đo hay một kết quả trống có hợp lệ hay không. Ứng dụng của bạn cần các selector hoặc quy tắc phân tích rõ ràng, các trường bắt buộc và một điều kiện hoàn thành phù hợp với tác vụ dữ liệu.

Request Queue xác định vùng biên

Một request queue thể hiện phần công việc đang chờ xử lý và giúp một phiên crawl theo dõi tiến độ. Nó là vùng biên giữa các URL đã được phát hiện và đã xử lý xong, chứ không phải dataset cuối cùng.

Danh tính URL cần được chú ý. Các URL khác nhau có thể chỉ tới cùng một nội dung khi có tham số theo dõi hoặc các tuyến đường thay thế. Ngược lại, một query parameter có thể chọn ngôn ngữ, danh mục hoặc trang kết quả khác. Hãy xác định phần nào của URL làm thay đổi nội dung được yêu cầu trước khi bạn chuẩn hóa hoặc loại trùng nó.

Tách riêng việc khám phá phạm vi khỏi việc trích xuất. Một trang danh mục có thể khám phá các liên kết sản phẩm, trong khi các handler sản phẩm thu thập bản ghi chi tiết. Giới hạn khám phá vào các host và path dự định để các liên kết điều hướng không kéo các trang tài khoản, hỗ trợ hoặc tìm kiếm không liên quan vào job.

Với một phiên crawl catalog có giới hạn, hãy xác định một họ URL được phép và phạm vi job tối đa. Khi hàng đợi không còn công việc được phép nào nữa, hãy đánh giá mức độ đầy đủ của đầu ra so với danh mục dự định. Một hàng đợi cạn kiệt tự thân nó không chứng minh được tính đầy đủ nếu các quy tắc khám phá đã loại trừ các trang hợp lệ.

HTTP Crawling và Browser Crawling có chi phí khác nhau

HTTP crawling phù hợp với nội dung có sẵn trong response, trong khi browser crawling phù hợp với nội dung cần thực thi hoặc tương tác trên trang. Hãy bắt đầu bằng cách kiểm tra cách thông tin cần thiết đến được trang.

Một HTTP crawler có thể lấy HTML và phân tích nó mà không cần tạo trình duyệt. Nếu các giá trị mong muốn có mặt trong response đó, bạn tránh được công việc render. Nếu ứng dụng xây dựng bản ghi của nó thông qua JavaScript sau khi tải, một trình duyệt có thể là cần thiết để tái hiện trạng thái hiển thị.

Ngữ nghĩa HTTP request và response xác định hành vi truyền tải, nhưng một response thành công không phải là lời hứa về các bản ghi có thể dùng được. Hãy xác thực kiểu nội dung, danh tính trang như mong đợi và các trường bắt buộc trước khi chấp nhận kết quả.

Một phiên crawl hỗn hợp có thể dùng các handler khác nhau cho từng loại trang. Giữ hợp đồng đầu ra nhất quán khi các bản ghi thể hiện cùng một thực thể, nhưng vẫn bảo toàn thông tin nguồn gốc để bạn có thể giải thích đường đi đã tạo ra mỗi giá trị.

Request Handler chuyển đổi trang thành bản ghi

Một request handler là bước đặc thù của ứng dụng dùng để diễn giải một response hoặc một trang trong trình duyệt. Nó nên kết nối danh tính trang với bản ghi bạn lưu trữ.

Với một tác vụ sản phẩm, hãy bắt đầu bằng cách xác nhận rằng trang cuối cùng vẫn thể hiện đúng sản phẩm dự định. Sau đó tìm vị trí các trường liên quan và quyết định cách biểu diễn các giá trị thiếu. Một số 0 được hiển thị, một mức giá vắng mặt và một lỗi phân tích không nên âm thầm trở thành cùng một giá trị.

Thiết kế handler xoay quanh vai trò trang. Các trang listing khám phá chi tiết; các trang chi tiết trích xuất thực thể; các trang hỗ trợ có thể cung cấp metadata. Các vai trò riêng biệt giúp bạn dễ thấy một job thất bại trong giai đoạn khám phá hay trong giai đoạn trích xuất.

Trong các browser handler, hãy chờ các điều kiện ứng dụng có ý nghĩa. Một sự kiện điều hướng có thể xảy ra trước khi bản ghi được render, và một container có thể hiển thị trong khi nội dung bên trong vẫn đang tải. Điều kiện nên phản ánh dữ liệu mà handler sắp đọc.

Lưu trữ tập dữ liệu tách biệt với tiến trình thu thập

Lưu trữ kết quả giữ đầu ra đã trích xuất, trong khi lưu trữ yêu cầu theo dõi công việc. Giữ các trách nhiệm đó tách biệt giúp bạn kiểm tra các job chưa hoàn thành và tránh nhầm một URL đã truy cập với một bản ghi hợp lệ.

Hãy chọn một schema trước khi thu thập một mẫu lớn. Bao gồm một định danh thực thể ổn định khi có, URL nguồn và các trường mà quy trình phía sau thực sự cần. Lưu thời điểm trích xuất khi tính mới quan trọng, và phân biệt giá trị gốc với giá trị đã chuẩn hóa nếu việc chuẩn hóa có thể che khuất ngữ cảnh hữu ích.

Một tập dữ liệu có thể chứa thực thể trùng lặp khi quá trình khám phá đi tới cùng một mục qua nhiều danh mục. Hãy coi khử trùng lặp thực thể là một quyết định dữ liệu riêng thay vì giả định khử trùng lặp hàng đợi đã giải quyết nó. Tính duy nhất của URL và tính duy nhất của thực thể kinh doanh là những yêu cầu khác nhau.

Hãy kiểm tra trực tiếp đầu ra đã lưu trữ. Một handler chạy đến cuối mà không phát sinh ngoại lệ vẫn có thể tạo ra các trường trống hoặc sai tiêu đề trang. Xác định các kiểm tra chấp nhận cho số lượng bản ghi khi hợp lý, mức độ bao phủ của các trường bắt buộc và một mẫu đối chiếu từ nguồn sang bản ghi.

Phiên và Giới Hạn Tài Nguyên Cần Chính Sách Rõ Ràng

Một quá trình crawl cần một chính sách trạng thái và một chính sách tài nguyên vì hành vi trang và năng lực trình duyệt thay đổi cách có thể lập lịch công việc. Hãy chọn các chính sách đó xoay quanh quy trình mục tiêu thay vì mong muốn chung là tối đa hóa số yêu cầu đồng thời.

Trạng thái ảnh hưởng đến nội dung. Mô hình cookie trình duyệt có thể giữ lại các ưu tiên ngôn ngữ, quyết định đồng ý hoặc định danh tài khoản. Hãy quyết định liệu mỗi tác vụ nên dùng môi trường mới hay tiếp tục một danh tính đã được ủy quyền, và ngăn các job không liên quan thừa hưởng danh tính đó.

Giới hạn tài nguyên nên phản ánh đường thực thi. Các trang trình duyệt tiêu thụ tổ hợp bộ nhớ và CPU khác với việc phân tích HTML. Đo một khối lượng công việc đại diện, rồi đặt mức đồng thời và giới hạn job có biên để chất lượng đầu ra vẫn có thể quan sát được.

Dừng tại các ranh giới truy cập đòi hỏi cấp phép hoặc hành động của con người. Cấu hình crawl không phải là sự ủy quyền để thu thập thông tin bị hạn chế. Giữ quá trình crawl trong phạm vi công khai hoặc đã được cấp phép dự kiến, và tối thiểu hóa dữ liệu tài khoản hoặc dữ liệu cá nhân được giữ lại.

Cách Crawlee Liên Quan Đến Hạ Tầng Trình Duyệt Từ Xa

Crawlee điều phối việc crawl, trong khi một dịch vụ trình duyệt từ xa lưu trữ quá trình thực thi trình duyệt. Hai lớp này có thể được đánh giá tách biệt ngay cả khi một quy trình làm việc cần cả hai.

Scrapeless Agent Browser cung cấp một môi trường trình duyệt được quản lý, và giao diện kết nối Puppeteer tài liệu hóa một cách để client điều khiển môi trường đó. Một triển khai Crawlee cần cấu hình pool trình duyệt tương thích và quyền sở hữu rõ ràng đối với kết nối từ xa.

Nếu một kiến trúc đề xuất sử dụng Crawlee và một trình duyệt được lưu trữ, hãy xác minh đường kết nối cụ thể, quyền sở hữu ngữ cảnh và hành vi dọn dẹp trong một bài kiểm thử tích hợp riêng. Hàng đợi của crawler nên vẫn chịu trách nhiệm về công việc, trong khi vòng đời trình duyệt nên vẫn chịu trách nhiệm về tài nguyên thực thi.

Sự tách biệt này cũng được giải thích trong thảo luận về trình duyệt được quản lý trong Node.js. Hãy xem lại các gói Scrapeless đối chiếu với phần khối lượng công việc thuộc về trình duyệt; lưu trữ của framework và xử lý ứng dụng vẫn là các mối quan tâm vận hành riêng.

Kết luận

Crawlee tổ chức công việc xoay quanh việc scraping: khám phá URL, xử lý đúng loại trang, trích xuất bản ghi đã định nghĩa và lưu trữ kết quả. Các quyết định thiết kế chính là phạm vi crawl, chế độ thực thi, quyền sở hữu trạng thái và kiểm định đầu ra. Hãy bắt đầu với một mẫu có giới hạn và kiểm tra các bản ghi của nó trước khi mở rộng quá trình crawl.