Phi công
Xác thực một quy trình công việc
Chạy mẫu nguồn đại diện và kiểm tra cả kết quả có thể sử dụng và ngoại lệ. Thống nhất các tiêu chí chấp nhận trước khi mở rộng.
Thu thập thông tin/lập chỉ mục tài liệu
Biến các trang tài liệu thành nguồn tài liệu có thể tìm kiếm được
Thu thập thông tin các đường dẫn tài liệu đã chọn và duy trì ngữ cảnh trang để tìm kiếm nhận biết điều hướng và các tài liệu tham khảo kỹ thuật có thể khám phá.
- Chọn đường dẫn và phiên bản tài liệu
- Thu thập nội dung và liên kết nội bộ
- Xây dựng và đánh giá chỉ mục tìm kiếm xuôi dòng
Phạm vi
Xác định ranh giới trang web
đệ quy
Thu thập các trang được kết nối
Định dạng
Chọn đầu ra được hỗ trợ
Nguồn
Giữ nguồn gốc cấp trang
Ai sử dụng Lập chỉ mục tài liệu
Thu thập thông tin các đường dẫn tài liệu đã chọn và duy trì ngữ cảnh trang để tìm kiếm nhận biết điều hướng và các tài liệu tham khảo kỹ thuật có thể khám phá.
01
Kinh nghiệm của nhà phát triển
Xác định câu hỏi kinh doanh và xem xét các bằng chứng thu thập được.
02
Nhóm tài liệu
Sử dụng quy trình lặp lại để so sánh các quan sát quan trọng.
03
Kỹ sư tìm kiếm
Kết nối đầu vào đáng tin cậy với sản phẩm hoặc quy trình nghiên cứu.
04
Chủ sở hữu tích hợp
Ánh xạ đầu ra nguồn vào ứng dụng hiện có của bạn và xác thực các trường bắt buộc.
05
Toán tử quy trình công việc
Theo dõi các trường hợp ngoại lệ, duy trì bối cảnh thu thập và xem xét các lần chạy chưa hoàn tất.
Tại sao quy trình công việc này bị gián đoạn ở quy mô lớn
Thiết kế xung quanh các phương thức sai sót ảnh hưởng đến kết quả kinh doanh có thể sử dụng được.
Vấn đề 01
Bối cảnh bị mất
Việc trộn lẫn tài liệu cũ và hiện tại có thể tạo ra các hướng dẫn sai. Giữ nguyên bối cảnh phiên bản và phần trong chỉ mục tìm kiếm.
Giữ các quan sát có thể so sánhVấn đề 02
Một cuộc chạy kết thúc mà không có kết quả có thể sử dụng được
Quá trình thu thập thông tin hoàn tất vẫn có thể bỏ qua các đường dẫn quan trọng hoặc bao gồm các đường dẫn không liên quan. Điều chỉnh các trang được phát hiện với phạm vi và mức độ mong đợi.
Xác thực kết quả thực tếVấn đề 03
Đội tiếp theo không thể xác minh kết quả
Bảo tồn bối cảnh nguồn và bằng chứng có thể xem xét cùng với kết quả. Xác định người xử lý hồ sơ chưa đầy đủ trước khi thu thập sản xuất.
Làm cho quá trình chuyển giao có thể theo dõi đượcDữ liệu quy trình làm việc của bạn có thể sử dụng
Giữ lớp thu thập và hồ sơ kinh doanh chuẩn hóa được xác định rõ ràng.
- document_url
- Tham chiếu nguồn hoặc đích được giữ lại để truy xuất nguồn gốc.
- heading
- Văn bản được giữ lại từ tiêu đề nguồn có liên quan.
- version
- Bối cảnh phiên bản được liên kết với tài liệu được giữ lại.
- link_targets
- Các tài liệu tham khảo nguồn có sẵn được giữ lại cùng với quan sát.
BẢN GHI CHUẨN HÓA · MINH HỌA
{
"document_url": "https://example.com/public-source",
"heading": "Example public resource",
"version": "v1",
"link_targets": [
"https://example.com/source"
]
}Bản ghi xuôi dòng được đề xuất, không phải phản hồi API Scrapeless theo nghĩa đen. Trích xuất và chuẩn hóa trường thuộc về ứng dụng của bạn.
Bộ sưu tập trang web đệ quy với các định dạng nội dung được hỗ trợ như Markdown, HTML, liên kết và ảnh chụp màn hình.
Ví dụ trong thực tế. Lập chỉ mục phần tài liệu SDK đã được phiên bản với các liên kết quay lại từng trang nguồn.
Quy trình làm việc này diễn ra như thế nào
Một trình tự tập trung từ đầu vào được phê duyệt đến kết quả được xác minh.
- 01
Chọn đường dẫn và phiên bản tài liệu
Bắt đầu với: Nguồn gốc tài liệu, đường dẫn phiên bản và quy tắc đưa vào. Xác định kết quả có thể sử dụng tối thiểu trước khi thu thập.
- 02
Thu thập nội dung và liên kết nội bộ
Bộ sưu tập trang web đệ quy với các định dạng nội dung được hỗ trợ như Markdown, HTML, liên kết và ảnh chụp màn hình. Ghi lại các lỗi và kết quả một phần riêng biệt.
- 03
Xây dựng và đánh giá chỉ mục tìm kiếm xuôi dòng
Phạm vi trong phạm vi, tỷ lệ trùng lặp và chất lượng tài liệu được giữ lại. Giữ lại bằng chứng cho các hồ sơ bước vào giai đoạn tiếp theo.
Được xây dựng theo cách nhóm của bạn làm việc
Khả năng của sản phẩm hỗ trợ quy trình làm việc; ứng dụng của bạn xác định ý nghĩa của thành công.
- Hạt giống → phạm vi → trang
Thu thập trong phạm vi xác định
Sử dụng bộ sưu tập đệ quy cho các khu vực trang web được chọn. Bắt đầu với phạm vi nhỏ và xem xét các trang được phát hiện trước khi mở rộng thu thập thông tin.
- Đánh dấu · HTML · liên kết
Chọn các định dạng đầu ra hữu ích
Thu thập thông tin hỗ trợ các định dạng nội dung bao gồm Markdown, HTML, liên kết và ảnh chụp màn hình. Chọn các định dạng được yêu cầu bởi ứng dụng tiêu dùng của bạn.
- Trang → tài liệu → nguồn
Giữ danh tính nguồn
Liên kết từng tài liệu được giữ lại với URL của nó và nắm bắt ngữ cảnh. Sau đó, quy trình của bạn có thể duy trì phiên bản và trích dẫn liên kết nguồn.
- Lọc → loại bỏ trùng lặp → xuất bản
Chuẩn bị nội dung xuôi dòng
Áp dụng tính năng chống trùng lặp, bộ lọc nội dung và kiểm tra chất lượng của riêng bạn trước khi lập chỉ mục hoặc đào tạo. Thu thập một trang là bước khởi đầu của việc chuẩn bị dữ liệu.
Lập kế hoạch chi phí cho quy trình làm việc của bạn
Tài liệu thu thập thông tin mô tả thời gian chạy của trình duyệt và lưu lượng proxy dưới dạng trình điều khiển chi phí. Phạm vi, nhu cầu kết xuất và định dạng đầu ra ảnh hưởng đến mức tiêu thụ.
Dùng thử miễn phí
Sản xuất
Đo lường mức tiêu thụ thực tế
Phạm vi trong phạm vi, tỷ lệ trùng lặp và chất lượng tài liệu được giữ lại.
Tỉ lệ
Phạm vi giai đoạn tiếp theo
Đưa ra sự kết hợp khối lượng công việc, thời gian vận hành và mức tiêu thụ quan sát được để thảo luận về cách thiết lập phù hợp với yêu cầu của bạn.
Đây là các giai đoạn khối lượng công việc, không có gói đăng ký được đặt tên. Tỷ giá hiện tại và giới hạn tài khoản được áp dụng.
Chọn cách chạy quy trình làm việc
So sánh trách nhiệm và nỗ lực điều hành bằng cách sử dụng khối lượng công việc đại diện của riêng bạn.
Trách nhiệm quy trình làm việc
Với thu thập thông tin
Ngăn xếp tự quản lý
Quy trình thủ công
Thi hành
Thu thập website trong phạm vi xác định
Nhóm của bạn điều hành và duy trì lớp thực thi.
Người vận hành lặp lại từng bước thu thập hoặc trình duyệt.
Quy tắc kinh doanh
Quyền nguồn, phạm vi, lọc nội dung, lập phiên bản, lập chỉ mục và sử dụng mô hình xuôi dòng.
Thực hiện trong ứng dụng của bạn.
Được áp dụng bởi nhà nghiên cứu hoặc nhà điều hành.
Chấp nhận
Giữ kết quả và nội dung kiểm tra trong quy trình làm việc của bạn.
Xây dựng xác nhận và xử lý ngoại lệ.
Xem lại các bằng chứng thu được.
Lập kế hoạch chi phí
Đo mức tiêu thụ sản phẩm cộng với quá trình xử lý tiếp theo.
Đo lường cơ sở hạ tầng và nỗ lực bảo trì.
Tính toán thời gian dành cho mỗi nhiệm vụ đã hoàn thành.
Kết nối nó với ngăn xếp bạn đã chạy
Giữ logic kinh doanh và phân tích gần gũi với các hệ thống sử dụng kết quả.
Python
Node.js
Go
Đường dẫn tìm kiếm hoặc RAG của bạn
Quyền nguồn, phạm vi, lọc nội dung, lập phiên bản, lập chỉ mục và sử dụng mô hình xuôi dòng. Mở tài liệu sản phẩm để biết các tùy chọn cài đặt hiện tại và được hỗ trợ.
Khám phá thêm quy trình công việc Crawl
Các quy trình công việc liên quan sử dụng cùng một sản phẩm, mỗi quy trình có đầu vào và tiêu chí chấp nhận riêng.
Dữ liệu đào tạo AI
Thu thập thông tin các trang web đã được phê duyệt vào nội dung được liên kết với nguồn mà quy trình của bạn có thể lọc, loại bỏ trùng lặp và chuẩn bị cho việc đào tạo mô hình.
Dữ liệu kiến thức RAG
Thu thập thông tin các trang web đã chọn vào nội dung mà quy trình truy xuất của bạn có thể phân đoạn, nhúng và làm mới bằng các trích dẫn có thể theo dõi.
Cơ sở tri thức doanh nghiệp
Thu thập tài liệu và tài nguyên công cộng trong phạm vi công ty, sau đó xem xét và sắp xếp nội dung phù hợp với nhu cầu thông tin của nhóm bạn.
Di chuyển nội dung và thu thập trang web
Thu thập thông tin các phần trang web đã được phê duyệt để nắm bắt nội dung trang, liên kết và siêu dữ liệu để lập bản đồ di chuyển và kiểm tra sau di chuyển.
Giám sát thay đổi toàn bộ trang web
Lặp lại thu thập thông tin trong phạm vi và so sánh ảnh chụp nhanh nội dung đã chuẩn hóa để phát hiện các nội dung bổ sung, xóa và các thay đổi có ý nghĩa trên trang.
Bạn đang ở đây
Lập chỉ mục tài liệu
Thu thập thông tin các đường dẫn tài liệu đã chọn và duy trì ngữ cảnh trang để tìm kiếm nhận biết điều hướng và các tài liệu tham khảo kỹ thuật có thể khám phá.
Tập đoàn thông tin thị trường
Thu thập thông tin các trang web của công ty và ngành đã được phê duyệt để cung cấp cho các nhà phân tích một lượng tài liệu liên kết nguồn có thể so sánh được để nghiên cứu định kỳ.
Dữ liệu đào tạo đa phương thức
Thu thập ảnh chụp màn hình cùng với nội dung trang để xây dựng các bản ghi văn bản trực quan có thể theo dõi để nghiên cứu và đánh giá đa phương thức.
Đang tìm kiếm thêm quy trình công việc Crawl?
Khám phá thêm các trường hợp sử dụng trên dữ liệu đào tạo, RAG, tìm kiếm tài liệu và nghiên cứu trang web.
Các câu hỏi mà nhóm đặt ra trước khi xây dựng
Phạm vi lần chạy đầu tiên với những kỳ vọng rõ ràng.
Chúng ta cần gì để bắt đầu?
Thu thập thông tin cung cấp những gì?
Những phần nào chúng ta tự xây dựng?
Điều gì có thể làm cho quy trình làm việc này gây hiểu lầm?
Những ranh giới nào chúng ta nên lập kế hoạch xung quanh?
Chúng ta nên đánh giá một phi công như thế nào?
Sử dụng Crawl để làm việc cho nhóm của bạn
Mang theo nguồn của bạn, công việc thu thập thông tin dự kiến và tiêu chí chấp nhận. Bắt đầu với một thí điểm tập trung, sau đó mở rộng bằng chứng.