Giải pháp thu thập dữ liệu

Biến trang web thành kiến ​​thức liên kết nguồn

Thu thập nội dung website trong phạm vi xác định để xây dựng kho ngữ liệu huấn luyện, RAG, tìm kiếm tài liệu và nghiên cứu website định kỳ.

Khám phá API
CRAWLQUY TRÌNH MINH HỌA
Xem trước quy trình làm việc

Thu thập thông tin quy trình làm việc

Phạm vi trang web được phê duyệt
/guides/overview
/guides/getting-started
/reference/resources
Scoped collectionYour workflowSource context

Ví dụ minh họa · Không có bộ sưu tập trực tiếp nào đang chạy

  • Bắt đầu từ trang web

    Tổ chức bộ sưu tập xung quanh một miền hoặc các đường dẫn tài liệu đã chọn.

  • Giữ các định dạng có thể sử dụng được

    Chọn đầu ra được hỗ trợ phù hợp với quá trình xử lý tiếp theo của bạn.

  • Xây dựng bộ dữ liệu có thể theo dõi

    Giữ lại danh tính trang thông qua lọc, lập chỉ mục và làm mới.

Một giải pháp cho mọi nhóm Thu thập thông tin

Bắt đầu với công việc mà nhóm của bạn cần hoàn thành, sau đó xác định lớp thu thập hoặc lớp thực thi.

Chọn quy trình làm việc mà nhóm của bạn cần

Thu thập nội dung website trong phạm vi xác định để xây dựng kho ngữ liệu huấn luyện, RAG, tìm kiếm tài liệu và nghiên cứu website định kỳ.

Dữ liệu đào tạo AI

Thu thập thông tin các trang web đã được phê duyệt vào nội dung được liên kết với nguồn mà quy trình của bạn có thể lọc, loại bỏ trùng lặp và chuẩn bị cho việc đào tạo mô hình.

Dữ liệu kiến ​​thức RAG

Thu thập thông tin các trang web đã chọn vào nội dung mà quy trình truy xuất của bạn có thể phân đoạn, nhúng và làm mới bằng các trích dẫn có thể theo dõi.

Cơ sở tri thức doanh nghiệp

Thu thập tài liệu và tài nguyên công cộng trong phạm vi công ty, sau đó xem xét và sắp xếp nội dung phù hợp với nhu cầu thông tin của nhóm bạn.

Di chuyển nội dung và thu thập trang web

Thu thập thông tin các phần trang web đã được phê duyệt để nắm bắt nội dung trang, liên kết và siêu dữ liệu để lập bản đồ di chuyển và kiểm tra sau di chuyển.

Giám sát thay đổi toàn bộ trang web

Lặp lại thu thập thông tin trong phạm vi và so sánh ảnh chụp nhanh nội dung đã chuẩn hóa để phát hiện các nội dung bổ sung, xóa và các thay đổi có ý nghĩa trên trang.

Lập chỉ mục tài liệu

Thu thập thông tin các đường dẫn tài liệu đã chọn và duy trì ngữ cảnh trang để tìm kiếm nhận biết điều hướng và các tài liệu tham khảo kỹ thuật có thể khám phá.

Tập đoàn thông tin thị trường

Thu thập thông tin các trang web của công ty và ngành đã được phê duyệt để cung cấp cho các nhà phân tích một lượng tài liệu liên kết nguồn có thể so sánh được để nghiên cứu định kỳ.

Dữ liệu đào tạo đa phương thức

Thu thập ảnh chụp màn hình cùng với nội dung trang để xây dựng các bản ghi văn bản trực quan có thể theo dõi để nghiên cứu và đánh giá đa phương thức.

Cần thông số kỹ thuật thu thập thông tin và giá cả?

Xem lại thiết lập hiện tại, các tùy chọn được hỗ trợ và điều khoản tài khoản trước khi tích hợp.

Khám phá Crawl

Từ câu hỏi kinh doanh đến hành động

Xác định hợp đồng rõ ràng giữa đầu vào, khả năng của sản phẩm và kết quả có thể sử dụng được.

  1. 01

    Chọn nguồn và phạm vi

    Bắt đầu với một quyết định và các nguồn hoặc nhiệm vụ hỗ trợ nó.

  2. 02

    Thu thập các trang được kết nối

    Bộ sưu tập trang web đệ quy với các định dạng nội dung được hỗ trợ như Markdown, HTML, liên kết và ảnh chụp màn hình.

  3. 03

    Chuẩn hóa nội dung

    Quyền nguồn, phạm vi, lọc nội dung, lập phiên bản, lập chỉ mục và sử dụng mô hình xuôi dòng.

  4. 04

    Xây dựng hoặc làm mới tập dữ liệu

    Phạm vi trong phạm vi, tỷ lệ trùng lặp và chất lượng tài liệu được giữ lại.

Được xây dựng cho quy trình Thu thập thông tin đáng tin cậy

Biến bối cảnh bộ sưu tập và chất lượng kết quả trở thành một phần của thiết kế ngay từ lần chạy đầu tiên.

  • Hạt giống → phạm vi → trang

    Thu thập trong phạm vi xác định

    Sử dụng bộ sưu tập đệ quy cho các khu vực trang web được chọn. Bắt đầu với phạm vi nhỏ và xem xét các trang được phát hiện trước khi mở rộng thu thập thông tin.

  • Đánh dấu · HTML · liên kết

    Chọn các định dạng đầu ra hữu ích

    Thu thập thông tin hỗ trợ các định dạng nội dung bao gồm Markdown, HTML, liên kết và ảnh chụp màn hình. Chọn các định dạng được yêu cầu bởi ứng dụng tiêu dùng của bạn.

  • Trang → tài liệu → nguồn

    Giữ danh tính nguồn

    Liên kết từng tài liệu được giữ lại với URL của nó và nắm bắt ngữ cảnh. Sau đó, quy trình của bạn có thể duy trì phiên bản và trích dẫn liên kết nguồn.

  • Lọc → loại bỏ trùng lặp → xuất bản

    Chuẩn bị nội dung xuôi dòng

    Áp dụng tính năng chống trùng lặp, bộ lọc nội dung và kiểm tra chất lượng của riêng bạn trước khi lập chỉ mục hoặc đào tạo. Thu thập một trang là bước khởi đầu của việc chuẩn bị dữ liệu.

Câu hỏi thường gặp

Lập kế hoạch cho quy trình công việc đầu tiên với quyền sở hữu rõ ràng và tiêu chí chấp nhận có thể đo lường được.

Chúng ta nên bắt đầu với quy trình làm việc nào?

Chọn một trong các trường hợp sử dụng tập trung bên dưới phần tổng quan về nhóm. Xác định đầu vào, chủ sở hữu và tiêu chí chấp nhận, sau đó chạy một mẫu đại diện nhỏ.

Thu thập thông tin xử lý những gì?

Bộ sưu tập trang web đệ quy với các định dạng nội dung được hỗ trợ như Markdown, HTML, liên kết và ảnh chụp màn hình.

Những gì còn lại trong ứng dụng của chúng tôi?

Quyền nguồn, phạm vi, lọc nội dung, lập phiên bản, lập chỉ mục và sử dụng mô hình xuôi dòng.

Làm thế nào để chúng tôi lập kế hoạch chi phí và quy mô?

Tài liệu thu thập thông tin mô tả thời gian chạy của trình duyệt và lưu lượng proxy dưới dạng trình điều khiển chi phí. Phạm vi, nhu cầu kết xuất và định dạng đầu ra ảnh hưởng đến mức tiêu thụ.

Sử dụng Crawl để làm việc cho nhóm của bạn

Mang theo nguồn của bạn, công việc thu thập thông tin dự kiến ​​và tiêu chí chấp nhận. Bắt đầu với một thí điểm tập trung, sau đó mở rộng bằng chứng.

Cố gắng miễn phí
Khám phá quy trình làm việc