Loading Light/Dark Toggle
CRAWL

Thu thập dữ liệu web thông minh ở quy mô lớn

Theo các liên kết trên website, xử lý hàng loạt URL và chọn định dạng đầu ra phù hợp với quy trình của bạn.

Đưa dữ liệu web vào huấn luyện AI, phân tích thị trường và ra quyết định kinh doanh.

  • Thu thập dữ liệu website đệ quy
  • Xử lý URL hàng loạt
  • Tích hợp giải CAPTCHA
  • Nhiều định dạng đầu ra
example.com

Từ các trang được liên kết đến nội dung có thể sử dụng

Khám phá các trang được liên kết
Trích xuất nội dung trang hàng loạt
getting-started.md
guides.md
reference.md
Chọn định dạng đầu ra

Ví dụ minh họa · Không có hoạt động thu thập dữ liệu trực tiếp nào đang chạy

Được các nhóm phân tích thương mại điện tử, giám sát giá và phân tích thương hiệu tin dùng

Bắt đầu với những URL bạn có

Đã biết tất cả các trang? Gửi một lô URL. Cần khám phá thêm? Bắt đầu thu thập dữ liệu và theo các liên kết.

Node.js · @scrapeless-ai/sdk

npm install @scrapeless-ai/sdk

Một trang. Đúng nội dung bạn cần.

Cung cấp URL và chọn định dạng. Cấu hình trích xuất nội dung chính và thời gian chờ điều hướng cho trang.

Đọc hướng dẫn cho một trang

Danh sách URL của bạn. Một lô xử lý.

Truyền danh sách URL đã biết trong một lần gọi SDK. Áp dụng chung các thiết lập trích xuất cho toàn bộ lô.

Đọc hướng dẫn xử lý hàng loạt

Một điểm khởi đầu. Khám phá thêm nhiều trang.

Theo các trang được liên kết từ URL ban đầu. Đặt giới hạn số trang, chọn định dạng và thu thập nội dung website.

Đọc hướng dẫn thu thập dữ liệu website

Lớp truy cập được tích hợp sẵn

Theo dõi liên kết và kiểm soát phạm vi

Phạm vi thu thập dữ liệuexample.com/docs/
/docs/introductionTrong phạm vi
/docs/quickstartTrong phạm vi
/docs/referenceTrong phạm vi
/blog/latestNgoài cấu trúc phân cấp
limit: 100allowBackwardLinks: false

Thu thập dữ liệu website, trong giới hạn do bạn đặt ra.

Chọn URL ban đầu và giới hạn số trang. Theo mặc định, chỉ theo các liên kết trong cấu trúc phân cấp của URL đó; bật liên kết ngược khi cần truy cập ra ngoài cấu trúc này.

Khám phá cấu hình thu thập dữ liệu

Chọn định dạng phù hợp với quy trình làm việc của bạn

source/example.com

A guide to better web data

Make web content useful for your application.

Read the docs
{
  "metadata": {
    "title": "A guide to better web data",
    "description": "Make web content useful for your application."
  },
  "markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
  "html": "<!doctype html>\n<html lang=\"en\">\n<head>\n  <title>A guide to better web data</title>\n  <meta name=\"description\"\n        content=\"Make web content useful for your application.\">\n</head>\n<body>\n  <main>\n    <h1>A guide to better web data</h1>\n    <p>Make web content useful for your application.</p>\n    <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n  </main>\n</body>\n</html>",
  "links": [
    "https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
  ]
}

Muốn khám phá các đầu ra khác nhau? Chuyển đổi định dạng để xem trước cách cùng một trang web được trình bày dưới dạng Markdown, HTML, JSON và nhiều định dạng khác.

Giảm điều phối, tập trung xây dựng

Từ mục tiêu đến kết quả chỉ trong ba bước đơn giản, với SDK xử lý việc gửi tác vụ và thăm dò trạng thái.

01

Truy cập một trang

Chọn một trang, danh sách URL hoặc website. Chọn định dạng đầu ra và các tùy chọn trình duyệt.

02

Để tác vụ chạy

API hoạt động bất đồng bộ. SDK xử lý việc gửi tác vụ và thăm dò trạng thái cho bạn.

03

Sử dụng kết quả

Đọc dữ liệu trả về. Khi thu thập dữ liệu website, hãy kiểm tra trạng thái và lỗi của từng trang trước khi xử lý tiếp.

Đưa nội dung web vào sử dụng

Bắt đầu với những quy trình này, rồi khám phá thêm cách sử dụng Crawl.

Thêm nguồn dữ liệu. Thêm quy trình. Tìm trường hợp sử dụng tiếp theo của bạn.

Khám phá thêm

Giá theo mức sử dụng, linh hoạt theo quy mô của bạn

Sử dụng trả trước hàng tháng – Mức cơ bản: $0.09/giờ – được giảm giá theo bậc đăng ký bên dưới.
Crawl

Câu hỏi thường gặp

Tôi nên sử dụng chế độ nào?

Sử dụng trích xuất một trang cho một URL, trích xuất hàng loạt cho danh sách đã biết và thu thập dữ liệu website để khám phá các trang được liên kết.

Tôi có cần tự tạo vòng lặp thăm dò trạng thái không?

Không cần khi sử dụng SDK: SDK xử lý việc thăm dò và trả về dữ liệu khi tác vụ hoàn tất. Khi gọi API trực tiếp, hãy khởi chạy tác vụ rồi kiểm tra trạng thái cho đến khi hoàn tất.

Tôi có thể chỉ lấy nội dung chính không?

Có. Cấu hình onlyMainContent cùng với định dạng đầu ra và thời gian chờ mong muốn.

Quá trình thu thập dữ liệu có theo mọi liên kết không?

Theo mặc định, quá trình thu thập dữ liệu chỉ nằm trong cấu trúc phân cấp của URL ban đầu. Cấu hình allowBackwardLinks để bao gồm liên kết bên ngoài cấu trúc đó và dùng limit để giới hạn số trang.

Tác vụ hoàn tất có nghĩa là mọi trang đều thành công không?

Không. Mỗi trang trong quá trình thu thập dữ liệu có thể hoàn tất hoặc thất bại và có thông tin lỗi riêng. Hãy kiểm tra từng kết quả trước khi sử dụng.

Crawl được tính phí như thế nào?

Crawl tính phí dựa trên thời gian chạy trình duyệt và lưu lượng proxy, từ $0.09 mỗi giờ cộng $1.80 mỗi GB. Trang lớn hơn và phiên dài hơn có thể làm tăng mức tiêu thụ.

Khi nào tôi nên sử dụng Agent Browser?

Sử dụng Agent Browser khi cần điều khiển trực tiếp bằng Puppeteer hoặc Playwright trong quy trình tự động hóa phức tạp. Crawl cung cấp giao diện trích xuất ở cấp độ cao hơn.

Biến website thành dữ liệu với Crawl

Bắt đầu với một trang, một lô URL hoặc một website.

Đọc tài liệu