Thu thập dữ liệu web thông minh ở quy mô lớn
Theo các liên kết trên website, xử lý hàng loạt URL và chọn định dạng đầu ra phù hợp với quy trình của bạn.
Đưa dữ liệu web vào huấn luyện AI, phân tích thị trường và ra quyết định kinh doanh.
Từ các trang được liên kết đến nội dung có thể sử dụng
Ví dụ minh họa · Không có hoạt động thu thập dữ liệu trực tiếp nào đang chạy
Bắt đầu với những URL bạn có
Đã biết tất cả các trang? Gửi một lô URL. Cần khám phá thêm? Bắt đầu thu thập dữ liệu và theo các liên kết.
Node.js · @scrapeless-ai/sdk
import { ScrapingCrawl } from "@scrapeless-ai/sdk";
const client = new ScrapingCrawl({
apiKey: "YOUR_API_KEY",
});
const result = await client.scrapeUrl(
"https://example.com",
{
formats: ["markdown", "html", "links"],
onlyMainContent: true,
timeout: 15000,
}
);
console.log(result);npm install @scrapeless-ai/sdk
Một trang. Đúng nội dung bạn cần.
Cung cấp URL và chọn định dạng. Cấu hình trích xuất nội dung chính và thời gian chờ điều hướng cho trang.
Danh sách URL của bạn. Một lô xử lý.
Truyền danh sách URL đã biết trong một lần gọi SDK. Áp dụng chung các thiết lập trích xuất cho toàn bộ lô.
Một điểm khởi đầu. Khám phá thêm nhiều trang.
Theo các trang được liên kết từ URL ban đầu. Đặt giới hạn số trang, chọn định dạng và thu thập nội dung website.
Lớp truy cập được tích hợp sẵn
Theo dõi liên kết và kiểm soát phạm vi
Thu thập dữ liệu website, trong giới hạn do bạn đặt ra.
Chọn URL ban đầu và giới hạn số trang. Theo mặc định, chỉ theo các liên kết trong cấu trúc phân cấp của URL đó; bật liên kết ngược khi cần truy cập ra ngoài cấu trúc này.
Chọn định dạng phù hợp với quy trình làm việc của bạn
A guide to better web data
Make web content useful for your application.
{
"metadata": {
"title": "A guide to better web data",
"description": "Make web content useful for your application."
},
"markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
"html": "<!doctype html>\n<html lang=\"en\">\n<head>\n <title>A guide to better web data</title>\n <meta name=\"description\"\n content=\"Make web content useful for your application.\">\n</head>\n<body>\n <main>\n <h1>A guide to better web data</h1>\n <p>Make web content useful for your application.</p>\n <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n </main>\n</body>\n</html>",
"links": [
"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
]
}Muốn khám phá các đầu ra khác nhau? Chuyển đổi định dạng để xem trước cách cùng một trang web được trình bày dưới dạng Markdown, HTML, JSON và nhiều định dạng khác.
Giảm điều phối, tập trung xây dựng
Từ mục tiêu đến kết quả chỉ trong ba bước đơn giản, với SDK xử lý việc gửi tác vụ và thăm dò trạng thái.
Truy cập một trang
Chọn một trang, danh sách URL hoặc website. Chọn định dạng đầu ra và các tùy chọn trình duyệt.
Để tác vụ chạy
API hoạt động bất đồng bộ. SDK xử lý việc gửi tác vụ và thăm dò trạng thái cho bạn.
Sử dụng kết quả
Đọc dữ liệu trả về. Khi thu thập dữ liệu website, hãy kiểm tra trạng thái và lỗi của từng trang trước khi xử lý tiếp.
Đưa nội dung web vào sử dụng
Bắt đầu với những quy trình này, rồi khám phá thêm cách sử dụng Crawl.
Dữ liệu và kho ngữ liệu huấn luyện AI
Thu thập và cấu trúc hóa nội dung web để huấn luyện mô hình AI.
Dữ liệu tri thức cho RAG
Chuẩn bị nội dung web cho tạo sinh tăng cường truy xuất.
Cơ sở tri thức doanh nghiệp
Tổ chức nội dung web thành tri thức doanh nghiệp có thể tái sử dụng.
Thêm nguồn dữ liệu. Thêm quy trình. Tìm trường hợp sử dụng tiếp theo của bạn.
Khám phá thêm