C++ Thu Thập Dữ Liệu Web: Hướng Dẫn Thực Tế cho Các Dự Án Quan Trọng Về Hiệu Suất
Expert Network Defense Engineer
TL;DR:
- C++ là một parser thu thập dữ liệu tuyệt vời và là một client thu thập dữ liệu vụng về. libxml2 phân tích HTML ở tốc độ gốc, nhưng việc viết rà soát dấu vân tay TLS, xoay vòng proxy và kết xuất JavaScript bằng C++ là một dự án riêng biệt.
- Chia nhỏ công việc: để cho một API kết xuất lấy dữ liệu, cho C++ phân tích. libcurl gửi URL mục tiêu đến Scrapeless Universal Scraping API, cái trả về HTML đã kết xuất; libxml2 + XPath thực hiện việc lấy dữ liệu nhanh chóng tại chỗ.
js_render: truelà điều biến một trang trắng thành dữ liệu. Nhiều trang web xây dựng nội dung của họ bằng JavaScript; API thực thi nó ở phía máy chủ để mã C++ của bạn nhận được DOM hoàn chỉnh, không phải một vỏ rỗng.- Toàn bộ client là hai thư viện mà bạn đã biết. libcurl cho HTTP POST, libxml2 cho HTML + XPath — không cần trình duyệt không giao diện để nhúng, không cần duy trì một khối chống bot trong C++.
- Nó thực sự nhỏ gọn. Chương trình hoàn chỉnh bên dưới biên dịch với một dòng
g++và đã chạy trực tiếp: HTTP 200, 51 KB HTML đã kết xuất, 20 tiêu đề sản phẩm đã phân tích. - Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm thời gian chạy miễn phí — đăng ký tại app.scrapeless.com.
Giới thiệu: nơi C++ phù hợp trong việc thu thập dữ liệu
C++ xuất hiện trong thu thập dữ liệu vì một lý do: tốc độ. Khi bạn đang phân tích hàng triệu trang, libxml2 hoạt động thông qua HTML ở tốc độ gốc tốt hơn nhiều so với một trình phân tích diễn dịch. Vấn đề là mọi thứ trước khi phân tích. Các mục tiêu hiện đại chặn quyền truy cập thông qua ráo vân tay TLS và các biện pháp phòng chống bot, uy tín IP, và JavaScript cần thật sự chạy trước khi nội dung xuất hiện. Tái tạo điều đó trong C++ — một ngăn xếp HTTP ẩn, một bể proxy, một động cơ trình duyệt nhúng — là công việc khó khăn hơn nhiều so với việc thu thập dữ liệu thực tế.
Cách tiếp cận thực dụng là ngừng bắt C++ làm những phần mà nó không giỏi. Sử dụng một API kết xuất để xử lý việc lấy dữ liệu — TLS, proxy, JavaScript, chống bot — và giao cho C++ HTML đã hoàn chỉnh để phân tích. Chương trình của bạn sẽ trở thành hai mảnh rõ ràng: libcurl thực hiện một HTTPS POST, và libxml2 chạy XPath trên kết quả.
Hướng dẫn này xây dựng chính xác điều đó với Scrapeless Universal Scraping API. Chương trình hoàn chỉnh ở cuối đã được biên dịch và chạy trực tiếp; những con số trong đó là một bản ghi thực tế.
Bạn có thể làm gì với nó
- Phân tích với tốc độ gốc — libxml2 + XPath trên HTML đã kết xuất, không tốn thêm chi phí cho trình thông dịch.
- Thu thập dữ liệu từ các trang web nhiều JavaScript mà không cần nhúng một trình duyệt vào tệp nhị phân C++ của bạn.
- Bỏ qua khối chống bot — rà soát vân tay TLS, xoay vòng proxy, và xử lý CAPTCHA diễn ra trong API, không phải trong mã của bạn.
- Kết hợp việc thu thập dữ liệu vào các hệ thống C++ hiện có — một đường ống giao dịch, một công cụ dữ liệu, một dịch vụ gốc — chỉ với libcurl và libxml2.
- Mở rộng theo chiều ngang — việc kết xuất diễn ra ở phía máy chủ, vì vậy tệp nhị phân của bạn vẫn nhẹ.
Tại sao chọn Scrapeless Universal Scraping API
Scrapeless Universal Scraping API nhận một URL mục tiêu và trả về HTML đã kết xuất, không bị chặn. Đặc biệt cho client C++, nó mang lại:
- Kết xuất JavaScript ở phía máy chủ —
js_render: truetrả về DOM hoàn chỉnh, vì vậy libxml2 thấy nội dung thực. - Proxy dân cư tại hơn 195 quốc gia — việc lấy dữ liệu diễn ra từ các IP đáng tin cậy; bạn không bao giờ phải quản lý một bể.
- Xử lý chống bot — rà soát vân tay TLS và giải bài thử thách sẽ diễn ra ở phía API, khỏi tệp nhị phân của bạn.
- Một HTTPS POST đơn giản — không cần liên kết SDK; libcurl là tất cả C++ bạn cần.
- Một định dạng đơn giản —
{"code":200,"data":"<html>…"}, dễ xử lý mà không cần phụ thuộc nặng vào JSON.
Nhận khóa API của bạn trên gói miễn phí tại app.scrapeless.com.
Điều kiện tiên quyết
- Một trình biên dịch C++17 (g++ hoặc clang)
- Tiêu đề phát triển của libcurl và libxml2
- Một tài khoản Scrapeless và khóa API — đăng ký tại app.scrapeless.com
Trên Debian/Ubuntu:
bash
sudo apt-get install -y libcurl4-openssl-dev libxml2-dev
bash
export SCRAPELESS_API_KEY="your_api_token_here"Bước 1 — POST URL với libcurl
API nhận một body JSON đặt tên cho tác nhân (unlocker.webunlocker) và đầu vào — URL mục tiêu, phương thức, và liệu có kết xuất JavaScript hay không. Xác thực là header x-api-token. libcurl thu thập phản hồi vào một std::string:
cpp
#include <curl/curl.h>
#include <string>
static size_t writeCb(char* ptr, size_t size, size_t nmemb, void* userdata) {
static_cast<std::string*>(userdata)->append(ptr, size * nmemb);
return size * nmemb;
}
std::string fetchRendered(const std::string& url, const char* apiKey) {
std::string payload =
"{\"actor\":\"unlocker.webunlocker\",\"input\":{"
"\"url\":\"" + url + "\",\"method\":\"GET\","
"\"redirect\":true,\"js_render\":true}}";
CURL* curl = curl_easy_init();
std::string resp;
```cpp
curl_slist* hdrs = nullptr;
hdrs = curl_slist_append(hdrs, "Content-Type: application/json");
hdrs = curl_slist_append(hdrs, (std::string("x-api-token: ") + apiKey).c_str());
curl_easy_setopt(curl, CURLOPT_URL, "https://api.scrapeless.com/api/v1/unlocker/request");
curl_easy_setopt(curl, CURLOPT_POST, 1L);
curl_easy_setopt(curl, CURLOPT_POSTFIELDS, payload.c_str());
curl_easy_setopt(curl, CURLOPT_HTTPHEADER, hdrs);
curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writeCb);
curl_easy_setopt(curl, CURLOPT_WRITEDATA, &resp);
curl_easy_setopt(curl, CURLOPT_TIMEOUT, 120L);
curl_easy_perform(curl);
curl_slist_free_all(hdrs);
curl_easy_cleanup(curl);
return resp;
}js_render: true là cờ chịu tải: nó yêu cầu API chạy JavaScript của trang và trả về DOM đã hoàn thành, vì vậy một trang xây dựng nội dung phía máy khách sẽ quay lại dưới dạng mã thực.
Lấy khóa API của bạn trên kế hoạch miễn phí: app.scrapeless.com
Bước 2 — Lấy HTML ra khỏi phong bì
API trả về {"code":200,"data":"<html>…"} với HTML đã được JSON-escape trong data. Một bộ trích xuất nhỏ sẽ giải nén trường đó — không cần thư viện JSON nặng cho hình dạng này:
cpp
std::string jsonGetData(const std::string& body) {
const std::string key = "\"data\":\"";
size_t i = body.find(key);
if (i == std::string::npos) return "";
i += key.size();
std::string out;
for (; i < body.size(); ++i) {
char c = body[i];
if (c == '\\') { // giải nén \" \\ \n \r \t \uXXXX
char n = body[++i];
if (n == 'n') out += '\n';
else if (n == 'r') out += '\r';
else if (n == 't') out += '\t';
else if (n == 'u') { out += (char)std::stoi(body.substr(i + 1, 4), nullptr, 16); i += 4; }
else out += n;
} else if (c == '"') break;
else out += c;
}
return out;
}(Đối với sản xuất với nhiều loại trường, liên kết một thư viện JSON thực — nhưng cho phong bì này thì bộ trích xuất ở trên là đủ.)
Bước 3 — Phân tích với libxml2 và XPath
Bây giờ là phần nhanh chóng. libxml2 phân tích HTML; XPath chọn chính xác các nút bạn muốn. Ở đây nó lấy tiêu đề sản phẩm từ trang danh mục:
cpp
#include <libxml/HTMLparser.h>
#include <libxml/xpath.h>
#include <iostream>
void extractTitles(const std::string& html) {
htmlDocPtr doc = htmlReadMemory(html.c_str(), html.size(), nullptr, nullptr,
HTML_PARSE_NOERROR | HTML_PARSE_NOWARNING);
xmlXPathContextPtr ctx = xmlXPathNewContext(doc);
xmlXPathObjectPtr r = xmlXPathEvalExpression(
(const xmlChar*)"//article[@class='product_pod']//h3/a/@title", ctx);
int n = r->nodesetval ? r->nodesetval->nodeNr : 0;
std::cout << "sách=" << n << "\n";
for (int i = 0; i < n; ++i) {
xmlChar* t = xmlNodeGetContent(r->nodesetval->nodeTab[i]);
std::cout << t << "\n";
xmlFree(t);
}
xmlXPathFreeObject(r);
xmlXPathFreeContext(ctx);
xmlFreeDoc(doc);
}Bước 4 — Biên dịch và chạy
Liên kết cả hai thư viện và chỉ định trình biên dịch tới các tiêu đề của libxml2:
bash
g++ scraper.cpp -o scraper -I/usr/include/libxml2 -lcurl -lxml2
./scraperMột lần chạy thực tế chống lại trang danh mục đã được JavaScript-rendered đã trả về:
text
http_status=200 html_bytes=51295 sách=20
sách_đầu_tiên=A Light in the AtticĐó là toàn bộ vòng lặp: một HTTPS POST ra, 51 KB HTML đã render về, 20 tiêu đề được phân tích bởi libxml2 — không cần nhúng trình duyệt, không cần pool proxy, không có mã chống bot trong nhị phân của bạn.
Những gì bạn nhận lại
Phong bì API nhỏ và có thể dự đoán:
json
{
"code": 200,
"data": "<html>...DOM đã render...</html>"
}
// Hình dạng thực tế từ một cuộc gọi trực tiếp. data chứa HTML đã render dưới dạng JSON-escape (51.295 byte trong lần chạy được xác minh).Một vài quan sát chân thành:
js_render: truesẽ làm tăng độ trễ nhưng mang lại nội dung. Tắt nó cho các trang tĩnh để nhanh hơn; bật nó khi trang trống mà không có nó.- Sử dụng một thư viện JSON thực cho các phản hồi phức tạp. Bộ trích xuất tự chế xử lý trường đơn
data; bất cứ điều gì phong phú hơn nên có một bộ phân tích thực sự. - XPath tốt hơn so với việc so khớp chuỗi. XPath của libxml2 vừa nhanh hơn vừa đáng tin cậy hơn so với việc quét HTML viết tay.
- Giải phóng các đối tượng libxml2.
xmlFreeDoc,xmlXPathFreeContext,xmlXPathFreeObject— C++ sẽ không làm điều đó cho bạn.
Kết luận: C++ để phân tích, một API để lấy dữ liệu
C++ scraping quan trọng về hiệu suất hoạt động tốt nhất khi C++ thực hiện những gì nó giỏi — phân tích nhanh — và một API kết xuất đảm nhận phần mà việc xây dựng natively là khó khăn: thực thi JavaScript, proxy và xử lý chống bot. Với libcurl cho một HTTPS POST và libxml2 cho việc trích xuất XPath, toàn bộ client chỉ cần hai thư viện quen thuộc và một dòng lệnh `g++`. Đối với việc phân tách fetch-then-parse trong ngôn ngữ khác, hãy xem [Hướng dẫn Scrapling + Scrapeless](https://www.scrapeless.com/vi/blog/scrapling-scrapeless-web-scraping-2026); trang sản phẩm [Universal Scraping API](https://www.scrapeless.com/vi/product/universal-scraping-api?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=cpp-web-scraping) và [tài liệu](https://docs.scrapeless.com) bao gồm toàn bộ API. Kết xuất ở phía máy chủ khi trang cần, phân tích với XPath, và giải phóng các đối tượng libxml2 của bạn.
---
## Sẵn sàng xây dựng pipeline dữ liệu được hỗ trợ AI của bạn chưa?
Tham gia cộng đồng của chúng tôi để nhận được kế hoạch miễn phí và kết nối với các nhà phát triển đang xây dựng các trình thu thập dữ liệu native: [Discord](https://discord.gg/VU2vtbq7Q2) · [Telegram](https://t.me/scrapeless).
Đăng ký tại [app.scrapeless.com](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=cpp-web-scraping) để có runtime miễn phí và điều chỉnh chương trình ở trên cho các trang web và bộ chọn mà pipeline C++ của bạn cần. Xem [giá cả](https://www.scrapeless.com/vi/pricing?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=cpp-web-scraping) để biết quy mô.
---
## Câu hỏi thường gặp
**Q: Tại sao không viết toàn bộ trình thu thập dữ liệu bằng C++ thuần với libcurl trực tiếp tới trang?**
Bạn có thể làm điều đó cho các trang đơn giản, không được bảo vệ. Nhưng khi một mục tiêu cần kết xuất JavaScript, IP dân cư hoặc xử lý chống bot, việc tái tạo điều đó trong C++ là một dự án lớn. Chuyển việc fetch cho một API kết xuất giúp tệp nhị phân của bạn nhỏ gọn hơn.
**Q: Tôi có cần một trình duyệt không giao diện nhúng trong chương trình C++ của mình không?**
Không. `js_render: true` chạy JavaScript ở phía máy chủ và trả về DOM hoàn chỉnh, vì vậy mã C++ của bạn chỉ cần phân tích HTML.
**Q: libxml2 có phải là bộ phân tích đúng không?**
Đối với HTML quy mô lớn, có — nó nhanh, trưởng thành và hỗ trợ đầy đủ XPath. CPR hoặc Boost.Beast có thể thay thế libcurl cho phần HTTP nếu bạn thích, nhưng libxml2 là lựa chọn tiêu chuẩn cho việc phân tích.
**Q: Làm thế nào để tôi xử lý các phản hồi JSON mà không cần phụ thuộc lớn?**
Đối với trường `data` duy nhất được hiển thị ở đây, một bộ trích nhỏ là đủ. Đối với các phản hồi phong phú hơn, hãy liên kết một thư viện JSON nhẹ thay vì phân tích bằng tay.
**Q: Tôi có cần quản lý proxy không?**
Không. API thoát qua các proxy dân cư; bạn chỉ cần truyền một URL và nhận lại HTML.
**Q: Làm thế nào để tôi tránh rò rỉ bộ nhớ với libxml2?**
Luôn giải phóng những gì bạn đã cấp phát: `xmlXPathFreeObject`, `xmlXPathFreeContext` và `xmlFreeDoc`. libxml2 sử dụng quản lý bộ nhớ thủ công.Tại Scrapless, chúng tôi chỉ truy cập dữ liệu có sẵn công khai trong khi tuân thủ nghiêm ngặt các luật, quy định và chính sách bảo mật trang web hiện hành. Nội dung trong blog này chỉ nhằm mục đích trình diễn và không liên quan đến bất kỳ hoạt động bất hợp pháp hoặc vi phạm nào. Chúng tôi không đảm bảo và từ chối mọi trách nhiệm đối với việc sử dụng thông tin từ blog này hoặc các liên kết của bên thứ ba. Trước khi tham gia vào bất kỳ hoạt động cạo nào, hãy tham khảo ý kiến cố vấn pháp lý của bạn và xem xét các điều khoản dịch vụ của trang web mục tiêu hoặc có được các quyền cần thiết.
