Các Thực Hành Tốt Nhất cho Tự Động Hóa và Trích Xuất Web Sử Dụng Trình Duyệt Scrapeless Scraping

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=your-scrapeless-api-key&session_ttl=180&proxy_country=ANY';

(async () => {
    const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

const {chromium} = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=your-scrapeless-api-key&session_ttl=180&proxy_country=ANY';

(async () => {
    const browser = await chromium.connectOverCDP(connectionURL);
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

const puppeteer = require('puppeteer-core');

// fingerprint trình duyệt tùy chỉnh
const fingerprint = {
    userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.1.2.3 Safari/537.36',
    platform: 'Windows',
    screen: {
        width: 1280, height: 1024
    },
    localization: {
        languages: ['zh-HK', 'en-US', 'en'], timezone: 'Asia/Hong_Kong',
    }
}

const query = new URLSearchParams({
  token: 'APIKey', // bắt buộc
  session_ttl: 180,
  proxy_country: 'ANY',
  fingerprint: encodeURIComponent(JSON.stringify(fingerprint)),
});

const connectionURL = `wss://browser.scrapeless.com/browser?${query.toString()}`;

(async () => {
    const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    const info = await page.evaluate(() => {
        return {
            screen: {
                width: screen.width,
                height: screen.height,
            },
            userAgent: navigator.userAgent,
            timeZone: Intl.DateTimeFormat().resolvedOptions().timeZone,
            languages: navigator.languages
        };
    });
    console.log(info);
    await browser.close();
})();
 

const { chromium } = require('playwright-core');

// fingerprint trình duyệt tùy chỉnh
const fingerprint = {
    userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.1.2.3 Safari/537.36',
    platform: 'Windows',
    screen: {
        width: 1280, height: 1024
    },
    localization: {
        languages: ['zh-HK', 'en-US', 'en'], timezone: 'Asia/Hong_Kong',
    }
}

const query = new URLSearchParams({
  token: 'APIKey', // bắt buộc
  session_ttl: 180,
  proxy_country: 'ANY',
  fingerprint: encodeURIComponent(JSON.stringify(fingerprint)),
});

const connectionURL = `wss://browser.scrapeless.com/browser?${query.toString()}`;

(async () => {
    const browser = await chromium.connectOverCDP(connectionURL);

const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    const info = await page.evaluate(() => {
        return {
            screen: {
                width: screen.width,
                height: screen.height,
            },
            userAgent: navigator.userAgent,
            timeZone: Intl.DateTimeFormat().resolvedOptions().timeZone,
            languages: navigator.languages
        };
    });
    console.log(info);
    await browser.close();
})();

### 3.3 Ví dụ về giám sát sự kiện CAPTCHA
Dưới đây là một ví dụ mã hoàn chỉnh về việc sử dụng Scrapeless để giám sát các sự kiện CAPTCHA, cho thấy cách giám sát trạng thái giải quyết CAPTCHA theo thời gian thực:

Sau khi nắm vững các tính năng cốt lõi và lợi thế của Trình duyệt Scrapeless Scraping, chúng ta không chỉ hiểu rõ hơn về giá trị của nó trong việc thu thập thông tin trên web hiện đại mà còn có thể tận dụng những ưu điểm về hiệu suất một cách hiệu quả hơn. Để giúp các nhà phát triển tự động hóa và thu thập dữ liệu trên các trang web một cách hiệu quả và an toàn hơn, chúng ta sẽ khám phá cách áp dụng Trình duyệt Scrapeless Scraping trong các trường hợp sử dụng cụ thể, dựa trên các kịch bản phổ biến.

## 4. Thực hành tốt nhất cho Tự động hóa và Thu thập Dữ liệu Web Sử dụng Trình duyệt Scrapeless Scraping
> **Tuyên bố từ chối trách nhiệm pháp lý và Các biện pháp phòng ngừa**  
> Hướng dẫn này bao gồm các kỹ thuật thu thập dữ liệu web phổ biến cho mục đích giáo dục. Tương tác với các máy chủ công cộng yêu cầu sự cẩn thận và tôn trọng và đây là một tóm tắt tốt về những điều không nên làm:
> - Không thu thập dữ liệu với tốc độ có thể gây hại cho trang web.
> - Không thu thập dữ liệu không có sẵn công khai.
> - Không lưu trữ thông tin cá nhân của công dân EU được bảo vệ bởi GDPR.
> - Không sử dụng lại toàn bộ dữ liệu công khai, điều này có thể là bất hợp pháp ở một số quốc gia.
### Hiểu biết về Bảo vệ Cloudflare

---

1. **Cloudflare là gì?**  

Cloudflare là một nền tảng đám mây tích hợp mạng phân phối nội dung (CDN), tăng tốc DNS và bảo vệ an ninh. Các trang web sử dụng Cloudflare để giảm thiểu các cuộc tấn công Từ chối dịch vụ phân tán (DDoS) (tức là, các trang web bị gián đoạn do nhiều yêu cầu truy cập) và đảm bảo rằng các trang web sử dụng nó luôn hoạt động.  
Dưới đây là một ví dụ đơn giản để hiểu cách Cloudflare hoạt động:  
Khi bạn truy cập một trang web có Cloudflare được kích hoạt (như example.com), yêu cầu của bạn trước tiên sẽ đến máy chủ biên của Cloudflare, không phải máy chủ gốc. Cloudflare sẽ sau đó xác định xem có cho phép yêu cầu của bạn tiếp tục dựa trên một số quy tắc, chẳng hạn như:  
- Có thể trả lại trang đã được lưu vào bộ nhớ cache hay không;  
- Bạn có cần vượt qua bài kiểm tra CAPTCHA không;  
- Yêu cầu của bạn có bị chặn không;  
- Yêu cầu có được chuyển tiếp đến máy chủ website thực (gốc) không.  

Nếu bạn được xác định là người dùng hợp pháp, Cloudflare sẽ chuyển tiếp yêu cầu đến máy chủ gốc và trả lại nội dung cho bạn. Cơ chế này làm tăng cường bảo mật cho trang web nhưng cũng đặt ra những thách thức đáng kể đối với việc truy cập tự động.  
Vượt qua Cloudflare là một trong những thách thức kỹ thuật khó khăn nhất trong nhiều nhiệm vụ thu thập dữ liệu. Dưới đây, chúng ta sẽ đi sâu hơn vào lý do tại sao việc vượt qua Cloudflare lại khó khăn.

2. **Những thách thức trong việc Vượt qua Bảo vệ Cloudflare**  
Vượt qua Cloudflare không dễ dàng, đặc biệt khi các tính năng chống bot nâng cao (như Quản lý Bot, Thử thách Quản lý, Xác minh Turnstile, các thử thách JS, v.v.) được kích hoạt. Nhiều công cụ thu thập dữ liệu truyền thống (như Selenium và Puppeteer) thường bị phát hiện và chặn trước khi yêu cầu được thực hiện do các đặc điểm dấu vân tay rõ rệt hoặc mô phỏng hành vi không tự nhiên.  

Mặc dù có một số công cụ nguồn mở được thiết kế đặc biệt để vượt qua Cloudflare (như FlareSolverr, undetected-chromedriver), những công cụ này thường có tuổi thọ ngắn. Khi chúng được sử dụng rộng rãi, Cloudflare sẽ nhanh chóng cập nhật các quy tắc phát hiện của mình để chặn chúng. Điều này có nghĩa là để vượt qua các cơ chế bảo vệ của Cloudflare một cách bền vững và ổn định, các đội thường cần khả năng phát triển nội bộ và đầu tư tài nguyên liên tục cho bảo trì và cập nhật.  
Dưới đây là những thách thức chính trong việc vượt qua bảo vệ Cloudflare:  
- **Nhận diện Dấu vân tay Trình duyệt Cực kì Nghiêm ngặt**: Cloudflare phát hiện các đặc điểm dấu vân tay trong các yêu cầu như User-Agent, cài đặt ngôn ngữ, độ phân giải màn hình, múi giờ, và việc kết xuất Canvas/WebGL. Nếu nó phát hiện ra trình duyệt bất thường hoặc hành vi tự động, nó sẽ chặn yêu cầu.
- **Cơ chế Thách thức JS Phức tạp**: Cloudflare tạo ra các thách thức JavaScript một cách động (như CAPTCHA, chuyển hướng chậm, tính toán logic, v.v.), và các kịch bản tự động thường gặp khó khăn trong việc phân tích hoặc thực thi chính xác các logic phức tạp này.  
- **Hệ thống Phân tích Hành vi**: Ngoài các dấu vân tay tĩnh, Cloudflare cũng phân tích quỹ đạo hành vi của người dùng, chẳng hạn như chuyển động chuột, thời gian lưu trú trên trang, hành động cuộn, v.v. Điều này yêu cầu độ chính xác cao trong việc mô phỏng hành vi của con người.  
- **Kiểm soát Tốc độ và Độ đồng thời**: Truy cập tần suất cao có thể dễ dàng kích hoạt các chiến lược giới hạn tốc độ và chặn IP của Cloudflare. Các nhóm proxy và lập lịch phân tán phải được tối ưu hóa cao.  
- **Xác thực Bên máy chủ Không thể thấy**: Vì Cloudflare là một bộ chặn ở biên, nhiều yêu cầu thực tế bị chặn trước khi đến máy chủ gốc, khiến các phương pháp phân tích gói truyền thống trở nên không hiệu quả.  

Do đó, việc vượt qua Cloudflare thành công đòi hỏi phải mô phỏng hành vi của trình duyệt thực, thực thi JavaScript một cách động, cấu hình dấu vân tay một cách linh hoạt và sử dụng các proxy chất lượng cao cùng cơ chế lập lịch động.


## Vượt qua Cloudflare của Idealista bằng Trình duyệt Thu thập Dữ liệu Không có Rắc rối để Thu thập Dữ liệu Bất động sản

---

Trong chương này, chúng tôi sẽ trình bày cách sử dụng Trình duyệt Thu thập Dữ liệu Không có Rắc rối để xây dựng một hệ thống tự động thu thập dữ liệu bất động sản từ Idealista, một nền tảng bất động sản hàng đầu châu Âu, một cách hiệu quả, ổn định và chống lại các biện pháp chống thu thập. Idealista áp dụng nhiều cơ chế bảo vệ, bao gồm Cloudflare, tải động, giới hạn tốc độ IP, và nhận dạng hành vi người dùng, khiến nó trở thành một nền tảng mục tiêu rất thách thức.  
Chúng tôi sẽ tập trung vào các khía cạnh kỹ thuật sau:  
- Vượt qua các trang xác minh Cloudflare  
- Tạo dấu vân tay tùy chỉnh và mô phỏng hành vi người dùng thực  
- Sử dụng Phát lại Phiên  
- Thu thập với độ đồng thời cao sử dụng nhiều nhóm proxy  
- Tối ưu hóa chi phí  

### Hiểu Thách thức: Bảo vệ Cloudflare của Idealista  
Idealista là một nền tảng bất động sản trực tuyến hàng đầu tại Nam Âu, cung cấp hàng triệu danh sách cho các loại bất động sản khác nhau, bao gồm nhà ở, căn hộ và phòng chia sẻ. Do giá trị thương mại cao của dữ liệu bất động sản, nền tảng này đã thực hiện các biện pháp chống thu thập nghiêm ngặt.  
Để chống lại việc thu thập tự động, Idealista đã triển khai Cloudflare — một hệ thống bảo vệ an ninh và chống bot được sử dụng rộng rãi, được thiết kế để bảo vệ chống lại các bot độc hại, các cuộc tấn công DDoS và lạm dụng dữ liệu. Các cơ chế chống thu thập của Cloudflare chủ yếu bao gồm các yếu tố sau:  
- **Cơ chế Xác minh Truy cập**: Bao gồm Thách thức JS, kiểm tra tính toàn vẹn của trình duyệt, và xác minh CAPTCHA, để xác định xem người truy cập có phải là người dùng thực hay không.  
- **Phân tích Hành vi**: Phát hiện người dùng thực thông qua các hành động như chuyển động chuột, mẫu nhấp chuột, và tốc độ cuộn.  
- **Phân tích Header HTTP**: Kiểm tra loại trình duyệt, cài đặt ngôn ngữ, và dữ liệu người giới thiệu để kiểm tra sự không nhất quán. Các tiêu đề nghi ngờ có thể tiết lộ nỗ lực che giấu bot tự động.  
- **Phát hiện và Chặn Dấu vân tay**: Nhận diện lưu lượng do các công cụ tự động (như Selenium và Puppeteer) tạo ra thông qua dấu vân tay của trình duyệt, dấu vân tay TLS, và thông tin tiêu đề.  
- **Lọc Node Biên**: Các yêu cầu đầu tiên sẽ vào mạng lưới biên toàn cầu của Cloudflare, nơi đánh giá rủi ro của chúng. Chỉ những yêu cầu được coi là rủi ro thấp mới được chuyển tiếp đến các máy chủ gốc của Idealista.  

Tiếp theo, chúng tôi sẽ giải thích chi tiết cách sử dụng Trình duyệt Thu thập Dữ liệu Không có Rắc rối để vượt qua bảo vệ Cloudflare của Idealista và thu thập thành công dữ liệu bất động sản.

### Vượt qua Cloudflare của Idealista bằng Trình duyệt Thu thập Dữ liệu Không có Rắc rối

---

#### Các yêu cầu cần có

Trước khi bắt đầu, hãy đảm bảo rằng bạn đã có những công cụ cần thiết:

- **Python**: Nếu bạn chưa cài đặt Python, hãy tải phiên bản mới nhất và cài đặt nó trên hệ thống của bạn.
- **Thư viện Cần Thiết**: Bạn cần cài đặt một số thư viện Python. Mở một terminal hoặc command prompt và chạy lệnh sau:

- **ChromeDriver**: Tải [ChromeDriver](https://developer.chrome.com/docs/chromedriver/downloads). Đảm bảo chọn phiên bản tương ứng với phiên bản Chrome bạn đã cài đặt.
- **Tài khoản Scrapeless**: Để vượt qua bảo vệ bot của Idealista, bạn sẽ cần một tài khoản Trình duyệt Thu thập Dữ liệu Không có Rắc rối. Bạn có thể [đăng ký tại đây](https://app.scrapeless.com/passport/login?utm_source=official&utm_medium=blog&utm_campaign=scrapingbrowser) và nhận một thử nghiệm miễn phí trị giá 2 USD.

#### Xác định Dữ liệu

Mục tiêu của chúng tôi là thu thập thông tin chi tiết về mỗi danh sách bất động sản trên Idealista. Chúng tôi có thể sử dụng công cụ phát triển của trình duyệt để hiểu cấu trúc của trang web và xác định các phần tử HTML mà chúng tôi cần tập trung vào.

Nhấp chuột phải vào bất kỳ đâu trên trang và chọn **Kiểm tra** để xem mã nguồn của trang.
Trong bài viết này, chúng tôi sẽ tập trung vào việc thu thập danh sách bất động sản từ Alcala de Henares, Madrid bằng cách sử dụng URL sau:

https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/

Chúng tôi muốn trích xuất các điểm dữ liệu sau từ mỗi danh sách:
- Tiêu đề
- Giá
- Thông tin diện tích
- Mô tả bất động sản
- URL hình ảnh

Dưới đây, bạn có thể thấy trang danh sách bất động sản với các chú thích cho biết thông tin của mỗi bất động sản nằm ở đâu.

Bằng cách kiểm tra mã nguồn HTML, chúng tôi có thể xác định bộ chọn CSS cho mỗi điểm dữ liệu. Các bộ chọn CSS là các mẫu được sử dụng để chọn các phần tử trong tài liệu HTML.

Bằng cách kiểm tra mã nguồn HTML, chúng tôi phát hiện rằng mỗi danh sách bất động sản được chứa trong thẻ `<article>` với lớp `item`. Trong mỗi mục:

- Tiêu đề nằm trong thẻ `<a>` với lớp `item-link`.
- Giá nằm trong thẻ `<span>` với lớp `item-price`.
- Và các điểm dữ liệu khác tương tự.

### Bước 1: Cài đặt Selenium với ChromeDriver

Trước tiên, chúng tôi cần cấu hình Selenium để sử dụng ChromeDriver. Bắt đầu bằng cách thiết lập `chrome_options` và khởi tạo ChromeDriver.

Mã này nhập các mô-đun cần thiết, bao gồm `seleniumwire` để tương tác với trình duyệt nâng cao và `BeautifulSoup` để phân tích HTML.

Chúng tôi định nghĩa một hàm `listings(url)` và cấu hình Chrome để chạy ở chế độ headless bằng cách thêm tham số `--headless` vào `chrome_options`. Sau đó, chúng tôi khởi tạo ChromeDriver bằng cách sử dụng đường dẫn dịch vụ đã chỉ định.

### Bước 2: Tải URL mục tiêu

Tiếp theo, chúng tôi tải URL mục tiêu và chờ trang tải hoàn tất.

driver.get(url)
time.sleep(8)  # Điều chỉnh tùy theo thời gian tải trang web

Tại đây, lệnh `driver.get(url)` chỉ thị trình duyệt điều hướng đến URL đã chỉ định.

Chúng tôi sử dụng `time.sleep(8)` để tạm dừng kịch bản trong 8 giây, cho phép đủ thời gian để trang web tải hoàn toàn. Thời gian chờ này có thể được điều chỉnh tùy theo tốc độ tải của trang web.

### Bước 3: Phân tích nội dung trang

Khi trang đã tải, chúng tôi sử dụng BeautifulSoup để phân tích nội dung của nó:

soup = BeautifulSoup(driver.page_source, "lxml")
driver.quit()

Tại đây, chúng tôi sử dụng `driver.page_source` để lấy nội dung HTML của trang đã tải, và phân tích nó bằng BeautifulSoup với bộ phân tích `lxml`. Cuối cùng, chúng tôi gọi `driver.quit()` để đóng phiên trình duyệt và dọn dẹp tài nguyên.

### Bước 4: Trích xuất dữ liệu từ HTML đã phân tích

Tiếp theo, chúng tôi trích xuất dữ liệu liên quan từ HTML đã phân tích.

house_listings = soup.find_all("article", class_="item")
extracted_data = []
for listing in house_listings:
    description_elem = listing.find("div", class_="item-description")
    description_text = description_elem.get_text(strip=True) if description_elem else "nil"
    item_details = listing.find_all("span", class_="item-detail")
    bedrooms = item_details[0].get_text(strip=True) if len(item_details) > 0 else "nil"
    area = item_details[1].get_text(strip=True) if len(item_details) > 1 else "nil"
    image_urls = [img["src"] for img in listing.find_all("img") if img.get("src")]
    first_image_url = image_urls[0] if image_urls else "nil"
    listing_info = {
        "Tiêu đề": listing.find("a", class_="item-link").get("title", "nil"),
        "Giá": listing.find("span", class_="item-price").get_text(strip=True),
        "Phòng ngủ": bedrooms,
        "Diện tích": area,
        "Mô tả": description_text,
        "URL hình ảnh": first_image_url,
    }
    extracted_data.append(listing_info)

Tại đây, chúng tôi tìm tất cả các phần tử khớp với thẻ `article` có tên lớp `item`, đại diện cho các danh sách bất động sản riêng lẻ. Đối với mỗi danh sách, chúng tôi trích xuất tiêu đề của nó, các chi tiết (chẳng hạn như số phòng ngủ và diện tích), và URL hình ảnh. Chúng tôi lưu trữ các chi tiết này trong một từ điển và thêm từng từ điển vào một danh sách gọi là `extracted_data`.

### Bước 5: Lưu dữ liệu đã trích xuất

Cuối cùng, chúng tôi lưu dữ liệu đã trích xuất vào một tệp JSON.

json.dump(extracted_data, json_file, ensure_ascii=False, indent=2)
    print(f"Dữ liệu đã trích xuất được lưu vào {json_filename}")
url = "https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/"
idealista_listings = listings(url)

from seleniumwire import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
from datetime import datetime
import json
def listings(url):
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    s = Service("Thay thế bằng đường dẫn của bạn đến ChromeDriver")
    driver = webdriver.Chrome(service=s, chrome_options=chrome_options)
    driver.get(url)
    time.sleep(8)  # Điều chỉnh dựa trên thời gian tải trang web
    soup = BeautifulSoup(driver.page_source, "lxml")
    driver.quit()
    house_listings = soup.find_all("article", class_="item")
    extracted_data = []
    for listing in house_listings:
        description_elem = listing.find("div", class_="item-description")
        description_text = description_elem.get_text(strip=True) if description_elem else "nil"
        item_details = listing.find_all("span", class_="item-detail")
        bedrooms = item_details[0].get_text(strip=True) if len(item_details) > 0 else "nil"
        area = item_details[1].get_text(strip=True) if len(item_details) > 1 else "nil"
        image_urls = [img["src"] for img in listing.find_all("img") if img.get("src")]
        first_image_url = image_urls[0] if image_urls else "nil"
        listing_info = {
            "Tiêu đề": listing.find("a", class_="item-link").get("title", "nil"),
            "Giá": listing.find("span", class_="item-price").get_text(strip=True),
            "Phòng ngủ": bedrooms,
            "Diện tích": area,
            "Mô tả": description_text,
            "URL hình ảnh": first_image_url,
        }
        extracted_data.append(listing_info)
    current_datetime = datetime.now().strftime("%Y%m%d%H%M%S")
    json_filename = f"dữ_liệu_mới_revised_{current_datetime}.json"
    with open(json_filename, "w", encoding="utf-8") as json_file:
        json.dump(extracted_data, json_file, ensure_ascii=False, indent=2)
    print(f"Dữ liệu đã trích xuất được lưu vào {json_filename}")
url = "https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/"
idealista_listings = listings(url)

cd path/to/scrapeless-bypass

npm init -y

npm install puppeteer-core

npm install puppeteer puppeteer-core

wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY

#### Bước 4: Viết Script Puppeteer

##### 4.1 Tạo Tệp Script
Trong thư mục dự án của bạn, tạo một tệp JavaScript mới có tên là `bypass-cloudflare.js`.

##### 4.2 Kết nối với Scrapeless và Khởi động Puppeteer
Thêm mã sau vào `bypass-cloudflare.js`:

##### 4.3 Mở một trang web và vượt qua Cloudflare
Mở rộng script để mở một trang mới và điều hướng đến một trang web được bảo vệ bởi Cloudflare:

##### 4.4 Chờ các phần tử trang tải
Đảm bảo rằng bảo vệ Cloudflare đã bị vượt qua trước khi tiến hành:

##### 4.5 Chụp màn hình
Để xác minh xem bảo vệ Cloudflare đã bị vượt qua thành công hay chưa, hãy chụp màn hình trang:

##### 4.6 Script hoàn chỉnh
Dưới đây là script hoàn chỉnh:

// Mở một trang mới và điều hướng đến trang web mục tiêu
const page = await browser.newPage();
await page.goto('https://www.scrapingcourse.com/cloudflare-challenge', { waitUntil: 'domcontentloaded' });

// Chờ trang tải hoàn toàn
await page.waitForTimeout(5000); // Điều chỉnh độ trễ nếu cần
await page.waitForSelector('main.page-content', { timeout: 30000 });

// Chụp màn hình
await page.screenshot({ path: 'challenge-bypass.png' });
console.log('Chụp màn hình đã được lưu dưới dạng challenge-bypass.png');

// Đóng trình duyệt
await browser.close();
console.log('Trình duyệt đã đóng');

#### Bước 5: Chạy script
##### 5.1 Lưu script
Đảm bảo rằng script được lưu dưới dạng bypass-cloudflare.js.

##### 5.2 Thực thi script
Chạy script bằng Node.js:

##### 5.3 Kết quả mong đợi
Nếu mọi thứ được thiết lập đúng, terminal sẽ hiển thị:

Tệp challenge-bypass.png sẽ xuất hiện trong thư mục dự án của bạn, xác nhận rằng bảo vệ Cloudflare đã được vượt qua thành công.

Bạn cũng có thể tích hợp Scrapeless Scraping Browser trực tiếp vào mã scraping của mình:

### Tùy chỉnh Dấu vân tay

Khi scraping dữ liệu từ các trang web—đặc biệt là các nền tảng bất động sản lớn như **Idealista**—ngay cả khi bạn vượt qua thành công các thử thách của **Cloudflare** thông qua **Scrapeless**, bạn vẫn có thể bị đánh dấu là bot do truy cập lặp đi lặp lại hoặc với khối lượng lớn.

Các trang web thường sử dụng **dấu vân tay trình duyệt** để phát hiện hành vi tự động và hạn chế quyền truy cập.

---

#### ⚠️ Các vấn đề thường gặp bạn có thể gặp phải

- **Thời gian phản hồi chậm sau nhiều lần scraping**  
  Trang web có thể giảm tốc độ yêu cầu dựa trên IP hoặc mô hình hành vi.

- **Bố cục trang không thể hiển thị**  
  Nội dung động có thể phụ thuộc vào môi trường trình duyệt thực, dẫn đến dữ liệu bị thiếu hoặc bị hỏng trong quá trình scraping.

- **Thiếu danh sách ở một số khu vực nhất định**  
  Các trang web có thể chặn hoặc ẩn nội dung dựa trên mô hình lưu lượng nghi ngờ.
Các vấn đề này thường do cấu hình trình duyệt giống nhau cho mỗi yêu cầu gây ra. Nếu dấu vân tay trình duyệt của bạn không thay đổi, các hệ thống chống bot dễ dàng phát hiện ra hành vi tự động.

---

#### Giải pháp: Tùy chỉnh dấu vân tay với Scrapeless

**Trình duyệt Scrapeless Scraping** cung cấp hỗ trợ tùy chỉnh dấu vân tay tích hợp để bắt chước hành vi của người dùng thực và tránh bị phát hiện.

Bạn có thể **ngẫu nhiên hóa hoặc tùy chỉnh** các yếu tố dấu vân tay sau:

| Yếu tố Dấu Vân Tay       | Mô tả                                       |
|---------------------------|---------------------------------------------|
| **User-Agent**            | Bắt chước các kết hợp hệ điều hành/trình duyệt khác nhau (ví dụ: Chrome trên Windows/Mac). |
| **Nền tảng**              | Giả lập các hệ điều hành khác nhau (Windows, macOS, v.v.). |
| **Kích thước Màn hình**   | Giả lập các độ phân giải thiết bị khác nhau để tránh sự không tương thích giữa di động/máy tính để bàn. |
| **Địa phương hóa**        | Căn chỉnh ngôn ngữ và múi giờ với thông tin định vị địa lý để tính nhất quán. |

---

Bằng cách xoay vòng hoặc tùy chỉnh các giá trị này, mỗi yêu cầu trông tự nhiên hơn—giảm thiểu nguy cơ bị phát hiện và cải thiện độ tin cậy của việc trích xuất dữ liệu.

**Ví dụ mã:**

### Phát lại Phiên

Sau khi tùy chỉnh dấu vân tay trình duyệt, sự ổn định của trang cải thiện đáng kể, và việc trích xuất nội dung trở nên đáng tin cậy hơn.

Tuy nhiên, trong các hoạt động quét quy mô lớn, các vấn đề bất ngờ vẫn có thể gây ra lỗi trích xuất. Để giải quyết điều này, **Scrapeless** cung cấp một tính năng **Phát lại Phiên** mạnh mẽ.

---

#### Phát lại Phiên là gì?

Phát lại Phiên ghi lại toàn bộ phiên trình duyệt một cách chi tiết, ghi lại tất cả các tương tác, chẳng hạn như:

- Quy trình tải trang  
- Dữ liệu yêu cầu và phản hồi mạng  
- Hành vi thực thi JavaScript  
- Nội dung được tải động nhưng chưa được phân tích  

---

#### Tại sao sử dụng Phát lại Phiên?

Khi quét các trang web phức tạp như **Idealista**, Phát lại Phiên có thể cải thiện hiệu quả gỡ lỗi đáng kể.

| Lợi ích                     | Mô tả                                                                 |
|----------------------------|-----------------------------------------------------------------------------|
| **Theo dõi sự cố chính xác** | Nhanh chóng xác định các yêu cầu không thành công mà không cần đoán định |
| **Không cần chạy lại mã**  | Phân tích các vấn đề trực tiếp từ phát lại thay vì chạy lại trình quét  |
| **Cải thiện hợp tác**      | Chia sẻ nhật ký phát lại với các thành viên trong nhóm để dễ dàng xử lý sự cố |
| **Phân tích nội dung động** | Hiểu cách dữ liệu được tải động cư xử trong quá trình quét              |

---

#### Mẹo sử dụng

Khi **Phát lại Phiên** được kích hoạt, hãy kiểm tra nhật ký phát lại đầu tiên bất cứ khi nào một lần quét thất bại hoặc dữ liệu có vẻ không đầy đủ. Điều này giúp bạn chẩn đoán sự cố nhanh hơn và giảm thời gian gỡ lỗi.

### Cấu hình Proxy

Khi quét Idealista, điều quan trọng cần lưu ý là nền tảng này rất nhạy cảm với địa chỉ IP không địa phương—đặc biệt là khi truy cập vào các danh sách từ các thành phố cụ thể. Nếu IP của bạn xuất phát từ bên ngoài đất nước, Idealista có thể:

- Chặn hoàn toàn yêu cầu  
- Trả về một phiên bản đơn giản hóa hoặc cắt bớt của trang  
- Cung cấp dữ liệu trống hoặc không đầy đủ, ngay cả khi không kích hoạt CAPTCHA  

---

#### Hỗ trợ Proxy Tích Hợp của Scrapeless

Scrapeless cung cấp **cấu hình proxy tích hợp**, cho phép bạn chỉ định nguồn địa lý của mình trực tiếp.

Bạn có thể cấu hình điều này bằng cách sử dụng:

- `proxy_country`: Một mã quốc gia hai ký tự (ví dụ: `'ES'` cho Tây Ban Nha)  
- `proxy_url`: URL máy chủ proxy của riêng bạn  

Ví dụ sử dụng:

### Tính Toán Cao

Trang mà chúng tôi vừa quét từ Idealista—[Danh sách Bất động sản Alcalá de Henares](https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/)—có tới 6 trang danh sách.

Khi bạn đang nghiên cứu xu hướng ngành hoặc thu thập các chiến lược tiếp thị cạnh tranh, bạn có thể cần quét dữ liệu bất động sản từ **20+ thành phố mỗi ngày**, bao phủ **hàng nghìn trang**. Trong một số trường hợp, bạn thậm chí có thể cần làm mới dữ liệu này mỗi giờ.

![](https://assets.scrapeless.com/prod/posts/scrapeless-scraping-browser-best-practices/ba2b8c5377739e9d7adc71a7f968b0f3.png)
#### Yêu cầu về Tính đồng thời cao

Để xử lý khối lượng này một cách hiệu quả, hãy xem xét các yêu cầu sau:

- **Nhiều kết nối đồng thời**: Để thu thập dữ liệu từ hàng trăm trang mà không phải chờ lâu.
- **Công cụ tự động hóa**: Sử dụng Scrapeless Scraping Browser hoặc các công cụ tương tự có thể xử lý các yêu cầu đồng thời ở quy mô lớn.
- **Quản lý phiên**: Duy trì các phiên liên tục để tránh CAPTCHA hoặc khóa IP quá nhiều.

---

#### Khả năng mở rộng không cần scrape

Scrapeless được thiết kế đặc biệt cho việc thu thập dữ liệu đồng thời cao. Nó cung cấp:

- **Các phiên trình duyệt song song**: Xử lý nhiều yêu cầu đồng thời, cho phép bạn thu thập một lượng lớn dữ liệu từ nhiều thành phố.
- **Thu thập dữ liệu chi phí thấp, hiệu quả cao**: Việc thu thập dữ liệu song song giảm chi phí mỗi trang đã thu thập đồng thời tối ưu hóa thông lượng.
- **Vượt qua các hệ thống phòng chống bot với khối lượng lớn**: Tự động xử lý CAPTCHA và các hệ thống xác minh khác, ngay cả trong quá trình thu thập dữ liệu với tải nặng.

---

> **Mẹo**: Đảm bảo rằng các yêu cầu của bạn được phân bổ đủ để bắt chước hành vi duyệt web giống con người và tránh bị giới hạn tốc độ hoặc cấm từ Idealista.

#### Khả năng mở rộng & Hiệu quả chi phí

Puppeteer thông thường gặp khó khăn trong việc mở rộng các phiên một cách hiệu quả và tích hợp với các hệ thống xếp hàng. Tuy nhiên, Scrapeless Scraping Browser hỗ trợ mở rộng liền mạch từ **hàng chục** phiên đồng thời đến **không giới hạn** phiên đồng thời, đảm bảo **thời gian chờ bằng không và không có thời gian chờ** ngay cả trong các tải công việc cao nhất.

Dưới đây là một so sánh về các công cụ khác nhau cho việc thu thập dữ liệu đồng thời cao. Ngay cả với trình duyệt đồng thời cao của Scrapeless, bạn không cần lo lắng về chi phí - thực tế, nó có thể giúp bạn tiết kiệm gần **50%** trong các khoản phí.

---

#### So sánh các công cụ

| **Tên công cụ** | **Tỷ lệ theo giờ (USD/giờ)** | **Phí proxy (USD/GB)** | **Hỗ trợ đồng thời** |
| --------------- | ------------------------------ | ----------------------- | --------------------- |
| **Scrapeless**  | $0.063 – $0.090/giờ (phụ thuộc vào tính đồng thời & sử dụng) | $1.26 – $1.80/GB | 50 / 100 / 200 / 400 / 600 / 1000 / Không giới hạn |
| **Browserbase** | $0.10 – $0.198/giờ (bao gồm 2-5GB proxy miễn phí) | $10/GB (sau khi phân bổ miễn phí) | 3 (Cơ bản) / 50 (Nâng cao) |
| **Brightdata**  | $0.10/giờ | $9.5/GB (Tiêu chuẩn); $12.5/GB (Miền nâng cao) | Không giới hạn |
| **Zenrows**     | $0.09/giờ | $2.8 – $5.42/GB | Tối đa 100 |
| **Browserless** | $0.084 – $0.15/giờ (tính phí căn cứ vào đơn vị) | $4.3/GB | 3 / 10 / 50 |



> **Mẹo**: Nếu bạn cần **thu thập dữ liệu quy mô lớn** và **hỗ trợ đồng thời cao**, **Scrapeless** cung cấp tỷ lệ chi phí-hiệu suất tốt nhất.

### Chiến lược Kiểm soát Chi phí cho Web Scraping

Những người sử dụng cẩn thận có thể nhận thấy rằng các trang Idealista mà chúng tôi thu thập thường chứa lượng lớn hình ảnh bất động sản độ phân giải cao, bản đồ tương tác, video giới thiệu và kịch bản quảng cáo. Trong khi những yếu tố này thân thiện với người dùng cuối, chúng không cần thiết cho việc trích xuất dữ liệu và làm tăng đáng kể mức tiêu thụ băng thông và chi phí.

![](https://assets.scrapeless.com/prod/posts/scrapeless-scraping-browser-best-practices/9c56c6f5636beef230ed9d4792f5f8c5.png)

Để tối ưu hóa việc sử dụng băng thông, chúng tôi khuyến nghị người dùng áp dụng các chiến lược sau:

1. **Chặn Tài nguyên**: Chặn các yêu cầu tài nguyên không cần thiết để giảm mức tiêu thụ lưu lượng.
2. **Chặn URL yêu cầu**: Chặn các yêu cầu cụ thể dựa trên đặc điểm URL để giảm thiểu lưu lượng thêm nữa.
3. **Giả lập Thiết bị Di động**: Sử dụng cấu hình thiết bị di động để tải các phiên bản trang nhẹ hơn.

---

#### Các Chiến lược Chi tiết

##### 1. **Chặn Tài nguyên**

Kích hoạt chặn tài nguyên có thể cải thiện đáng kể hiệu quả thu thập dữ liệu. Bằng cách cấu hình chức năng `setRequestInterception` của Puppeteer, chúng ta có thể chặn các tài nguyên như hình ảnh, phương tiện, phông chữ và bảng kiểu, tránh việc tải xuống nội dung lớn.

##### 2. **Lọc URL yêu cầu**

Bằng cách xem xét các URL yêu cầu, chúng ta có thể lọc bỏ các yêu cầu không liên quan như dịch vụ quảng cáo và kịch bản phân tích bên thứ ba không liên quan đến việc trích xuất dữ liệu. Điều này giảm sự lưu lượng mạng không cần thiết.

##### 3. **Giả lập Thiết bị Di động**

Giả lập một thiết bị di động (ví dụ: đặt user agent thành iPhone) cho phép bạn tải một phiên bản trang nhẹ hơn, được tối ưu hóa cho di động. Điều này dẫn đến việc ít tài nguyên được tải và tăng tốc độ quá trình thu thập dữ liệu.

> Để biết thêm thông tin, hãy tham khảo [tài liệu chính thức của Scrapeless](https://docs.scrapeless.com/en/scraping-browser/guides/optimizing-cost/)
---

#### Mã Ví dụ

Dưới đây là một ví dụ về việc kết hợp ba chiến lược này sử dụng Scrapeless Cloud Browser + Puppeteer để thu thập tài nguyên tối ưu:

// Kích hoạt chặn yêu cầu

await page.setRequestInterception(true);
 
// Định nghĩa các loại tài nguyên cần chặn
const BLOCKED_TYPES = new Set([
    'image',
    'font',
    'media',
    'stylesheet',
]);
 
// Chặn các yêu cầu
page.on('request', (request) => {
    if (BLOCKED_TYPES.has(request.resourceType())) {
        request.abort();
        console.log(`Đã chặn: ${request.resourceType()} - ${request.url().substring(0, 50)}...`);
    } else {
        request.continue();
    }
});
 
await page.goto(url, {waitUntil: 'domcontentloaded'});
 
// Trích xuất dữ liệu
const data = await page.evaluate(() => {
    return {
        title: document.title,
        content: document.body.innerText.substring(0, 1000)
    };
});
 
await browser.close();
return data;
}
 
// Cách sử dụng
scrapeWithResourceBlocking('https://www.scrapeless.com')
    .then(data => console.log('Kết quả thu thập dữ liệu:', data))
    .catch(error => console.error('Thu thập dữ liệu thất bại:', error));