gem install watir

require 'watir'

# khởi tạo trình duyệt
browser = Watir::Browser.new :chrome, headless: true

# điều hướng đến URL
url = 'https://httpbin.io/ip'
browser.goto(url)

# nhận nội dung trang
page_content = browser.text
puts page_content

# đóng trình duyệt
browser.close

# ...
# xác định proxy
proxy = {
   http: '8.219.97.248:80',
   ssl: '8.219.97.248:80'
}

# khởi tạo trình duyệt với các cài đặt proxy
browser = Watir::Browser.new :chrome, headless: true, proxy: proxy
# ...

require 'watir'

# xác định proxy
proxy = {
   http: '8.219.97.248:80',
   ssl: '8.219.97.248:80'
}

# khởi tạo trình duyệt
browser = Watir::Browser.new :chrome, headless: true, proxy: proxy

# điều hướng đến URL
url = 'http://httpbin.io/ip'
browser.goto(url)

# nhận nội dung trang
page_content = browser.text
puts page_content

# đóng trình duyệt
browser.close

require 'watir'
require 'logger'

# danh sách proxy (thay thế bằng danh sách của riêng bạn)
proxies = [
  { http: '8.219.97.248:80', ssl: '8.219.97.248:80' },
  { http: '20.235.159.154:80', ssl: '20.235.159.154:80' },
  { http: '18.188.32.159:3128', ssl: '18.188.32.159:3128' },
]

# cấu hình logger của Selenium WebDriver
logger = Selenium::WebDriver.logger
logger.ignore(:jwp_caps, :logger_info)

# ...
# hàm để quay proxy

def get_rotating_proxy(proxies)
  proxies.sample
end
# ...

# ...
begin
  # khởi tạo trình duyệt với một proxy được chọn ngẫu nhiên
  proxy = get_rotating_proxy(proxies)
  logger.info("Sử dụng proxy: #{proxy}")
  browser = Watir::Browser.new :chrome, headless: true, proxy: proxy

  # điều hướng đến URL
  url = 'https://httpbin.io/ip'
  browser.goto(url)

  # lấy nội dung trang
  page_content = browser.text
  puts page_content

rescue => e
  # xử lý lỗi
  logger.error("Đã xảy ra lỗi: #{e.message}")
ensure
  # đóng trình duyệt
  browser.close
end

# Thay thế bằng thông tin xác thực Scrapeless thực tế của bạn
PROXY_HOST = 'gate.scrapeless.com'
PROXY_PORT = 8000
PROXY_USER = 'your_username'
PROXY_PASS = 'your_password'

# Định nghĩa chuỗi proxy có xác thực
auth_proxy = "#{PROXY_USER}:#{PROXY_PASS}@#{PROXY_HOST}:#{PROXY_PORT}"

# Định nghĩa cài đặt proxy
proxy = {
   http: auth_proxy,
   ssl: auth_proxy
}

# Khởi tạo trình duyệt với proxy có xác thực
browser = Watir::Browser.new :chrome, headless: true, proxy: proxy
# ... mã tự động hóa Watir của bạn

Thiết lập một proxy với Watir là một quá trình đơn giản nhưng thiết yếu để vượt qua các biện pháp chống bot. Trong khi việc quay vòng thủ công là khả thi, giải pháp vững chắc và có khả năng mở rộng nhất cho việc thu thập dữ liệu web nghiêm túc trong Ruby là tận dụng dịch vụ proxy tự động, cao cấp như **Scrapeless Proxy**. Điều này cho phép các script Watir của bạn được hưởng lợi từ một kho tàng IP chất lượng cao quay vòng, đảm bảo tỷ lệ thành công cao và cho phép bạn tập trung vào nhiệm vụ chính là khai thác dữ liệu.

## Câu hỏi thường gặp (FAQ)

### Watir là gì?

Watir, viết tắt của Web Application Testing in Ruby, là một bộ thư viện Ruby mã nguồn mở được sử dụng để tự động hóa các trình duyệt web. Nó cho phép bạn viết các script tương tác với các trang web giống như cách mà người dùng thực hiện, khiến nó trở nên phổ biến cho cả testing và thu thập dữ liệu web.

### Tại sao tôi cần một proxy cho việc thu thập dữ liệu Watir?

Bạn cần một proxy để che giấu địa chỉ IP thật của máy tính của bạn. Khi một script Watir gửi một khối lượng lớn yêu cầu, hệ thống chống bot của trang web mục tiêu sẽ phát hiện ra mẫu lưu lượng không bình thường từ một địa chỉ IP duy nhất và chặn nó. Một proxy, đặc biệt là một proxy quay vòng, ngăn điều này bằng cách làm cho các yêu cầu trông như đến từ nhiều người dùng khác nhau.

### Tôi có thể sử dụng một proxy miễn phí với Watir không?

Bạn có thể, nhưng điều này được khuyến cáo là không nên cho bất kỳ dự án nghiêm túc nào. Các proxy miễn phí thường chậm, không đáng tin cậy, có thời gian hoạt động hạn chế và thường đã bị các trang web lớn cho vào danh sách đen. Chúng chỉ phù hợp cho các thử nghiệm cơ bản hoặc mục đích học tập. Đối với môi trường sản xuất, bạn nên sử dụng một dịch vụ cao cấp như Scrapeless.

### Watir có hỗ trợ xác thực proxy không?

Có, Watir hỗ trợ xác thực proxy. Như được thể hiện trong ví dụ tích hợp, bạn có thể bao gồm tên người dùng và mật khẩu trực tiếp trong chuỗi proxy khi định nghĩa cài đặt proxy cho đối tượng `Watir::Browser`.

### Watir có tốt hơn Selenium cho Ruby không?

Watir được xây dựng dựa trên Selenium WebDriver và thường được coi là "thân thiện với Ruby" hơn nhờ vào API sạch sẽ, diễn đạt. Đối với những người dùng đã làm việc trong hệ sinh thái Ruby, Watir cung cấp một cách tiếp cận mang tính ngữ nghĩa và dễ đọc hơn để tương tác với trình duyệt so với việc sử dụng các liên kết Selenium thô.

***

## Tài liệu tham khảo

[1] <a href="https://www.selenium.dev/documentation/" rel="nofollow"><strong>Tài liệu Selenium WebDriver</strong></a>  
[2] <a href="https://httpbin.org/" rel="nofollow"><strong>Dịch vụ HTTPBin</strong></a>  
[3] <a href="https://www.ruby-lang.org/en/" rel="nofollow"><strong>Trang web chính thức của ngôn ngữ lập trình Ruby</strong></a>  
[4] <a href="https://watir.com/" rel="nofollow"><strong>Trang web chính thức của Watir</strong></a>  
[5] <a href="https://www.w3.org/TR/WD-http-proxy-960221" rel="nofollow"><strong>Thông số kỹ thuật Proxy HTTP W3C</strong></a>