Hướng dẫn thiết lập Proxy SOCKS5 cho Chrome, Python và cURL

TL;DR:

• Một proxy SOCKS5 truyền tải lưu lượng ứng dụng mà không giải thích HTTP, nhưng khách hàng vẫn kiểm soát DNS, xác thực, cookie và xác minh.
• Sử dụng giải quyết tên phía proxy khi tên đích không nên qua bộ giải quyết địa phương. Trong cURL điều này có nghĩa là socks5h://, trong khi cài đặt của trình duyệt và Python cần một tùy chọn DNS từ xa tương đương.
• Kiểm tra tuyến đường theo từng lớp. Xác nhận bắt tay proxy, vị trí thoát, hành vi DNS, phản hồi mục tiêu và nội dung trang dự kiến một cách riêng biệt.
• Giữ một danh tính proxy cho một phiên trình duyệt có trạng thái. Thay đổi tuyến đường trong khi giữ cookie và trạng thái tài khoản có thể tạo ra một phiên không nhất quán.

Cài đặt SOCKS5 trông giống như một máy chủ, một cổng, và có thể là một tên người dùng và mật khẩu. Phần khó khăn không phải là gõ những giá trị đó. Mà là biết thành phần nào giải quyết tên đích, liệu ứng dụng có thực sự tôn trọng proxy hay không, và một kết nối thành công chứng minh điều gì.

Hướng dẫn này cấu hình cùng một điểm cuối SOCKS5 được ủy quyền trong Chrome, Python và cURL. Nó cũng cung cấp cho bạn một chuỗi chẩn đoán ngắn gọn cho các lỗi xác thực, rò rỉ DNS, không tương thích giao thức và phạm vi ứng dụng phần nào.

Proxy SOCKS5 là gì?

SOCKS5 là một giao thức proxy chung được định nghĩa bởi RFC 1928. Một khách hàng yêu cầu proxy kết nối đến một điểm đến, và proxy truyền tải lưu lượng giữa chúng. Bởi vì SOCKS5 hoạt động dưới HTTP, nó có thể mang hơn cả các yêu cầu web.

Sự linh hoạt đó không tự nó làm cho kết nối trở nên vô danh. Ứng dụng vẫn có thể tiết lộ các tiêu đề nhận dạng, cookie, dấu vân tay trình duyệt, hoặc các truy vấn DNS được giải quyết địa phương. SOCKS5 thay đổi con đường mạng; nó không thay thế bảo mật ứng dụng hoặc thiết kế phiên.

Trước khi bạn cấu hình SOCKS5

Thu thập những giá trị này từ dịch vụ proxy mà bạn được ủy quyền sử dụng:

• Tên miền hoặc địa chỉ IP của proxy.
• Cổng proxy.
• Phương pháp xác thực và thông tin đăng nhập, nếu cần.
• Gia đình địa chỉ và vị trí được hỗ trợ.
• Liệu nhà cung cấp mong đợi giải quyết tên miền từ xa.

Lưu trữ thông tin đăng nhập bên ngoài ảnh chụp màn hình, vé và kiểm soát nguồn. Sử dụng một trình quản lý bí mật hoặc biến môi trường được bảo vệ cho tự động hóa. Ngoài ra, chọn một điểm đến thử nghiệm công cộng mà quy tắc truy cập của nó cho phép yêu cầu của bạn.

Cấu hình SOCKS5 trong Chrome

Chrome sử dụng ngăn xếp proxy của hệ điều hành trong các cài đặt desktop thông thường, mặc dù các cờ dòng lệnh rất hữu ích cho một lần ra mắt chẩn đoán tách biệt. Tài liệu Chromium SOCKS proxy giải thích cách định tuyến SOCKS và hành vi giải quyết tên miền của trình duyệt.

Đối với một hồ sơ thử nghiệm tạm thời, đóng các phiên thử nghiệm hiện có và khởi động Chrome với cờ máy chủ SOCKS. Lệnh sau đây là minh họa; thay thế điểm cuối và thư mục hồ sơ bằng các giá trị bạn kiểm soát:

google-chrome \
  --user-data-dir="/tmp/chrome-socks-test" \
  --proxy-server="socks5://proxy.example.com:1080" \
  "https://example.com/"

Sử dụng một hồ sơ thử nghiệm chuyên dụng để các thí nghiệm proxy không thừa kế cookie duyệt web bình thường hoặc các tiện ích mở rộng. Nếu điểm cuối yêu cầu xác thực tên người dùng/mật khẩu, xác nhận rằng luồng xác thực của trình duyệt được dịch vụ proxy của bạn hỗ trợ; một trợ lý proxy hệ điều hành hoặc phiên trình duyệt được quản lý có thể được yêu cầu.

Sau khi khởi động, kiểm tra một trang IP-echo đã ủy quyền và một bài kiểm tra DNS. Sau đó mở trang web dự định và xác minh nội dung của nó. Một thay đổi IP thoát với địa phương sai hoặc một phản hồi ứng dụng trống không phải là một nhiệm vụ thành công.

Cấu hình SOCKS5 trong Python

Các thư viện mạng Python không chia sẻ một cài đặt proxy toàn cầu. Cấu hình thư viện gửi yêu cầu và xác minh rằng phụ thuộc SOCKS của nó đã được cài đặt. Đối với Requests, cài đặt SOCKS bổ sung trong một môi trường tách biệt và giữ thông tin đăng nhập ra khỏi kịch bản.

Ví dụ sau đây là minh họa vì điểm cuối và mật khẩu là các ký hiệu thay thế:

import os
from urllib.parse import quote

import requests

host = os.environ["SOCKS5_HOST"]
port = os.environ.get("SOCKS5_PORT", "1080")
user = quote(os.environ["SOCKS5_USER"], safe="")
password = quote(os.environ["SOCKS5_PASSWORD"], safe="")

proxy = f"socks5h://{user}:{password}@{host}:{port}"
response = requests.get(
    "https://example.com/",
    proxies={"http": proxy, "https": proxy},
    timeout=(5, 30),
)
response.raise_for_status()
assert "Example Domain" in response.text

Giá trị socks5h gửi tên miền qua proxy. Giá trị socks5 để giải quyết tên miền cho khách hàng địa phương. Mã hóa phần trăm tên người dùng và mật khẩu ngăn các ký tự URL đã đặt từ việc thay đổi ý nghĩa của URL proxy.

Sự khẳng định nội dung là quan trọng. Chỉ một mã trạng thái HTTP không thể cho bạn biết liệu phản hồi đó có phải là trang dự kiến, một màn hình đồng ý, hay một tài liệu lỗi chung.

Bắt Đầu Khai Thác với Scrapeless

Khởi động quy trình làm việc khai thác web và tự động hóa của bạn với Scrapeless!
Đăng ký hôm nay và nhận $5 tín dụng miễn phí — không cần thẻ tín dụng.

Nhận tín dụng miễn phí của bạn ngay bây giờ trong Scrapeless Dashboard.

Cấu hình SOCKS5 trong cURL

cURL làm cho lựa chọn DNS trở nên rõ ràng trong sơ đồ proxy. Tài liệu tham khảo lệnh chính thức ghi lại --proxy, --proxy-user, và các biến thể SOCKS.
Sử dụng socks5h:// để phân giải tên máy chủ phía proxy:

curl \
  --proxy "socks5h://proxy.example.com:1080" \
  --proxy-user "replace-with-user:replace-with-password" \
  --connect-timeout 5 \
  --max-time 30 \
  --show-error \
  "https://example.com/"

Lệnh này chỉ mang tính minh họa vì các giá trị proxy là các placeholder. Tránh việc nhúng thông tin đăng nhập thực tế vào lịch sử shell được chia sẻ. Trong các công việc không giám sát, chèn một giá trị được bảo vệ trong thời gian thực thi và giữ cho đầu ra kết nối chi tiết không có trong các nhật ký thông thường.

Chẩn đoán Kết nối SOCKS5 theo Cấp độ

Bắt đầu với cấp độ thất bại sớm nhất. Điều này giúp giữ cho vấn đề DNS không bị nhầm lẫn với vấn đề xác thực.

Kiểm tra đích cùng một mà không có proxy như một dạng kiểm soát. Nếu đường đi trực tiếp hoạt động và đường được proxy không thành công trước khi có phản hồi HTTP, hãy kiểm tra bắt tay proxy. Nếu cả hai đều trả về tài liệu nhưng chỉ một trong số đó có ngôn ngữ hoặc danh mục sai, hãy kiểm tra lựa chọn geo và cookie.

Các Lỗi Thiết Lập SOCKS5 Thường Gặp

Ứng dụng bỏ qua proxy

Một số ứng dụng mở các socket riêng hoặc sử dụng một dịch vụ mạng riêng biệt. Xác nhận hỗ trợ proxy cho khách hàng chính xác và thử nghiệm tất cả các quy trình con, không chỉ cửa sổ trình duyệt nhìn thấy.

DNS vẫn phân giải cục bộ

Một con đường có thể sử dụng proxy trong khi tên đích vẫn đến được bộ giải cục bộ. Chọn phân giải tên máy chủ phía proxy và xác minh điều đó với một thử nghiệm đặc thù DNS, không phải một trang chỉ có IP.

Xác thực bị lỗi trên các ký tự đặc biệt

Các ký tự dự trữ trong URL có thể tách biệt tên người dùng, mật khẩu, máy chủ hoặc cổng. Ưu tiên lựa chọn thông tin đăng nhập dành riêng mà khách hàng cung cấp; nếu không, mã hóa giá trị trước khi xây dựng URL.

Proxy hoạt động, nhưng phiên làm việc thì không

Cookie, địa phương, múi giờ và dấu vân tay trình duyệt có thể mô tả một danh tính khác với đường ra. Giữ cho những thuộc tính đó đồng nhất trong suốt vòng đời của một quy trình công việc trạng thái.

Khi Phiên Trình Duyệt Quản Lý Là Ranh Giới Tốt Hơn

Cấu hình SOCKS5 thủ công là lựa chọn tốt cho các thử nghiệm mạng được kiểm soát và các khách hàng HTTP đơn giản. Một quy trình làm việc trình duyệt thêm vào việc thực thi JavaScript, cookie, tính nhất quán dấu vân tay, xử lý thử thách và ghi lại phiên.

Scrapeless Proxy cung cấp định tuyến proxy được quản lý, trong khi Scrapeless Scraping Browser có thể sở hữu phiên trình duyệt khi lớp ứng dụng trở thành vấn đề lớn hơn. Hướng dẫn proxy đám mây giải thích mô hình hoạt động, và các điều khoản hiện tại nằm trên trang giá Scrapeless.

Kết Luận

Một thiết lập SOCKS5 đáng tin cậy làm rõ năm lựa chọn: điểm cuối, xác thực, vị trí DNS, ranh giới phiên, và xác thực. Cấu hình khách hàng mà bạn thực sự sử dụng, thử nghiệm tuyến đường theo từng cấp độ, và đánh giá thành công dựa trên dữ liệu nhiệm vụ trả về thay vì chỉ IP ra.

Sẵn Sàng Đơn Giản Hóa Thiết Lập Proxy?

Tham gia cộng đồng Scrapeless trên Discord hoặc Telegram. Mở Bảng điều khiển Scrapeless để so sánh một tuyến đường được quản lý với thiết lập hiện tại của bạn.

Câu Hỏi Thường Gặp

Q: Sự khác biệt giữa SOCKS5 và proxy HTTP là gì?

SOCKS5 chuyển tiếp kết nối mà không hiểu ngữ nghĩa HTTP. Một proxy HTTP hiểu các yêu cầu HTTP và có thể áp dụng hành vi đặc thù HTTP như đường hầm cho các điểm đến HTTPS.

Q: SOCKS5 có mã hóa lưu lượng không?

SOCKS5 không thêm mã hóa đầu cuối. Sử dụng một giao thức ứng dụng được mã hóa như HTTPS, và làm theo hướng dẫn vận chuyển của nhà cung cấp proxy.

Q: Sự khác biệt giữa socks5:// và socks5h:// trong cURL là gì?

Hình thức socks5:// phân giải tên đích cục bộ. Hình thức socks5h:// yêu cầu proxy giải quyết nó.

Q: Tại sao Chrome hiển thị cùng một IP sau khi cấu hình SOCKS5?

Quá trình trình duyệt hiện tại có thể không nhận được cài đặt, một tiện ích mở rộng hoặc quy trình con có thể sử dụng một con đường khác, hoặc một hồ sơ hiện tại vẫn có thể đang mở. Thử nghiệm với một hồ sơ riêng biệt và kiểm tra đường dẫn mạng thực tế.

Q: Có thể sử dụng một proxy SOCKS5 cho toàn bộ quy trình đăng nhập không?
Có. Giữ một proxy được ủy quyền, cookie jar, ngôn ngữ, và hồ sơ trình duyệt cùng nhau thường là lựa chọn hợp lý cho một quy trình làm việc có trạng thái.

Q: Làm thế nào để tôi biết liệu DNS SOCKS5 có bị rò rỉ không?

Sử dụng một bài kiểm tra cụ thể cho DNS và so sánh nó với một điều khiển trực tiếp. Một trang IP thoát chỉ cho thấy lộ trình yêu cầu web; nó không chứng minh nơi tên miền đích được giải quyết.

Q: Khi nào tôi nên sử dụng một trình duyệt được quản lý thay vì cấu hình SOCKS5 thủ công?

Sử dụng một trình duyệt được quản lý khi việc xử lý kết xuất JavaScript, dấu vân tay trình duyệt, xử lý thách thức, ghi lại phiên, và tính đồng thời cần nhiều kỹ thuật hơn lộ trình mạng tự nó.