Proxy là gì?

Scrapeless Proxies hỗ trợ quay proxy được quản lý và kiểm soát phiên cho các yêu cầu web cần đầu ra phân tán hoặc liên tục.

Định nghĩa

Một proxy quay là dịch vụ proxy gán các địa chỉ IP đầu ra khác nhau từ một bể theo một chính sách xác định. Khách hàng gửi yêu cầu đến một cổng, và cổng chọn một điểm thoát. Quay có thể xảy ra cho mỗi yêu cầu độc lập, sau một thời gian cố định, hoặc khi khách hàng bắt đầu một phiên làm việc logic mới.

Nhãn quay không nói gì về nơi các địa chỉ đến từ. Một bể có thể chứa các điểm thoát dân cư, trung tâm dữ liệu, di động, hoặc IPv6. Nó cũng không đảm bảo rằng mỗi yêu cầu nhận một địa chỉ chưa từng thấy trước đó; các nhà cung cấp có thể chọn từ một bể có sẵn hữu hạn, và cùng một IP có thể xuất hiện lại sau đó.

Quay nằm trên cấu trúc định tuyến yêu cầu thông thường. Ngữ nghĩa HTTP xem proxy như một trung gian và để phân bổ địa chỉ cho việc triển khai. Các ứng dụng vẫn cần xác thực đúng, xác minh TLS, cookie, phương thức yêu cầu, và xử lý phản hồi bất kể tần suất thay đổi của điểm thoát.

Cách quay proxy hoạt động

Khách hàng xác thực với một cổng và có thể gửi các tham số vị trí, bể, hoặc phiên. Cổng lọc các điểm thoát đủ điều kiện, chọn một, tạo kết nối đầu ra, và ánh xạ phản hồi trở lại cho khách hàng. Với quay theo yêu cầu, một yêu cầu độc lập mới kích hoạt việc lựa chọn khác. Với quay theo thời gian, một điểm thoát vẫn được gán cho đến khi một khoảng thời gian kết thúc.

Các mã phiên cho khách hàng một số kiểm soát về ánh xạ. Sử dụng lại cùng một mã có thể giữ một điểm thoát, trong khi thay đổi nó yêu cầu một điểm thoát khác. Hành vi chính xác phụ thuộc vào nhà cung cấp: một mã có thể là thành phần tên người dùng, cổng, token, hoặc tham số API. Ghi lại quy tắc đã chọn trong mã và cấu hình để hai dịch vụ không vô tình chia sẻ cùng một không gian tên phiên.

Quay có thể tương tác với việc dịch địa chỉ mạng. Hành vi NAT truyền thống khớp các kết nối nội bộ với các địa chỉ công cộng, trong khi một cổng proxy thêm một lớp lựa chọn do ứng dụng kiểm soát. Thấy cùng một IP công cộng không chứng minh rằng cùng một khách hàng nội bộ đã thực hiện hai yêu cầu, và thấy một IP mới không chứng minh rằng tất cả các tín hiệu danh tính khác đã thay đổi.

1. Khách hàng chọn và xác thực với một điểm cuối proxy.
2. Proxy áp dụng bể, vị trí, phiên, và quy tắc truy cập.
3. Proxy tạo một kết nối đầu ra hướng tới điểm đến được yêu cầu.
4. Phản hồi điểm đến quay trở lại qua proxy cho khách hàng.

Kích thước chính

Proxy là gì? được hiểu tốt nhất như một gói các thuộc tính mạng và phiên quan sát được thay vì một nhãn tiếp thị.

Các trường hợp sử dụng chung

Trường hợp sử dụng đúng là trường hợp mà lộ trình proxy trả lời một yêu cầu mạng hoặc phân địa phương được xác định và quyền truy cập cơ bản được ủy quyền.

Xoay theo yêu cầu hay Xoay theo thời gian?

Sử dụng vòng quay theo yêu cầu khi mỗi yêu cầu là độc lập, không trạng thái và an toàn để điều hướng qua một lối ra khác nhau. Các ví dụ bao gồm các trang chi tiết công khai bị cô lập hoặc các truy vấn tìm kiếm tách biệt. Giữ cho độ đồng thời và khối lượng trong giới hạn chấp nhận được của điểm đến và không coi một lượng lớn là sự cho phép cho lưu lượng không giới hạn.

Sử dụng quay vòng theo thời gian hoặc theo phiên khi nhiều yêu cầu hình thành một nhiệm vụ logic. Phân trang, một hành trình địa phương hóa, hoặc một quy trình làm việc trên trình duyệt thường cần một lối thoát cho đến khi hoàn thành. Quyết định đơn vị công việc trước, sau đó gắn định danh phiên với đơn vị đó. Kết thúc nhiệm vụ nên giải phóng hoặc ngừng sử dụng định danh đó.

Một lộ trình tĩnh có thể tốt hơn cho danh sách cho phép của đối tác, tính nhất quán của tài khoản và kiểm toán. Việc luân phiên thêm sự biến đổi có thể che mờ khả năng tái sản xuất. Một hệ thống thực tế có thể hỗ trợ cả hai: lộ trình ổn định cho công việc có trạng thái và lộ trình luân phiên cho các nhiệm vụ độc lập, với thông tin xác thực riêng và quy tắc định tuyến rõ ràng.

• Định nghĩa đơn vị công việc. Quyết định xem một yêu cầu, một nhóm trang, hoặc một hành trình trình duyệt nên chia sẻ một danh tính mạng hay không.
• Giữ các biến của khách hàng ổn định. So sánh các tuyến đường với cùng mục tiêu, cookie, tiêu đề, khu vực và logic trích xuất.
• Đo lường đầu ra có thể sử dụng. Theo dõi nội dung và khu vực chính xác, không chỉ thành công kết nối hoặc số lượng địa chỉ IP đã quan sát.
• Bảo vệ thông tin xác thực. Giữ tên người dùng proxy, mật khẩu và mã thông báo ra khỏi mã nguồn, URL trong tài liệu và nhật ký hoạt động.

Chế Độ Thất Bại Của Proxy Xoay

Sai lầm phổ biến nhất là xoay vòng trong một quy trình làm việc có trạng thái. Trang web thấy cùng một cookie hoặc tài khoản đến từ các mạng không liên quan, hoặc một yêu cầu mất bối cảnh phía máy chủ liên quan đến lộ trình trước đó. Định nghĩa ranh giới phiên ở cấp độ nhiệm vụ kinh doanh thay vì ở một cuộc gọi hàm tùy ý.

Một sai lầm khác là đếm các IP duy nhất thay vì kết quả có thể sử dụng. Chỉ số quan trọng là nội dung được ủy quyền chính xác trên mỗi đơn vị thời gian và chi phí. Ghi lại độ chính xác của khu vực, trạng thái, tính đầy đủ của dữ liệu, và kết quả phân tích. Một yêu cầu sử dụng một địa chỉ mới nhưng trả về trang thách thức không phải là một kết quả dữ liệu thành công.

Siêu dữ liệu được chuyển tiếp có thể làm phức tạp các giả định về danh tính nguồn. Trường "Forwarded" tiêu chuẩn hóa cho phép các bên trung gian tiết lộ thông tin về đường dẫn yêu cầu gốc. Kiểm tra các tiêu đề thực và tránh các tuyên bố rằng việc xoay vòng loại bỏ mọi dấu vết của một khách hàng upstream.

Các loại Proxy liên quan và mô hình phiên

Kiến trúc proxy trở nên dễ dàng hơn để lý giải khi địa chỉ gốc và hành vi phiên được so sánh độc lập với nhau.

Các hoạt động và Sử dụng Có Trách Nhiệm

Đối xử với lớp proxy như một hạ tầng được đo lường. Ghi lại khu vực đã chọn, lớp proxy, chính sách phiên, máy chủ mục tiêu, trạng thái phản hồi, thời gian phản hồi, và số byte đã chuyển mà không ghi lại thông tin xác thực hoặc payload nhạy cảm. Tách biệt lỗi mạng khỏi lỗi ứng dụng: một proxy có thể truy cập vẫn có thể trả về một từ chối từ phía mục tiêu, trong khi một trang hợp lệ vẫn có thể gặp lỗi khi phân tích. Sự tách biệt này làm cho việc lập kế hoạch năng lực và xem xét sự cố hữu ích hơn nhiều so với một bộ đếm thành công đơn lẻ.

Một proxy thay đổi đường đi mạng, nhưng nó không cấp quyền thu thập hoặc sử dụng dữ liệu. Các đội nên giới hạn việc thu thập dữ liệu chỉ đối với dữ liệu mà họ được phép truy cập, đọc các điều khoản của dịch vụ mục tiêu, tôn trọng các yêu cầu về quyền riêng tư và bảo vệ dữ liệu áp dụng, và tránh các nguồn riêng tư, bí mật hoặc bị hạn chế. Khối lượng thu thập nên phù hợp với nhu cầu kinh doanh hợp pháp hơn là lưu lượng tối đa mà một nhóm proxy có thể gửi.

Một thiết kế sản xuất cũng nên thiết lập độ đồng thời ở cấp độ máy chủ, ngân sách yêu cầu, phạm vi ủy quyền và quy tắc giữ chân trước khi lưu lượng bắt đầu. Ngừng thu thập khi điểm đến hoặc tài khoản cho biết rằng quyền truy cập không được phép. Giữ thông tin nhạy cảm ra khỏi các xác định phiên proxy, và tài liệu ai là người sở hữu cấu hình tuyến, phản hồi sự cố và đánh giá nhà cung cấp.

Kết luận

Proxy xoay là gì mô tả một phần cụ thể của đường dẫn giữa khách hàng và điểm đến. Một triển khai hợp lý sẽ chỉ định chính xác phần đó, tách biệt nó khỏi chính sách giao thức và phiên, kiểm tra nó với quy trình công cộng dự kiến, và coi proxy là cơ sở hạ tầng được kiểm soát thay vì một đảm bảo truy cập toàn diện.

Bắt đầu với lộ trình ít phức tạp nhất đáp ứng yêu cầu đã được xác minh. Thêm lựa chọn địa lý, xoay, độ bền, hoặc nguồn IP khác chỉ khi hành vi mục tiêu được đo lường biện minh cho sự thay đổi. Cách tiếp cận đó giữ cho hiệu suất, chi phí, danh tính và quyết định tuân thủ rõ ràng cho nhóm vận hành quy trình làm việc.