Proxy Server là gì?
Scrapeless Proxies cung cấp các tuyến đường quản lý nhà ở, trung tâm dữ liệu, ISP tĩnh và IPv6 để gửi yêu cầu web qua điểm cuối proxy.
TL;DR
- Proxy server là một trung gian. Nó nhận yêu cầu của khách hàng, gửi yêu cầu đó tới một đích đến và trả về phản hồi từ đích đến.
- Đích đến thường thấy địa chỉ mạng của proxy. Proxy thay đổi đường dẫn mạng có thể thấy, nhưng trình duyệt, tài khoản, cookie và tín hiệu thiết bị vẫn có thể xác định khách hàng.
- Những nhãn proxy mô tả các chiều khác nhau. Proxy tiến và lùi mô tả hướng đi; nhà ở và trung tâm dữ liệu mô tả nguồn gốc địa chỉ; xoay vòng và cố định mô tả hành vi phiên làm việc.
- Hỗ trợ giao thức rất quan trọng. Proxy HTTP hiểu việc định tuyến HTTP, trong khi proxy SOCKS cung cấp một phương tiện chuyển tiếp tổng quát hơn cho các ứng dụng tương thích.
- Việc sử dụng có trách nhiệm vẫn là bắt buộc. Một proxy không thay đổi quyền truy cập, điều khoản website, nghĩa vụ bảo mật hoặc nhu cầu bảo vệ thông tin đăng nhập.
Định nghĩa
Proxy server là một dịch vụ mạng đóng vai trò giữa một khách hàng và một server khác. Thay vì kết nối trực tiếp tới đích tới, khách hàng kết nối tới proxy và yêu cầu nó chuyển tiếp lưu lượng tiếp theo. Phản hồi theo cùng một con đường ngược lại. Sắp xếp này có thể tập trung chính sách truy cập, thay đổi địa chỉ nguồn có thể thấy tới đích, chọn một tuyến đường địa lý hoặc tạo một điểm kiểm soát ổn định cho tự động hóa.
Từ proxy rất rộng vì nó đặt tên cho một vai trò, không phải một thiết kế sản phẩm. Một cổng web doanh nghiệp, một lối ra nhà ở được sử dụng cho nghiên cứu địa phương, một relay SOCKS và một proxy lùi phía trước một ứng dụng đều hoạt động như các trung gian. Cách rõ ràng nhất để xác định một proxy là hỏi ai là người mà nó đại diện, nguồn gốc địa chỉ ra của nó, giao thức nó xử lý và thời gian nó giữ cùng một tuyến đường.
HTTP định nghĩa các proxy là một loại trung gian trong tiêu chuẩn ngữ nghĩa HTTP. Tiêu chuẩn giống nhau phân biệt một proxy do khách hàng chọn với một cổng nhận lưu lượng thay mặt cho một nguồn gốc. Sự phân biệt đó giải thích tại sao cụm từ proxy server có thể đề cập đến định tuyến phía khách hàng trong một cuộc trò chuyện và phân phối ứng dụng trong một cuộc trò chuyện khác.
Proxy Server hoạt động như thế nào?
Một proxy server hoạt động bằng cách chấm dứt một kết nối và tạo ra một kết nối khác tới đích yêu cầu. Khách hàng trước tiên giải quyết hoặc nhận điểm cuối proxy, xác thực nếu cần thiết và gửi yêu cầu HTTP hoặc yêu cầu đường hầm. Proxy áp dụng các quy tắc định tuyến và chính sách của nó, chọn một giao diện rời hoặc địa chỉ ra, và mở kết nối tới đích. Sau đó, nó truyền lại byte phản hồi cho khách hàng.
Đối với HTTP đơn giản, một proxy có thể đọc phương thức, URI mục tiêu, các trường và siêu dữ liệu phản hồi. Đối với tunneling HTTPS, một proxy HTTP thường sử dụng phương thức CONNECT để thiết lập một luồng byte tới đích. Việc lưu lượng có được kiểm tra hay không phụ thuộc vào việc triển khai và cấu hình tin cậy; việc sử dụng một đích HTTPS không có nghĩa là mọi triển khai proxy đều thực hiện kiểm tra nội dung. Các ứng dụng nên xác minh chứng chỉ và không bao giờ giả định một proxy không biết là đáng tin cậy.
SOCKS sử dụng một cách tiếp cận khác. Thông số SOCKS5 định nghĩa một relay có thể giao dịch kết nối mà không yêu cầu proxy phải diễn giải mỗi giao thức ứng dụng. Điều này làm cho SOCKS hữu ích cho phần mềm cần nhiều hơn lưu lượng web, với điều kiện là khách hàng hỗ trợ SOCKS và xử lý việc phân giải tên như đã được dự định.
- Khách hàng chọn và xác thực với một điểm cuối proxy.
- Proxy áp dụng các quy tắc hồ bơi, vị trí, phiên và truy cập.
- Proxy tạo ra một kết nối ra hướng tới đích yêu cầu.
- Phản hồi từ đích trở về qua proxy tới khách hàng.
Các chiều quan trọng
Proxy Server là gì được hiểu tốt nhất như một gói các thuộc tính mạng và phiên quan sát được chứ không phải là một nhãn tiếp thị.
| Chiều | Nó có nghĩa là gì |
|---|---|
| Hướng lưu lượng | Proxy tiến đại diện cho khách hàng; proxy lùi hoặc cổng đại diện cho các server. |
| Nguồn gốc địa chỉ | Nhãn nhà ở, trung tâm dữ liệu, ISP, di động và IPv6 mô tả mạng phía sau lối ra. |
| Chính sách phiên | Một tuyến đường có thể thay đổi theo yêu cầu, giữ cố định trong một khoảng thời gian, hoặc duy trì cống hiến. |
| Giao thức | HTTP, tunneling HTTPS và SOCKS bao phủ các nhu cầu khách hàng và vận chuyển khác nhau. |
| Mô hình truy cập | Các cổng chung, địa chỉ cống hiến, danh sách cho phép và xác thực tên người dùng/mật khẩu thay đổi quyền kiểm soát hoạt động. |
Các trường hợp sử dụng phổ biến
Trường hợp sử dụng đúng là trường hợp mà tuyến đường proxy đáp ứng một yêu cầu mạng hoặc định vị hóa xác định và quyền truy cập cơ bản được ủy quyền.
Nghiên cứu web công cộng địa phương
Một proxy có thể định tuyến các yêu cầu được ủy quyền qua một khu vực được chọn để các nhà phân tích có thể so sánh khả năng công khai, giá cả hoặc cách trình bày tìm kiếm.
Chính sách ra ngoài trung tâm
Các tổ chức có thể đặt quy tắc lọc, ghi nhật ký hoặc điểm đến tại một điểm ra kiểm soát thay vì cấu hình mỗi ứng dụng một cách riêng biệt.
Thu thập dữ liệu web
Các trình thu thập có thể tách logic trích xuất khỏi định tuyến IP và chọn một loại thoát phù hợp với độ nhạy của mục tiêu và khối lượng của dự án.
Phân phối ứng dụng
Một proxy đảo ngược có thể nhận lưu lượng truy cập cho một ứng dụng và gửi đến một nguồn gốc phù hợp, mặc dù vai trò phía máy chủ đó khác với các proxy thu thập dữ liệu.
Cách chọn một máy chủ Proxy
Chọn một máy chủ proxy bằng cách bắt đầu với khối lượng công việc, không phải nhãn. Xác định giao thức đích, khối lượng lưu lượng truy cập mong đợi, vị trí yêu cầu, thời gian phiên chấp nhận và liệu nhiệm vụ có cần một danh tính ổn định hay nhiều tuyến độc lập không. Một quy trình làm việc trình duyệt với nhiều bước phụ thuộc có yêu cầu khác với tải xuống feed không trạng thái, ngay cả khi cả hai đều sử dụng HTTPS.
Kiểm tra xem liệu việc phân giải DNS có xảy ra tại chỗ hay thông qua proxy, liệu khách hàng có xác thực TLS chính xác hay không, và liệu nhà cung cấp có công khai thông tin sức khỏe và sử dụng hay không. Xác nhận phương thức xác thực và quyết định nơi thông tin xác thực sẽ tồn tại. Các biến môi trường hoặc một trình quản lý bí mật an toàn hơn so với việc nhúng tên người dùng và mật khẩu vào mã nguồn, nhật ký, ảnh chụp màn hình, hoặc tệp cấu hình chia sẻ.
Đánh giá lối ra. Sở hữu ASN, khu vực, chia sẻ địa chỉ và sử dụng trước đó có thể ảnh hưởng đến cách một điểm đến xử lý yêu cầu. Kiểm tra với mục tiêu và khách hàng chính xác mà sản xuất sẽ sử dụng. Một trang kiểm tra IP chung xác nhận định tuyến, nhưng nó không thể chứng minh rằng một quy trình mua sắm, kết quả tìm kiếm, hoặc ứng dụng JavaScript hoạt động đúng qua cùng một lộ trình.
- Định nghĩa đơn vị công việc. Quyết định liệu một yêu cầu, một nhóm trang, hoặc một hành trình trình duyệt nên chia sẻ một danh tính mạng hay không.
- Giữ các biến khách hàng ổn định. So sánh các tuyến với cùng một mục tiêu, cookie, tiêu đề, khu vực và logic trích xuất.
- Đo lường đầu ra có thể sử dụng. Theo dõi nội dung và khu vực đúng, không chỉ thành công kết nối hoặc số lượng IP quan sát được.
- Bảo vệ thông tin xác thực. Giữ tên người dùng proxy, mật khẩu và mã thông báo ra khỏi mã nguồn, URL trong tài liệu, và nhật ký hoạt động.
Những gì một máy chủ Proxy không đảm bảo
Một máy chủ proxy không đảm bảo tính ẩn danh. Cookie, tài khoản đã xác thực, dấu vân tay trình duyệt, mẫu yêu cầu và định danh ứng dụng có thể kết nối hoạt động trên các địa chỉ IP khác nhau. Một số proxy cũng thêm metadata chuyển tiếp. RFC 7239 tiêu chuẩn hóa trường Chuyển tiếp cho các triển khai cố ý tiết lộ thông tin về trung gian; các chi tiết được mô tả trong phần mở rộng HTTP Chuyển tiếp.
Một proxy cũng không tự động cung cấp mã hóa giữa khách hàng và proxy. Sự bảo vệ đó phụ thuộc vào giao thức proxy và cấu hình khách hàng. Nó cũng không làm cho việc tải xuống không an toàn trở nên an toàn, sửa chữa logic trích xuất hỏng, hoặc loại bỏ tỷ lệ và chính sách truy cập của một mục tiêu. Xem xét proxy như một lớp trong một hệ thống rộng hơn bao gồm bảo mật vận chuyển, hành vi trình duyệt, danh tính, và quản lý dữ liệu.
Các loại Proxy và Mô hình Phiên Liên quan
Kiến trúc proxy trở nên dễ dàng hơn để lý giải khi nguồn gốc địa chỉ và hành vi phiên được so sánh độc lập.
| Tùy chọn | Hành vi | Phù hợp nhất |
|---|---|---|
| Proxy chuyển tiếp | Bên khách hàng | Kiểm soát ra ngoài, nghiên cứu, tự động hóa |
| Proxy đảo ngược | Bên máy chủ | Bảo vệ nguồn gốc và phân phối yêu cầu |
| Proxy dân cư | Không gian địa chỉ ISP tiêu dùng | Truy cập công cộng nhạy cảm với địa phương hoặc danh tiếng |
| Proxy trung tâm dữ liệu | Cơ sở hạ tầng lưu trữ | Truy cập nhanh, đáng tin cậy, khối lượng cao |
| Proxy ISP | Địa chỉ tĩnh đã đăng ký với ISP | Các phiên ổn định cần một lộ trình liên kết với ISP |
Hoạt động và Sử dụng Có trách nhiệm
Xem xét lớp proxy như cơ sở hạ tầng được đo lường. Ghi lại khu vực được chọn, lớp proxy, chính sách phiên, máy chủ mục tiêu, trạng thái phản hồi, thời gian phản hồi, và số byte được chuyển mà không ghi nhật ký thông tin xác thực hoặc payload nhạy cảm. Phân tách lỗi mạng khỏi lỗi ứng dụng: một proxy có thể truy cập vẫn có thể trả về yêu cầu từ phía mục tiêu, trong khi một trang hợp lệ vẫn có thể thất bại trong việc phân tích. Phân tách này làm cho việc lập kế hoạch công suất và đánh giá sự cố trở nên hữu ích hơn nhiều so với một bộ đếm thành công đơn lẻ.
Một proxy thay đổi đường đi mạng, nhưng nó không cấp phép thu thập hoặc sử dụng dữ liệu. Các nhóm nên giới hạn thu thập đến dữ liệu mà họ được ủy quyền truy cập, đọc điều khoản của dịch vụ mục tiêu, tôn trọng các yêu cầu về quyền riêng tư và bảo vệ dữ liệu áp dụng, và tránh các nguồn riêng tư, bí mật hoặc hạn chế. Khối lượng thu thập nên phù hợp với nhu cầu kinh doanh hợp pháp chứ không phải lưu lượng tối đa mà một nhóm proxy có thể gửi.
Một thiết kế sản xuất cũng nên thiết lập độ đồng thời ở cấp độ máy chủ, ngân sách yêu cầu, phạm vi thông tin xác thực và quy tắc lưu trữ trước khi lưu lượng bắt đầu. Ngừng thu thập khi đích đến hoặc tài khoản cho biết rằng quyền truy cập không được phép. Giữ dữ liệu nhạy cảm ra khỏi các định danh phiên proxy và tài liệu những ai sở hữu cấu hình đường đi, phản ứng sự cố và đánh giá nhà cung cấp.
Kết luận
Proxy Server là gì mô tả một phần cụ thể của đường đi giữa khách hàng và đích đến. Một triển khai hợp lý đặt tên phần đó chính xác, tách biệt nó khỏi chính sách giao thức và phiên, kiểm tra nó với quy trình công khai dự kiến và coi proxy như hạ tầng được kiểm soát thay vì là một đảm bảo truy cập chung.
Bắt đầu với tuyến đường ít phức tạp nhất đáp ứng yêu cầu đã được xác minh. Chỉ thêm lựa chọn địa lý, xoay vòng, tính bảo tồn hoặc một nguồn IP khác khi hành vi mục tiêu được đo lường biện minh cho sự thay đổi. Cách tiếp cận đó giữ cho hiệu suất, chi phí, danh tính và quyết định tuân thủ luôn rõ ràng với nhóm hoạt động quy trình làm việc.
Sẵn sàng để xây dựng một quy trình làm việc proxy được kiểm soát?
Sử dụng Proxy Không Rác để đánh giá các tuyến đường được quản lý và hành vi phiên cho các tác vụ dữ liệu công khai-web được ủy quyền.
Đăng ký ngay hôm nay và nhận $5 tín dụng miễn phí — không yêu cầu thẻ tín dụng.
Nhận Tín Dụng $5 của Bạn →Câu hỏi thường gặp
Proxy server có giống như VPN không?
Không. Một proxy thường định tuyến lưu lượng cho một ứng dụng hoặc giao thức đã được cấu hình, trong khi VPN thường tạo ra một đường hầm mạng được mã hóa cho lưu lượng thiết bị rộng hơn. Thiết kế nào cũng có thể thay đổi, vì vậy sự so sánh thực tiễn nên kiểm tra phạm vi, mã hóa, xử lý DNS, danh tính và lòng tin của nhà điều hành thay vì chỉ dựa vào nhãn sản phẩm.
Proxy server có giấu địa chỉ IP không?
Một proxy thông thường thay thế địa chỉ nguồn của khách hàng tại đích đến bằng địa chỉ thoát proxy. Thay đổi mạng đó không xóa cookie, danh tính tài khoản, đặc điểm trình duyệt hoặc siêu dữ liệu được thêm vào một cách cố ý bởi proxy. Do đó, việc che giấu một địa chỉ IP khác với việc đạt được tính ẩn danh.
Proxy server có thể đọc lưu lượng HTTPS không?
Một đường hầm CONNECT thông thường mang các byte được mã hóa giữa khách hàng và đích đến, vì vậy proxy thấy siêu dữ liệu kết nối nhưng không thấy nội dung trang đã được giải mã. Một mạng được quản lý có thể kiểm tra HTTPS chỉ khi nó kết thúc TLS dưới một thỏa thuận tin cậy được cài đặt. Khách hàng nên xác minh chứng chỉ và chỉ sử dụng các nhà điều hành proxy đáng tin cậy.
Loại proxy nào là tốt nhất cho việc thu thập dữ liệu web?
Loại proxy tốt nhất phụ thuộc vào mục tiêu và quy trình làm việc. Các tuyến đường trung tâm dữ liệu thích hợp cho các nguồn dung nạp, khối lượng cao; các tuyến đường dân cư phù hợp cho các mục tiêu nhạy cảm với địa điểm hoặc nhạy cảm với danh tiếng; các tuyến đường ISP phù hợp cho các phiên ổn định lâu dài. Thử nghiệm lớp nhỏ nhất phù hợp với các trang công khai đã được ủy quyền và đo lường kết quả trước khi mở rộng khối lượng.
Sử dụng proxy server có hợp pháp không?
Công nghệ proxy là hợp pháp ở nhiều nơi, nhưng các hành động thực hiện qua đó vẫn phải tuân theo hợp đồng, quy tắc quyền riêng tư, bản quyền, luật truy cập máy tính và quy định địa phương. Sử dụng các nguồn công khai được ủy quyền, xem xét điều khoản web, giảm thiểu dữ liệu thu thập và tìm kiếm lời khuyên pháp lý cho một khu vực pháp lý cụ thể hoặc dự án nhạy cảm.