Khóa IP là gì?

Định nghĩa

Khóa IP là một kỹ thuật kiểm soát truy cập từ chối, hạn chế hoặc thách thức lưu lượng vì địa chỉ Internet Protocol nguồn hoặc dải mạng chứa nó. Quy tắc có thể tồn tại trong tường lửa, tường lửa ứng dụng web, proxy ngược, mạng phân phối nội dung, ứng dụng hoặc dịch vụ danh tiếng bên thứ ba. Một khối có thể chính xác, chẳng hạn như một địa chỉ IPv4, hoặc rộng, chẳng hạn như một tiền tố IPv6, dải hệ thống tự trị, phân bổ quốc gia, hoặc loại địa chỉ. Quyết định là về một danh tính mạng được quan sát tại ranh giới máy chủ; nó không chứng minh ai là người hoặc chương trình đứng sau địa chỉ đó.

Câu hỏi thực tiễn không chỉ là thuật ngữ có nghĩa là gì, mà còn là bằng chứng nào hỗ trợ nhãn, những quyết định nào phụ thuộc vào nó, và cách mà một người vận hành xử lý sự không chắc chắn. Hướng dẫn này tách hành vi quan sát được từ giả định để các nhà phát triển, nhóm an ninh, kỹ sư dữ liệu và người mua kỹ thuật có thể sử dụng khái niệm một cách chính xác.

Khóa IP hoạt động như thế nào

Một khối IP là một quyết định chính sách được áp dụng trước hoặc trong quá trình xử lý yêu cầu.

Một máy chủ đầu tiên nhìn thấy địa chỉ nguồn công khai được trình bày bởi kết nối. Hạ tầng bảo mật có thể so sánh địa chỉ đó với danh sách cho phép địa phương, danh sách từ chối, cơ sở dữ liệu quốc gia, dải nhà cung cấp hosting, lịch sử yêu cầu gần đây, hoặc nguồn danh tiếng chia sẻ. Địa chỉ có thể đóng góp vào điểm số rủi ro thay vì tự nó kích hoạt một từ chối cứng. Một yêu cầu rủi ro thấp có thể tiếp cận ứng dụng, một yêu cầu rủi ro trung bình có thể nhận một thách thức, và một yêu cầu rủi ro cao có thể bị từ chối trước khi mã ứng dụng chạy.

Phản ứng kết quả không đồng nhất. Một cổng có thể đóng kết nối, trả về mã lỗi HTTP, chuyển hướng đến một trang thách thức, phục vụ một tài liệu từ chối truy cập tổng quát, hoặc lặng lẽ cung cấp một phiên bản giảm của trang web. Các cấp độ ngữ nghĩa HTTP định nghĩa các mã trạng thái như 403 và 429, nhưng một trang web có thể sử dụng những mã đó cho nhiều nguyên nhân khác nhau. Chẩn đoán do đó yêu cầu nội dung phản ứng, tiêu đề, thời gian và hành vi qua các điều kiện thử nghiệm có kiểm soát, không chỉ là trạng thái số.

Tại sao các trang web chặn địa chỉ IP

Các trang web chặn địa chỉ để bảo vệ khả năng có sẵn, tài khoản, nội dung và ranh giới hợp đồng.

Các kích hoạt phổ biến bao gồm tỷ lệ yêu cầu cao, nhiều thất bại xác thực lặp lại, lưu lượng từ một máy chủ bị xâm phạm, vi phạm chính sách, nộp biểu mẫu lạm dụng, hoặc một dải mạng liên quan đến các cuộc tấn công trước đó. Cấp phép địa lý cũng có thể từ chối địa chỉ được ánh xạ tới các khu vực không được hỗ trợ. Một số đội sử dụng danh sách danh tiếng dựa trên DNS; thuật ngữ danh sách đen DNS trong RFC 5782 giải thích thuật ngữ và các vấn đề hoạt động liên quan đến những danh sách này. Một địa chỉ có thể vào danh sách chặn tự động hoặc thông qua phản ứng bảo mật thủ công.

Các quy tắc IP hấp dẫn vì chúng nhanh chóng và rẻ để thực thi ở rìa, nhưng tín hiệu là thô. Một địa chỉ công khai đơn lẻ có thể đại diện cho một hộ gia đình, văn phòng, nhà mạng di động, trường đại học, hoặc một nhóm lớn phía sau chuyển đổi địa chỉ mạng cấp nhà mạng. Ngược lại, một tác nhân có thể di chuyển giữa nhiều địa chỉ. Do đó, khóa IP thường hữu ích như một lớp trong một hệ thống kiểm soát rộng hơn, không phải là bằng chứng của danh tính hoặc ý định.

Khối tạm thời, từ chối vĩnh viễn và giới hạn tốc độ

Không phải mọi sự hạn chế IP đều là một lệnh cấm vĩnh viễn.

Một khối tạm thời thường hết hạn sau một khoảng thời gian được xác định bởi chính sách hoặc sau khi lưu lượng trở lại một mẫu chấp nhận được. Giới hạn tốc độ cho phép một số yêu cầu nhưng hạn chế tần suất hoặc đồng thời. Một từ chối vĩnh viễn vẫn tồn tại cho đến khi một người vận hành hoặc quy trình danh tiếng tự động thay đổi quy tắc. Cho phép ngược lại logic bằng cách chỉ chấp nhận lưu lượng từ các địa chỉ đã được phê duyệt. Những kiểm soát này có thể trông giống nhau từ phía khách hàng, đặc biệt khi một trang web sử dụng cùng một mẫu từ chối truy cập cho mỗi điều kiện.

Sự khác biệt là quan trọng về mặt vận hành. Một giới hạn tốc độ yêu cầu khối lượng yêu cầu thấp hơn, được ủy quyền và lịch trình tốt hơn. Một quy tắc địa lý yêu cầu xác nhận bề mặt khu vực mong muốn. Một danh sách cho phép yêu cầu phối hợp với chủ sở hữu trang web. Một khối danh tiếng yêu cầu điều tra địa chỉ, nhà cung cấp mạng và lưu lượng gần đây. Đối xử với mỗi từ chối như cùng một vấn đề có thể tạo ra chẩn đoán gây hiểu lầm và có thể làm trầm trọng thêm sự hạn chế.

Cách nhận biết sự hạn chế dựa trên IP

Một sự hạn chế dựa trên IP thường được xác định tốt nhất thông qua so sánh có kiểm soát.

Giữ nguyên URL, phương thức, tiêu đề, phiên bản trình duyệt, trạng thái tài khoản và thời gian, sau đó so sánh truy cập từ các mạng được phê duyệt. Nếu phản ứng chỉ thay đổi với mạng nguồn, chính sách IP là một giả thuyết mạnh. Xác nhận rằng DNS giải quyết về cùng một dịch vụ và rằng sự khác biệt nội dung khu vực không giải thích được kết quả. Ghi lại URL cuối cùng, trạng thái phản ứng, tiêu đề phản ứng, các tiêu đề được chọn, kết quả kết nối, và một băm nhỏ của nội dung thay vì lưu trữ dữ liệu trang không cần thiết.

Tránh đọc quá nhiều vào một phản hồi 403 đơn lẻ. Chính sách xác thực, trạng thái cookie, sự không khớp của user-agent, quy tắc tường lửa ứng dụng web, hoặc một CAPTCHA có thể tạo ra trạng thái giống nhau. Hướng dẫn quản lý bot của OWASP xử lý quyết định của bot như một tập hợp các tín hiệu và khuyến nghị mô hình hóa mối đe dọa trước các biện pháp kiểm soát. Đối với một người thu thập có thẩm quyền, bằng chứng rõ ràng nhất là một ma trận thay đổi một biến tại một thời điểm và ghi lại kết quả quan sát được.

Dương tính giả và Mạng chia sẻ

Việc chặn IP có thể ảnh hưởng đến người dùng hợp pháp chia sẻ một địa chỉ với lưu lượng không liên quan.

Chia sẻ egress là phổ biến trong văn phòng, khách sạn, trường học, mạng di động và dịch vụ quyền riêng tư. Nếu một thiết bị kích hoạt một quy tắc, những người khác đứng sau cùng một địa chỉ công cộng có thể gặp phải sự từ chối tương tự. IPv6 giới thiệu một câu hỏi về độ phân giải khác: chặn một địa chỉ có thể quá hẹp, trong khi chặn một tiền tố lớn có thể ảnh hưởng đến nhiều thiết bị. Đăng ký địa chỉ đặc biệt của IANA duy trì các đăng ký cho những địa chỉ được bảo lưu cho mục đích đặc biệt, không nên được coi là không gian khách hàng công cộng thông thường.

Các nhóm an ninh giảm thiểu tác động phụ bằng cách kết hợp uy tín IP với danh tính đã xác thực, độ nhạy của điểm cuối, tốc độ yêu cầu, lịch sử phiên làm việc và các quy tắc hết hạn rõ ràng. Các nhà điều hành cũng cần một con đường kháng cáo hoặc hỗ trợ cho các đối tác kinh doanh và người dùng. Từ phía khách hàng, một quy trình làm việc có trách nhiệm ghi lại việc chặn, ngừng tăng lưu lượng truy cập và yêu cầu chủ sở hữu trang web một phương thức truy cập đã được phê duyệt khi trường hợp sử dụng phụ thuộc vào quyền truy cập ổn định.

Chặn IP trong Thu thập Dữ liệu Web

Chặn IP là một tín hiệu đáng tin cậy, không phải là sự cho phép để bỏ qua các quy tắc truy cập của một trang web.

Trước khi thu thập dữ liệu công khai, hãy xem xét điều khoản của trang web, hướng dẫn robots nơi có thể áp dụng, điều kiện tài khoản và bất kỳ API nào có sẵn. Sử dụng độ đồng thời bảo thủ, lưu kết quả, yêu cầu chỉ các trường cần thiết cho mục đích đã nêu, và dừng lại khi máy chủ rõ ràng từ chối quyền truy cập. Đối với việc giám sát hoặc nghiên cứu được phê duyệt, hãy tài liệu hóa mục tiêu, mục đích kinh doanh, các danh mục dữ liệu, kế hoạch lưu giữ và con đường liên lạc cho chủ sở hữu trang web.

Proxy không rác có thể hỗ trợ các quy trình làm việc được ủy quyền yêu cầu tính nhất quán về địa lý hoặc định tuyến mạng được quản lý, nhưng việc sử dụng proxy không tạo ra sự cho phép. Giữ cho các phiên được căn chỉnh với vị trí mong muốn, tránh thay đổi địa chỉ nhanh chóng làm biến dạng phân tích, và tách thử nghiệm khỏi sản xuất. Mục tiêu là thu thập dự đoán được, có thể quy cho với tải tối thiểu, không phải là nỗ lực để che giấu hành vi lạm dụng.

So sánh Nhanh

Các sự phân biệt sau đây giúp đặt khái niệm vào quy trình hoạt động mà không làm sập các kiểm soát khác nhau vào một nhãn duy nhất.

Danh sách kiểm tra đánh giá thực tế

Một triển khai đáng tin cậy bắt đầu bằng cách đặt tên cho bề mặt được bảo vệ hoặc thu thập một cách chính xác. Ghi lại URL hoặc điểm cuối, hành động người dùng dự kiến, các trường dữ liệu liên quan, các điều khoản điều chỉnh, khách hàng dự kiến và chủ sở hữu có thể phê duyệt quyền truy cập. Sau đó xác định bằng chứng có thể thay đổi quyết định. Điều này ngăn chặn một nhãn mơ hồ trở thành một cái cớ cho việc thu thập rộng rãi hoặc một khối vĩnh viễn.

Xem xét cái gì là chặn ip bất cứ khi nào một bản phát hành trình duyệt, chính sách bảo mật, nguồn dữ liệu, sơ đồ, hoặc mục đích kinh doanh thay đổi. Một mẫu đã được lập lịch nhỏ sẽ cung cấp thông tin nhiều hơn là một cuộc thăm dò lớn không được kiểm soát: so sánh kết quả dự kiến với kết quả quan sát được, phân loại sự khác biệt, và chuyển nó đến chủ sở hữu có thể sửa chữa nguồn hoặc chính sách. Giữ lại các trường hợp kiểm tra có phiên bản cho quyền truy cập thông thường, một tình huống biên mơ hồ, một kịch bản truy cập, và một thất bại rõ ràng. Giải thể các trường và quy tắc không còn ảnh hưởng đến quyết định. Nhịp điệu này biến một định nghĩa một lần thành một kiểm soát hoạt động mà có thể được kiểm toán, giải thích, và cải thiện mà không cần thu thập nhiều dữ liệu hơn mức cần thiết cho quy trình làm việc.

• Xác nhận mục đích. Gắn mọi tín hiệu và lĩnh vực vào nhu cầu về bảo mật, tính tương thích, xuất bản hoặc chất lượng dữ liệu đã được tài liệu hóa.
• Thay đổi một biến một lần. So sánh có kiểm soát tạo ra những giải thích tốt hơn so với nhiều thay đổi cấu hình đồng thời.
• Đo lường chi phí người dùng. Theo dõi sự từ chối sai, bỏ cuộc, nhu cầu hỗ trợ, độ trễ và tác động đến khả năng tiếp cận bên cạnh các kết quả về bảo mật.
• Tuân theo các quy tắc bằng chứng. Bảo trì nhật ký tối thiểu, URL nguồn, phiên bản sơ đồ và danh mục quyết định mà không thu thập dữ liệu cá nhân không liên quan.
• Cung cấp đánh giá. Người dùng, đối tác và các nhà thu thập được phê duyệt cần một lộ trình để sửa chữa sự phân loại sai.

Kết luận

Điều gì là Khóa IP dễ hiểu nhất khi định nghĩa, bằng chứng, quyết định và giới hạn vẫn tách biệt. Khái niệm này mô tả một cơ chế kỹ thuật hoặc mô hình dữ liệu có thể quan sát; nó hiếm khi chứng minh được danh tính, ý định, chất lượng hoặc quyền hạn tự nó. Các triển khai tốt sử dụng các tín hiệu cần thiết nhỏ nhất, xác thực chúng trong ngữ cảnh, theo dõi lỗi và giữ một lộ trình đánh giá rõ ràng cho con người.

Đối với công việc dữ liệu web, hãy ưu tiên các API và xuất khẩu chính thức, chỉ thu thập thông tin công khai cần thiết cho mục đích đã nêu, và thiết kế một sơ đồ ổn định trước khi mở rộng. Khi việc hiển thị trình duyệt hoặc truy xuất có quản lý là hợp lý, hãy sử dụng Scrapeless trong phạm vi được phê duyệt và giữ cho quy trình làm việc có thể tái sử dụng.

Tài liệu tham khảo

• Tài liệu Scrapeless liên quan
• Tổng quan về sản phẩm Scrapeless Proxies
• Cách thu thập dữ liệu một website mà không bị chặn
• Các dự án mã nguồn mở Scrapeless trên GitHub