Giới Hạn Băng Thông Là Gì? Nguyên Nhân, Tác Động và Giải Pháp
Trình duyệt thu thập dữ liệu Scrapeless Scraping cung cấp các phiên trình duyệt đám mây được quản lý để thu thập dữ liệu từ các trang web công cộng được JavaScript-rendered.
TL;DR
- Giới hạn băng thông cố ý giới hạn tốc độ chuyển dữ liệu. Giới hạn có thể áp dụng cho một người dùng, ứng dụng, loại lưu lượng, kết nối, hoặc khoảng thời gian.
- Giới hạn khác với tắc nghẽn. Tắc nghẽn xảy ra khi nhu cầu vượt quá khả năng có sẵn; giới hạn áp dụng một chính sách rõ ràng.
- Tốc độ truyền, độ trễ, và tỷ lệ yêu cầu đo lường các hạn chế khác nhau. Một chuyển dữ liệu chậm không tự nó tiết lộ hạn chế nào đang hoạt động.
- Các bài kiểm tra có kiểm soát lặp lại tiết lộ nhiều hơn một bài kiểm tra tốc độ. So sánh thời gian, lộ trình, kích thước tải trọng, giao thức, và điểm đến trước khi xác định nguyên nhân.
- Các khách hàng có trách nhiệm điều chỉnh khối lượng công việc của họ. Giảm bớt các byte không cần thiết, lên lịch công việc hàng loạt, tôn trọng các giới hạn đã công bố, và tránh giao thông song song quá mức.
Giới Hạn Băng Thông Được Định Nghĩa
Giới hạn băng thông là việc hạn chế có chủ ý tỷ lệ mà dữ liệu có thể di chuyển qua một đường dẫn mạng hoặc thông qua một dịch vụ. Chính sách này có thể được thực thi bởi nhà cung cấp internet, nhà mạng di động, cổng doanh nghiệp, nền tảng đám mây, dịch vụ nội dung, hệ điều hành, hoặc ứng dụng. Một giới hạn có thể nhắm đến việc tải xuống, tải lên, một giao thức cụ thể, một kế hoạch khách hàng, hoặc lưu lượng vượt quá mức cho phép đã xác định. Triệu chứng rõ ràng là tốc độ truyền ổn định thấp hơn ngay cả khi liên kết vật lý có thể chứa nhiều dữ liệu hơn.
Từ băng thông thường được sử dụng một cách lỏng lẻo. Trong kỹ thuật mạng, băng thông mô tả khả năng có sẵn, trong khi tốc độ truyền là lượng dữ liệu hữu ích được gửi trong một khoảng thời gian. Một quy tắc giới hạn thường giới hạn tốc độ truyền dưới khả năng của đường dẫn. Quy tắc này có thể là cố định, chẳng hạn như một giới hạn cố định, hoặc có điều kiện, chẳng hạn như một giới hạn thấp hơn sau khi một hạn ngạch được tiêu thụ. MDN mô tả giới hạn mạng như làm chậm có chủ ý, một sự phân biệt hữu ích so với một đường dẫn quá tải làm chậm mà không có một chính sách cố ý.
Nơi Giới Hạn Vào Đường Dẫn
Giới Hạn Băng Thông Là Gì cần một giải thích từng lớp vì kết quả rõ ràng của nó có thể có nhiều nguyên nhân. Các giai đoạn bên dưới gắn từng tuyên bố với một phần quan sát được của hệ thống.
Phân loại chính sách
Một thiết bị hoặc dịch vụ trước tiên phân loại lưu lượng sử dụng thông tin mà nó có thể quan sát, chẳng hạn như danh tính tài khoản, điểm đến, cổng, giao thức, nhãn ứng dụng, lịch sử kết nối, hoặc tổng số byte đã chuyển. Các tải trọng mã hóa giảm khả năng hiển thị nội dung, nhưng siêu dữ liệu vẫn có thể hỗ trợ các quyết định chính sách. Phân loại có thể rộng hoặc hẹp, đó là lý do tại sao một điểm đến có thể xuất hiện chậm hơn một điểm đến khác trên cùng một liên kết truy cập.
Thực thi tỷ lệ
Một bộ hình dạng tạo hàng đợi các gói tin và phát hành chúng ở một tốc độ được cấu hình, trong khi một bộ kiểm tra có thể loại bỏ lưu lượng vượt quá mức cho phép của nó. Tạo hàng đợi có xu hướng tạo ra một giới hạn ổn định và độ trễ bổ sung dưới tải. Loại bỏ có thể kích hoạt phục hồi lớp vận chuyển và tạo ra tốc độ truyền không đồng đều. Cả hai cơ chế này đều hạn chế tốc độ truyền đã cung cấp, nhưng các mẫu chuỗi thời gian của chúng khác nhau.
Kiểm soát ứng dụng
Một dịch vụ có thể thực thi một kết quả tương tự trên lớp mạng bằng cách giới hạn băng thông phản hồi, tải xuống đồng thời, kích thước kết quả, hoặc công việc hoàn thành trên mỗi tài khoản. Giới hạn tỷ lệ ứng dụng thường đếm các hoạt động, trong khi giới hạn băng thông kiểm soát byte theo thời gian. Hai cái này có thể đồng tồn tại, vì vậy một khách hàng có thể duy trì dưới một hạn ngạch yêu cầu và vẫn đạt đến một giới hạn chuyển giao.
Giới Hạn, Tắc Nghẽn, Giới Hạn Tỷ Lệ và Giới Hạn Dữ Liệu
Những phân biệt này tách biệt Giới Hạn Băng Thông Là Gì khỏi các thuật ngữ gần đó thường được sử dụng như là đồng nghĩa. Chúng cũng phơi bày những gì tài liệu phải tuyên bố để một triển khai có thể được kiểm tra.
| Khái Niệm | Ý Nghĩa | Tín hiệu thực tiễn |
|---|---|---|
| Giới hạn băng thông | Một chính sách rõ ràng giới hạn tỷ lệ chuyển giao. | Một giới hạn tốc độ truyền có thể lặp lại dưới cùng một điều kiện. |
| Tắc nghẽn | Lưu lượng cạnh tranh làm đầy một liên kết hoặc hàng đợi bị hạn chế. | Hiệu suất thay đổi theo tải và có thể cải thiện ngoài giờ cao điểm. |
| Giới hạn tỷ lệ | Một dịch vụ giới hạn các hoạt động trong một khoảng thời gian. | Các phản hồi chậm, xếp hàng, hoặc từ chối công việc sau khi số lượng yêu cầu tăng lên. |
| Giới hạn dữ liệu | Một kế hoạch giới hạn tổng số dữ liệu đã chuyển trong một khoảng thời gian thanh toán hoặc chính sách. | Hệ quả có thể là một khoản phí, đình chỉ, hoặc giới hạn sau này. |
| Định hình lưu lượng | Một bộ điều khiển lên lịch các lớp để đạt được các mục tiêu chính sách. | Một số lớp nhận được ưu tiên hoặc giới hạn dự đoán. |
Tại Sao Các Mạng Áp Dụng Giới Hạn Băng Thông
Băng thông hạn chế là gì có một vị trí trong thiết kế khi các thuộc tính của nó giải quyết một ràng buộc quy trình làm việc đã đặt tên. Các kịch bản bên dưới kết nối khái niệm này với một nhu cầu kỹ thuật có thể quan sát được.
Công bằng về dung lượng
Mạng chia sẻ có thể ngừng một chuyển giao liên tục từ việc tiêu tốn dung lượng cần thiết cho nhiều người dùng tương tác.
Các cấp dịch vụ
Các nhà cung cấp có thể ánh xạ tốc độ giới hạn được tài liệu hóa tới các kế hoạch khác nhau, vị trí khác nhau hoặc loại thiết bị khác nhau.
Bảo vệ hoạt động
Dịch vụ có thể hạn chế các chuyển giao lớn bất thường để đảm bảo lưu trữ, dữ liệu ra và các hệ thống hạ nguồn vẫn còn khả dụng.
Mô phỏng thử nghiệm
Các nhà phát triển cố ý hạn chế một kết nối thử nghiệm để quan sát cách mà một ứng dụng hoạt động trên các mạng truy cập chậm hoặc biến đổi.
Cách phát hiện hạn chế băng thông một cách cẩn thận
Bắt đầu với một giả thuyết có thể bị bác bỏ. Ghi lại liên kết có dây hoặc không dây, chất lượng tín hiệu địa phương, lưu lượng nền hoạt động, điểm đến, kích thước tải, và thời gian thử nghiệm. Đo lường thông lượng duy trì thay vì chỉ dựa vào thời gian tải trang. Việc hiển thị trang cũng bao gồm việc tra cứu DNS, thiết lập kết nối, xử lý máy chủ, thực thi kịch bản, và lập lịch tài sản, vì vậy nó là một phép đo băng thông độc lập không tốt.
So sánh các chuyển giao có kiểm soát qua nhiều điểm đến và khoảng thời gian khác nhau. Một giới hạn chỉ xuất hiện cho một dịch vụ có thể nằm tại dịch vụ đó, mạng lưới giao hàng của nó, hoặc một điểm kết nối. Một giới hạn xuất hiện qua các điểm đến không liên quan có thể gần hơn với khách hàng. Khung thử nghiệm thông lượng TCP IETF giải thích tại sao kích thước cửa sổ, mất mát, độ trễ, và dung lượng đường đi đều ảnh hưởng đến hiệu suất chuyển giao đo lường được; một kết quả thông lượng là bằng chứng, không phải là bằng chứng tự động cho chính sách.
Kiểm tra hình dạng của phép đo. Một cao nguyên phẳng qua các chuyển giao đủ lớn gợi ý một giới hạn đã được cấu hình mạnh hơn so với một đợt ngắn theo sau bởi sự biến đổi ngẫu nhiên. Thời gian vòng đi tăng trong khi một liên kết đang bận cho thấy sự xếp hàng. Mất gói, thay đổi radio, tải máy chủ, và sự cạnh tranh Wi-Fi tạo ra các mẫu khác nhau. Lặp lại thử nghiệm với cùng một tải và các giả định về lộ trình trước khi tăng cường một yêu cầu.
Những sai lầm chẩn đoán phổ biến
- Tương đương một trang web chậm với một liên kết chậm. Việc thực thi của khách hàng và tính toán máy chủ có thể chiếm ưu thế ngay cả khi dung lượng tải xuống chưa được sử dụng.
- Chỉ thử nghiệm một tệp nhỏ. Các chuyển giao ngắn có thể kết thúc trong một đợt đầu và không bao giờ đạt được tỷ lệ chính sách duy trì.
- Bỏ qua lưu lượng tải lên. Một hàng đợi đầu vào bão hòa có thể làm chậm việc xác nhận và làm cho các chuyển giao hạ nguồn có vẻ bị hạn chế.
- Thay đổi nhiều biến cùng một lúc. Chuyển đổi thiết bị, mạng, điểm đến và thời gian cùng nhau sẽ ngăn cản một so sánh hữu ích.
- Đối xử với hạn ngạch yêu cầu như là giới hạn băng thông. Số lượng hoạt động và tỷ lệ byte yêu cầu các phép đo riêng biệt và các điều khiển khách hàng riêng biệt.
Kế hoạch băng thông cho các quy trình làm việc dữ liệu web
Một quy trình làm việc dữ liệu web nên ngân sách byte cẩn thận như yêu cầu. Lấy đại diện nhỏ nhất đáp ứng tác vụ, tránh tải xuống phương tiện khi văn bản hoặc đầu ra có cấu trúc là đủ, sử dụng lại kết quả lưu vào bộ nhớ cache được phép, và lưu trữ các bản ghi đã chuẩn hóa thay vì các tải trọng thô trùng lặp. Những lựa chọn này giảm thời gian chuyển giao và giảm áp lực lên cả khách hàng và dịch vụ nguồn.
Việc thu thập dựa trên trình duyệt thêm tài sản, JavaScript, và chi phí hiển thị mà một phản hồi HTTP trực tiếp có thể không yêu cầu. Sử dụng trình duyệt khi tương tác hoặc hiển thị phía khách hàng là cần thiết, sau đó giới hạn mỗi phiên với các trang và tài nguyên cần thiết cho mục đích đã nêu. Quyết định nên theo hành vi của trang, không phải là giả định chung rằng một con đường thu thập phù hợp với mọi mục tiêu.
Nếu một giới hạn dịch vụ đã công bố áp dụng, thiết kế xung quanh nó thay vì cố gắng che giấu lưu lượng. Xếp hàng công việc không khẩn cấp, giới hạn đồng thời, bề mặt tiến trình, và dừng lại khi dịch vụ thông báo rằng khối lượng công việc vượt quá chính sách của nó. Một đường ống được đo lường, có thể dự đoán sẽ dễ vận hành hơn và thân thiện hơn với cơ sở hạ tầng chia sẻ.
Danh sách kiểm tra Rà soát Băng thông hạn chế là gì
Sử dụng những điều này để biến định nghĩa Băng thông hạn chế là gì thành bằng chứng thực hiện mà một nhà phát triển, người vận hành hoặc người xem có thể tái tạo.
- Nhắc lại ranh giới. Đối với Băng thông hạn chế là gì, xác định người gọi, nhà cung cấp, lộ trình, và sự kiện chính xác đánh dấu kết quả hoàn chỉnh.
- Xác minh tuyên bố trung tâm. Xác nhận tuyên bố này với việc thực hiện và tài liệu của nó: Băng thông hạn chế cố tình giới hạn tốc độ chuyển giao dữ liệu. Giới hạn này có thể áp dụng cho một người dùng, ứng dụng, lớp lưu lượng, kết nối, hoặc cửa sổ thời gian.
- Theo dõi cơ chế. Quan sát phân loại chính sách, thực thi tỷ lệ, điều khiển ứng dụng, và ghi lại thành phần nào sở hữu từng giai đoạn.
- Kiểm tra sự phân biệt gần nhất. Tài liệu hóa lý do tại sao Băng thông hạn chế có nghĩa là "Một chính sách rõ ràng giới hạn tỷ lệ chuyển giao." trong hệ thống này.
- Thử nghiệm trường hợp sử dụng đại diện. Sử dụng công bằng về dung lượng với dữ liệu thực tế, vị trí, khối lượng, và ranh giới quyền hạn.
- Bảo vệ chống lại một sai lầm đã biết. Xem lại "Tương đương một trang web chậm với một liên kết chậm." và thêm một kiểm tra chấp nhận để phát hiện nó.
- Ràng buộc khối lượng công việc. Đặt giới hạn thích hợp cho chủ đề về Th throttling băng thông, bao gồm tải trọng, độ đồng thời, thời gian thực thi và đầu ra lưu trữ nơi chúng áp dụng.
- Ghi lại quyết định. Giải thích lý do tại sao Th throttling băng thông phù hợp với giới hạn này và nêu bằng chứng sẽ biện minh cho cách tiếp cận khác sau này.
Kết luận
Th throttling băng thông nên mô tả một phần có thể kiểm tra của thiết kế thay vì chỉ là một nhãn lỏng lẻo cho hành vi lân cận. Cuộc xem xét nên bảo tồn quyết định trung tâm này: Th throttling băng thông cố ý giới hạn tốc độ truyền dữ liệu. Giới hạn có thể áp dụng cho một người dùng, ứng dụng, lớp lưu lượng, kết nối hoặc khoảng thời gian. Nó cũng nên cảnh giác với việc đồng nhất một trang web chậm với một liên kết chậm. và giữ quyền truy cập vào Th throttling băng thông trong chính sách đã được tài liệu hóa cho giao diện hoặc mạng.
Sẵn sàng xây dựng quy trình làm việc dữ liệu web của bạn?
Kết nối một bước thu thập hoặc tích hợp Th throttling băng thông đã đo lường với các thực tiễn xác nhận và lưu trữ đã được mô tả ở trên.
Đăng ký hôm nay và nhận $5 tín dụng miễn phí — không cần thẻ tín dụng.
Nhận tín dụng $5 của bạn →Câu hỏi thường gặp
Có phải throttling băng thông giống như một kết nối internet chậm?
Không. Th throttling băng thông là một hạn chế tỷ lệ có chủ ý, trong khi một kết nối chậm có thể là do công nghệ truy cập hạn chế, tắc nghẽn, điều kiện sóng, độ trễ máy chủ, mất gói dữ liệu hoặc khối lượng công việc của thiết bị. Cần có các so sánh được kiểm soát trước khi một chính sách có chủ ý có thể được suy ra.
Liệu một VPN có thể chứng minh rằng một ISP đang throttling lưu lượng không?
Không. Một VPN thay đổi định tuyến, mã hóa, overhead gói dữ liệu, và đôi khi đích đến được sử dụng bởi phân loại chính sách. Hiệu suất tốt hơn qua VPN là một manh mối xứng đáng được thử nghiệm thêm, nhưng nó không xác định bên thực thi chỉ bằng chính nó.
Throttling có luôn tăng độ trễ không?
Không. Một bộ định hình được kích thước tốt có thể giữ lưu lượng truyền ở một trần mà không làm tăng lớn độ trễ nhàn rỗi. Độ trễ tăng lên khi hàng đợi xây dựng, đặc biệt là dưới tải nặng. Đo thời gian vòng đi và về nhàn rỗi và tải riêng biệt với tốc độ truyền.
Một trình thu thập dữ liệu nên phản hồi như thế nào với băng thông hạn chế?
Một trình thu thập dữ liệu nên giảm bớt byte không cần thiết, chọn phương pháp thu thập hợp lệ ít tốn kém nhất, giới hạn độ đồng thời, tôn trọng chính sách nguồn, và lên lịch chuyển giao hàng loạt. Tăng cường độ song song có thể làm tình trạng hàng đợi trở nên tồi tệ hơn và có thể di chuyển nút thắt sang một nơi khác.