帯域幅制限とは？原因、影響、および修正

Scrapeless Scraping Browserは、JavaScriptでレンダリングされた公開Webページからデータを収集するための管理されたクラウドブラウザセッションを提供します。

帯域幅制限の定義

帯域幅制限は、データがネットワーク経路またはサービスを通じて移動できる速度を意図的に制限することです。このポリシーは、インターネットプロバイダー、モバイルキャリア、企業ゲートウェイ、クラウドプラットフォーム、コンテンツサービス、オペレーティングシステム、またはアプリケーションによって強制されます。制限は、ダウンロード、アップロード、特定のプロトコル、顧客プラン、または定義された許容量を超えるトラフィックを対象とする場合があります。目に見える症状は、物理リンクがより多くのデータを運ぶことができる場合でも、持続的なスループットが低下することです。

帯域幅という言葉は、しばしばゆるく使われます。ネットワークエンジニアリングでは、帯域幅は利用可能な容量を説明し、スループットは一定の時間内に配信される有用なデータの量です。制限ルールは通常、経路の容量を下回るスループットを制限します。ルールは固定の上限のように一定である場合や、クオータが消費された後に低い上限のように条件付きである場合があります。MDNは次のように説明しています。 ネットワーク制限は意図的な遅延として定義されます過負荷の経路が意図的なポリシーなしに遅くなるのとは異なる有用な区別です。

スロットルが経路に入る場所

帯域幅制限は、その目に見える結果がいくつかの原因を持つ可能性があるため、層別された説明が必要です。以下の段階は、各主張をシステムの観察可能な部分に関連付けます。

ポリシー分類

デバイスまたはサービスは、アカウントID、宛先、ポート、プロトコル、アプリケーションラベル、接続履歴、または転送バイトの総数など、観察できる情報を使用してトラフィックを最初に分類します。暗号化されたペイロードはコンテンツの可視性を減少させますが、メタデータはまだポリシーの決定をサポートできます。分類は広範であったり狭かったりすることがあるため、1つの宛先が同じアクセスリンク上の別の宛先よりも遅く見える場合があります。

レート強制

シェイパはパケットをキューに入れ、設定されたペースでそれらを解放しますが、ポリサーはその許可を超えるトラフィックを破棄する場合があります。キューイングは、負荷の下で安定した上限と余分な遅延を生じさせる傾向があります。破棄はトランスポート層の回復を引き起こし、不均一な転送速度を生じさせることがあります。両方のメカニズムは、提供されるスループットを制約しますが、それらの時系列パターンは異なります。

アプリケーション制御

サービスは、応答帯域幅、同時ダウンロード、結果のサイズ、またはアカウントごとに完了した作業を制限することによって、ネットワーク層以上の同様の結果を強制できます。アプリケーションのレート制限は通常、操作をカウントしますが、帯域幅制限は時間の経過に伴うバイトを制御します。二つは共存することがあり、クライアントはリクエストのクオータの下にとどまり、転送の上限に達することができます。

制限、混雑、レート制限、およびデータキャップ

これらの区別は、帯域幅制限とは何かを隣接する用語から区別します。これらはまた、実装がテスト可能であるためにドキュメントが述べなければならないことを明らかにします。

なぜネットワークは帯域幅制限を適用するのか

帯域幅制限とは、特定のワークフロー制約を解決する特性を持つデザインの中に位置づけられます。以下のシナリオは、この概念と観察可能なエンジニアリングニーズを結びつけます。

帯域幅制限を慎重に検出する方法

反証できる仮説から始めます。有線または無線のリンク、ローカル信号品質、アクティブなバックグラウンドトラフィック、宛先、ペイロードサイズ、テスト時間を記録します。ページ読み込み時間だけに頼るのではなく、持続的なスループットを測定します。ページレンダリングには、DNSルックアップ、接続セットアップ、サーバー処理、スクリプト実行、およびアセットスケジューリングも含まれるため、独立した帯域幅の測定としては不十分です。

複数の宛先と時間帯で制御された転送を比較します。1つのサービスに対してのみ現れる上限は、そのサービス、配信ネットワーク、または相互接続ポイントに存在するかもしれません。無関係な宛先にわたって現れる上限は、クライアントに近いかもしれません。 IETF TCPスループットテストフレームワーク は、ウィンドウサイズ、損失、遅延、パス容量が測定された転送性能にどのように影響するかを説明します。スループットの結果は証拠であり、自動的にポリシーの証拠にはなりません。

測定の形状を確認します。十分に大きな転送に渡る平坦な高原は、短いバーストの後のランダムな変動よりも構成された上限を強く示唆します。リンクが忙しい間に往復時間が増加することは、キュー待ちを示しています。パケット損失、ラジオの変更、サーバーの負荷、Wi-Fiの競合が異なるパターンを生成します。請求をエスカレートする前に同じペイロードとルートの仮定でテストを繰り返します。

一般的な診断ミス

• 遅いウェブサイトを遅いリンクと同じにすること。 クライアントのレンダリングとサーバーの計算は、ダウンロード容量が未使用のときでも支配することがあります。
• 1つの小さなファイルしかテストしない。 短い転送は初期バーストの間に終了し、持続的なポリシー速度には到達しないかもしれません。
• アップロードトラフィックを無視する。 飽和した上流のキューは確認を遅延させ、下流の転送を制約されているように見せることができます。
• 複数の変数を一度に変更する。 デバイス、ネットワーク、宛先、時間を一緒に切り替えると、有用な比較ができなくなります。
• リクエストクォータを帯域幅制限と見なす。 操作カウントとバイト率は別々の測定と別々のクライアント制御を必要とします。

ウェブデータワークフローのための帯域幅計画

ウェブデータワークフローは、リクエストと同様にバイトを慎重に予算化すべきです。タスクを満たす最小の表現を取得し、テキストや構造化された出力が十分な場合はメディアのダウンロードを避け、許可されたキャッシュ結果を再利用し、重複した生のペイロードの代わりに正規化されたレコードを保存します。これらの選択は転送時間を短縮し、クライアントとソースサービスの両方への圧力を低減します。

ブラウザベースの収集は、直接のHTTP応答が必要としないアセット、JavaScript、およびレンダリングオーバーヘッドを追加します。インタラクションやクライアントサイドのレンダリングが必要な場合はブラウザを使用し、その目的に必要なページとリソースに各セッションを制限します。この決定はページの動作に従うべきであり、すべてのターゲットに適した単純な仮定に従ってはいけません。

公開されたサービス制限が適用される場合は、それを隠そうとするのではなく、周囲を設計するべきです。緊急でない作業をキューに入れ、同時実行を制限し、進捗を表面化させ、サービスがワークロードがポリシーを超えたことを示すときに停止します。予測可能で測定されたパイプラインは操作が容易で、共有インフラに優しいです。

帯域幅制限に関するレビューチェックリスト

これらのチェックを使用して、帯域幅制限の定義を、開発者、オペレーター、またはレビュー担当者が再現できる実装証拠に変えます。

1. 境界の再定義。 帯域幅制限について、呼び出し元、プロバイダー、パス、そして完全な結果を示す正確なイベントを特定します。
2. 中央の主張の確認。 この声明を実装とその文書で確認します：帯域幅制限は、データ転送速度を意図的に制限します。この制限はユーザー、アプリケーション、トラフィッククラス、接続、または時間ウィンドウに適用される場合があります。
3. メカニクスのトレース。 ポリシー分類、レートの強制、アプリケーション制御を観察し、各ステージを所有するコンポーネントを記録します。
4. 最も近い区別を確認します。 このシステムで帯域幅制限が「明示的なポリシーが転送速度を制限する」を意味する理由を文書化します。
5. 代表的なユースケースをテストします。 リアルなデータ、位置、ボリューム、許可の境界を持つ容量の公平性を使用します。
6. 知られているミスに対する防御。 「遅いウェブサイトを遅いリンクと同じにする」を確認し、それをキャッチする受け入れチェックを追加します。
7. ワークロードの境界を定義します。 何が帯域幅制限であるかのトピックに適した制限を設定し、適用される場合はペイロード、同時実行、実行時間、および保存された出力を含めます。
8. 決定を記録します。 何が帯域幅制限であるかがこの境界に当てはまる理由を説明し、後に異なるアプローチを正当化する証拠を示します。

結論

何が帯域幅制限であるかは、隣接する動作に対する緩いラベルとして機能するのではなく、設計のテスト可能な部分を説明するべきです。レビューはこの中心的な決定を保持する必要があります：帯域幅制限は意図的にデータ転送速度を制限します。この制限は、ユーザー、アプリケーション、トラフィッククラス、接続、または時間ウィンドウに適用される場合があります。また、遅いウェブサイトと遅いリンクを同一視することを防ぐ必要があります。何が帯域幅制限であるかのアクセスは、インターフェースまたはネットワークの文書化されたポリシー内に留めておくべきです。