BeautifulSoupとは何ですか？

Scrapeless Universal Scraping APIは、BeautifulSoupをパース層として使用するPythonワークフロー用に、取得またはレンダリングされたHTMLを供給できます。

BeautifulSoupはパーサーであり、HTTPクライアントではありません

BeautifulSoupは、HTMLまたはXMLをPythonオブジェクトのツリーに変換するPythonライブラリです。 BeautifulSoup オブジェクトはドキュメントを表します、 Tag オブジェクトは要素を表し、ナビゲート可能な文字列オブジェクトはテキストを表します。コードはタグ名、属性、テキストパターン、CSSセレクター、または関係によってツリーを検索できます。

The 公式のBeautiful Soupドキュメンテーション ドキュメントの解析、ナビゲーション、検索、修正、および直列化に焦点を当てています。ネットワーク取得はその仕事の範囲外です。Requests呼び出し、ファイル読み取り、ブラウザセッション、またはレンダリングAPIは最初にマークアップを生成する必要があります。

この境界は一般的なゼロ結果バグを説明しています。ウェブページがJavaScriptが実行された後にのみリストを表示する場合、HTTPクライアントはほとんど空のシェルを受け取る可能性があります。BeautifulSoupはそのシェルを正しく解析し、リストアイテムが見つからないことを正しく判断します。パーサーは失敗していません。取得レイヤーは、解析することを意図していた状態を取得できませんでした。

BeautifulSoup パースツリーの仕組み

BeautifulSoupはパーサーバックエンドにマークアップを解釈させ、その後、結果として得られたツリーを一貫したPythonインターフェースでラップします。タグは名前、属性、子コンテンツ、子孫、親、および兄弟ナビゲーションを公開します。テキストヘルパーはノードの下に文字列を結合し、検索メソッドは定義されたフィルターの下でツリーを横断します。

ツリークエリは、繰り返しレコードコンテナから始まるべきです。カードが選択されると、フィールドクエリはそのカードで実行されるべきであり、全体のスープではなくなります。これにより、最初のページ全体のタイトル、価格、または著者がすべての出力行にコピーされるのを防ぎます。

パーサーバックエンドを明示的に選択する

BeautifulSoupは複数のパーサーバックエンドをサポートしています。 html.parser Pythonを搭載した ships は、ポータブルスクリプトに便利です。lxml は、迅速な HTML および XML 解析を行う別の依存関係です。html5lib はブラウザスタイルの HTML5 解析に厳密に従い、壊れたマークアップの別のオプションとは異なるツリーを生成することができます。

翻訳を希望されるテキストがありません。翻訳したい内容を提供してください。 Python html.parser ドキュメント 標準ライブラリのパーサーと、開始タグ、終了タグ、データ、コメント、および宣言のコールバックベースの処理について説明します。BeautifulSoupは、そのパーサーの上により使いやすいツリーAPIを提供します。

どのバックエンドがインストールされているかに依存しないでください。コンストラクタでバックエンド名を渡し、依存関係をプロジェクト環境にロックし、代表的な不正形式のページをテストしてください。パーサーの選択はデータ契約の一部です。なぜなら、それは親子関係、暗黙の要素、およびテキストの配置を変える可能性があるからです。

小さな文書を解析して抽出する

ローカル環境にはPythonとBeautifulSoupが含まれているので、このパターンは別のランタイムなしで実行できます。制御されたHTML文字列を解析し、各記事に対してクエリをスコープし、欠落しているオプションの価格を保持します。 None、そして相対URLをドキュメントの位置に対して解決します。

from urllib.parse import urljoin
from bs4 import BeautifulSoup

html = """
<main>
  <article data-id="a1">
    <h2><a href="/items/a1">Field Notes</a></h2>
    <span class="price">$12.00</span>
  </article>
  <article data-id="a2">
    <h2><a href="/items/a2">Archive Map</a></h2>
  </article>
</main>
"""

soup = BeautifulSoup(html, "html.parser")
records = []

for card in soup.select("article[data-id]"):
    link = card.select_one("h2 > a[href]")
    if link is None:
        raise ValueError("record identity is missing")

    price = card.select_one(".price")
    records.append({
        "id": card["data-id"],
        "title": link.get_text(" ", strip=True),
        "url": urljoin("https://example.com/catalog/", link["href"]),
        "price_text": price.get_text(strip=True) if price else None,
    })

print(records)

例は、通貨パーサーを仮定するのではなく、生の価格テキストを保持します。抽出は、ドキュメントに含まれる内容を説明する必要がありますが、正規化は、その値をソース特有のルールに従って解釈する必要があります。必須の識別フィールドは明確に失敗し、オプションのフィールドは明示的に残ります。

意図を持った検索方法を使用する

find そして find_all 受け入れられるタグ名、属性フィルター、正規表現、リスト、およびコール可能です。これらは、マッチルールが自然にPythonで表現されるときに便利です。 select と select_one 構造がすでにCSSセレクタによってよく説明されている場合は、簡潔です。

選択子の複雑さを低く保ちます。安定したデータ属性、意味のあるコンテナ、および耐久性のあるURLパターンは、生成されたクラス名や位置的セレクタよりも視覚デザインの再設計に対して通常優れています。現在の快適なパスだけでなく、欠落フィールドのフィクスチャや誤ったページのフィクスチャに対してもクエリをテストしてください。

• 使用 select_one 単一フィールドの場合。 チェックしてください None テキストまたは属性を読む前に。
• 使用 select 重複したレコードの場合。 選択した各ノードに対して子フィールドを照会します。
• 使用 get_text 意図的に。 セパレーターとストリッピング動作をフィールドに合わせて選択してください。
• マッピングアクセスを通じて属性を検査します。 欠落している属性を空の属性値と区別します。

BeautifulSoupができないことを知っておく

BeautifulSoupはスクリプトを実行せず、クリックコントロールを処理せず、ブラウザのイベントループを維持せず、アクセスの課題を解決せず、クロールのスケジュールを立てず、レコードを保存することもありません。これはより大きなパイプラインの中の一層です。小さなスクリプトはRequestsと組み合わせることができ、クローラーフレームワークはキューやエクスポートを管理し、レンダリングサービスはポストスクリプトHTMLを提供することができます。

この狭い範囲は利点です。パーサーテストはフィクスチャに対して迅速に実行でき、取得方法はセレクタを再記述することなく変更できます。問題は分類しやすくなります：間違ったバイト、予期しないドキュメントのアイデンティティ、パーサーの差異、セレクタのミス、正規化エラー、またはストレージの失敗です。

申し訳ありませんが、特定のテキストを翻訳することはできません。テキストを提供していただければ、その内容を日本語に翻訳します。

HTTP クライアントからバイトを解析する際は、テキストに変換する前に宣言されたエンコーディングと検出されたエンコーディングを確認してください。誤ったデコードは、タグ構造を保持しながら名前、通貨記号、または句読点を破損させる可能性があります。テキストの忠実度が重要な場合は、バッチのそばに元のレスポンスメタデータを保持してください。

ルール： 1. 翻訳されたテキストのみを出力します - 説明や追加の囲いコードはありません。 2. Markdown/HTML構造（見出し、リスト、リンク、テーブル）を正確に保持します。 3. @@CODEBLOCK_0@@や@@INLINECODE_0@@のようなプレースホルダートークンはそのまま保持します。そのまま翻訳、再配置、統合、または再フォーマットしてはいけません。 4. ```コードフェンスを追加したり削除したりせず、通常のテキストをコードブロックにラップしてはいけません。 不完全なHTMLは正常です。ソースが発生させる壊れたネスティングや省略されたタグの種類で選択したバックエンドをテストします。樹形が正規化されているからといって、パースされた文書をセキュリティサニタイザーとして使用しないでください。パースとサニタイジングは、異なる脅威モデルを持つ別々の作業です。

行を受け入れる前にページを検証する

パーサーはエラーページからクリーンなツリーを構築できます。 HTTPセマンティクス仕様 ステータスクラスを定義しますが、成功したトランスポートはページのアイデンティティを証明するものではありません。出力を生成する前に、最終的なURL、コンテンツタイプ、既知の見出しまたはカノニカルリンク、そして妥当なレコード数を確認してください。

公開ウェブコレクションの場合は、実行前に許可されているホストとデータクラスを定義してください。利用規約と適用法を確認し、アクセスコントロールを尊重し、使用してください。 ロボット排除プロトコル クローラーの動作に関する1つの入力として。

結論

BeautifulSoupは、Pythonスクレイピングワークフローの解析およびナビゲーション層です。マークアップを検索可能なツリーに変換し、CSSセレクターとPython駆動のフィルターの両方をサポートし、誤った形式の文書をより簡単に検査できるようにします。信頼性は、パーサーを明示的に選択し、各レコードへのフィールドクエリのスコープを設定し、欠落を保持し、行を受け入れる前にページを検証することから来ます。

最初のテストとして最適なのは、1つの完全なレコードと1つの欠missing optional fieldを含む小さな保存された文書です。そのフィクスチャが意図した型の出力を生成する場合、パーサー契約は本番の取得レイヤーに接続し、後のソース変更を通じて信頼できる証拠を保持するのに十分明確です。