JSON-LDウェブスクレイピング: 構造化データを抽出するためのPython

python -m pip install "requests>=2.32,<3" "beautifulsoup4==4.15.0"

import requests

URL = "https://www.scrapeless.com/ja/blog/what-is-web-scraping?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=json-ld-structured-data-web-scraping"

response = requests.get(
    URL,
    headers={"User-Agent": "Mozilla/5.0"},
    timeout=30,
)
response.raise_for_status()
print("HTML bytes:", len(response.content))

HTML bytes: 439487

import json
from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")
scripts = soup.find_all("script", type="application/ld+json")

parsed_blocks = []
for script in scripts:
    raw = script.get_text(strip=True)
    try:
        parsed_blocks.append(json.loads(raw))
    except json.JSONDecodeError:
        continue

print("JSON-LD blocks:", len(scripts))
print("decoded blocks:", len(parsed_blocks))

def iter_nodes(value):
    if isinstance(value, list):
        for item in value:
            yield from iter_nodes(item)
    elif isinstance(value, dict):
        graph = value.get("@graph")
        if isinstance(graph, list):
            for item in graph:
                yield from iter_nodes(item)
        else:
            yield value

nodes = [node for block in parsed_blocks for node in iter_nodes(block)]
article = next(node for node in nodes if node.get("@type") == "Article")

print("正規化されたノードの数:", len(nodes))
print("選択されたタイプ:", article["@type"])

visible_h1 = soup.find("h1").get_text(" ", strip=True)
author = article.get("author") or {}
publisher = article.get("publisher") or {}

record = {
    "type": article.get("@type"),
    "headline": article.get("headline"),
    "visible_h1": visible_h1,
    "author": author.get("name") if isinstance(author, dict) else None,
    "publisher": publisher.get("name") if isinstance(publisher, dict) else None,
    "published": article.get("datePublished"),
    "modified": article.get("dateModified"),
    "image": article.get("image"),
    "description": article.get("description"),
    "keywords": article.get("keywords"),
    "source_url": URL,
}

required = ("headline", "author", "published", "source_url")
missing = [field for field in required if not record.get(field)]
if missing:
    raise ValueError(f"必要なフィールドが欠落しています: {missing}")

print("ヘッドライン:", record["headline"])
print("表示された H1:", record["visible_h1"])
print("見出しが一致する:", record["headline"] == record["visible_h1"])
print("著者:", record["author"])
print("出版社:", record["publisher"])
print("発行日:", record["published"])

ヘッドライン: ウェブスクレイピングとは？ 定義ガイド 2025
表示された H1: ウェブスクレイピングとは？ 定義ガイド 2025
見出しが一致する: True
著者: エミリー・チェン
出版社: スクレイプレス
発行日: 2025-09-17T08:35:31.224Z

import json
import requests
from bs4 import BeautifulSoup

URL = "https://www.scrapeless.com/ja/blog/what-is-web-scraping?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=json-ld-structured-data-web-scraping"


def iter_nodes(value):
    if isinstance(value, list):
        for item in value:
            yield from iter_nodes(item)
    elif isinstance(value, dict):
        graph = value.get("@graph")
        if isinstance(graph, list):
            for item in graph:
                yield from iter_nodes(item)
        else:
            yield value


response = requests.get(
    URL,
    headers={"User-Agent": "Mozilla/5.0"},
    timeout=30,
)
response.raise_for_status()
soup = BeautifulSoup(response.text, "html.parser")

nodes = []
invalid_blocks = 0
scripts = soup.find_all("script", type="application/ld+json")
for script in scripts:
    try:
        nodes.extend(iter_nodes(json.loads(script.get_text(strip=True))))
    except json.JSONDecodeError:
        invalid_blocks += 1

article = next(node for node in nodes if node.get("@type") == "Article")
author = article.get("author") or {}
publisher = article.get("publisher") or {}
visible_h1 = soup.find("h1").get_text(" ", strip=True)

record = {
    "type": article.get("@type"),
    "headline": article.get("headline"),

{
    "visible_h1": visible_h1,
    "author": author.get("name") if isinstance(author, dict) else None,
    "publisher": publisher.get("name") if isinstance(publisher, dict) else None,
    "published": article.get("datePublished"),
    "image": article.get("image"),
    "keywords": article.get("keywords"),
    "source_url": URL
}

required = ("headline", "author", "published", "source_url")
missing = [field for field in required if not record.get(field)]
if missing:
    raise ValueError(f"必要なフィールドが欠落しています: {missing}")

print(f"HTMLバイト数: {len(response.content)}")
print(f"JSON-LDブロック数: {len(scripts)}")
print(f"正規化ノード数: {len(nodes)}")
print(f"無効なブロック数: {invalid_blocks}")
print(f"タイプ: {record['type']}")
print(f"見出し: {record['headline']}")
print(f"表示H1: {record['visible_h1']}")
print(f"見出しが一致: {record['headline'] == record['visible_h1']}")
print(f"著者: {record['author']}")
print(f"出版社: {record['publisher']}")
print(f"出版日: {record['published']}")
print(f"キーワードの文字数: {len(record['keywords'] or '')}")

import os
import requests

rendered = requests.post(
    "https://api.scrapeless.com/api/v2/unlocker/request",
    headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"]},
    json={
        "actor": "unlocker.webunlocker",
        "input": {
            "url": URL,
            "method": "GET",
            "js_render": True,
        },
    },
    timeout=90,
)
rendered.raise_for_status()
html = rendered.json()["data"]

はい、出版社が必要なフィールドを含めている場合です。JSON-LDは名前付きプロパティとタイプを提供しますが、可視HTMLはしばしばセレクタやテキストのクリーンアップを必要とします。重要なフィールドは、レンダリングされたページと比較するべきです。

**Q: なぜすべての `application/ld+json` スクリプトを解析する必要があるのですか？**

ページは異なるエンティティを別々のブロックに配置することがあります。最初のスクリプトだけを読むと、組織やパンくずリストが取得されますが、欲しい記事や製品を見逃すかもしれません。

**Q: 抽出における `@graph` の意味は何ですか？**

`@graph` は複数のJSON-LDノードを1つのオブジェクト内でグループ化します。グラフをフラットにし、次に `@type`、`@id`、URL、またはその他の安定した識別子でノードを選択します。

**Q: JSON-LDプロパティが欠けている場合はどうなりますか？**

オプションのプロパティは `None` として保持し、下流の契約で必要とされるフィールドが欠けているときだけエラーにします。Schema.orgは可能なプロパティを説明していますが、出版社がすべてを埋めることを強いるわけではありません。

**Q: JSON-LDは可視ページと異なる可能性がありますか？**

はい。メタデータと可視コンテンツは異なるスケジュールで更新されるか、異なる媒体向けに最適化されることがあります。違いが重要な場合は、両方の値を保存し、優先順位を明確にしてください。

**Q: JSON-LDを抽出するのにブラウザは必要ですか？**

初期HTMLにスクリプトがある場合は必要ありません。クライアント側のJavaScriptが生のレスポンスが到着した後に構造化データを挿入または変更する場合にのみ、レンダリングが必要です。

**Q: 公共のJSON-LDを抽出することは常に許可されていますか？**

すべての収集が合法または許可されているという一律のルールはありません。サイトの利用規約と<a href="https://datatracker.ietf.org/doc/html/rfc9309" rel="nofollow"><strong>ロボットの指示</strong></a>を確認し、リクエストの量を制限し、必要なフィールドだけを収集し、機密性または商業利用に関して法的アドバイスを取得してください。