自己修復型ウェブスクレイパーの構築方法

pip install requests beautifulsoup4

export SCRAPELESS_API_KEY="your_scrapeless_api_key"
export OPENROUTER_API_KEY="your_openrouter_api_key"

import os, requests
from bs4 import BeautifulSoup

def fetch(url):
    r = requests.post(
        "https://api.scrapeless.com/api/v2/unlocker/request",
        headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"], "Content-Type": "application/json"},
        json={"actor": "unlocker.webunlocker", "input": {"url": url, "js_render": True}},
        timeout=120,
    )
    r.raise_for_status()
    return r.json()["data"]

soup = BeautifulSoup(fetch("https://quotes.toscrape.com/js/"), "html.parser")

SAVED_SELECTOR = ".author-name"          # 先月は機能していた；サイトがクラス名を変更した
authors = [e.get_text(strip=True) for e in soup.select(SAVED_SELECTOR)]
print(f"保存されたセレクタ {SAVED_SELECTOR!r} がマッチした要素数: {len(authors)}",
      "-> 壊れている、何も抽出できなかった" if not authors else "-> ok")

保存されたセレクタ '.author-name' がマッチした要素数: 0 -> 壊れている、何も抽出できなかった

import os, json, requests

def propose_selector(html_fragment, target):
    prompt = (f'ウェブスクレイピングCSSセレクタが壊れました。このHTMLフラグメントから、{target}を保持する要素のためのJSON '
              f'{{"selector": "<css>"}}を返してください。JSONのみを返します。\n\n'
              f"HTML:\n{html_fragment}")
    r = requests.post(
        "https://openrouter.ai/api/v1/chat/completions",
        headers={"Authorization": f"Bearer {os.environ['OPENROUTER_API_KEY']}", "Content-Type": "application/json"},
        json={"model": "deepseek/deepseek-v4-flash",
              "messages": [{"role": "user", "content": prompt}],
              "response_format": {"type": "json_object"}, "temperature": 0},
        timeout=120,
    )
    r.raise_for_status()
    return json.loads(r.json()["choices"][0]["message"]["content"])["selector"]

import os, json, requests
from bs4 import BeautifulSoup

def fetch(url):
    r = requests.post(
        "https://api.scrapeless.com/api/v2/unlocker/request",
        headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"], "Content-Type": "application/json"},
        json={"actor": "unlocker.webunlocker", "input": {"url": url, "js_render": True}},
        timeout=120,
    )
    r.raise_for_status()
    return r.json()["data"]

def propose_selector(html_fragment, target):
    prompt = (f'ウェブスクレイピングのCSSセレクタが壊れました。このHTMLフラグメントから、{target}を保持している要素のためのJSON '
              f'{{"selector": "<css>"}}を返してください。JSONのみを返してください。\n\n'
              f"HTML:\n{html_fragment}")
    r = requests.post(
        "https://openrouter.ai/api/v1/chat/completions",
        headers={"Authorization": f"Bearer {os.environ['OPENROUTER_API_KEY']}", "Content-Type": "application/json"},
        json={"model": "deepseek/deepseek-v4-flash",
              "messages": [{"role": "user", "content": prompt}],
              "response_format": {"type": "json_object"}, "temperature": 0},
        timeout=120,
    )
    r.raise_for_status()
    return json.loads(r.json()["choices"][0]["message"]["content"])["selector"]

def extract(soup, selector):
    return [e.get_text(strip=True) for e in soup.select(selector)]

soup = BeautifulSoup(fetch("https://quotes.toscrape.com/js/"), "html.parser")
authors = extract(soup, ".author-name")

if not authors:
    print("保存されたセレクタ'.author-name'に一致: 0 -> 修復中")
    sample = str(soup.select_one(".quote") or soup.body)[:1500]
    healed = propose_selector(sample, "引用の著者名")
    print("モデルが提案したセレクタ:", repr(healed))
    authors = extract(soup, healed)
    print("修復されたセレクタに一致した数:", len(authors))

print("著者:", ", ".join(authors[:3]), "...")

保存されたセレクタ'.author-name'に一致: 0 -> 修復中
モデルが提案したセレクタ: 'small.author'
修復されたセレクタに一致した数: 10
著者: アルバート・アインシュタイン, J.K. ローリング, ジェーン・オースティン ...

import json
from pathlib import Path

CACHE = Path("selectors.json")

def remember(field, selector):
    cache = json.loads(CACHE.read_text()) if CACHE.exists() else {}
    cache[field] = selector
    CACHE.write_text(json.dumps(cache, indent=2))

remember("quote_author", "small.author")   # 次回の実行は修復されたセレクタから始まります