プロダクショングレードのRAGシステムを構築し、LLMトークンコストを70%削減する方法

python -m venv .venv
source .venv/bin/activate          # Windows: .venv\Scripts\activate
pip install scrapeless openai chromadb tiktoken

export SCRAPELESS_API_KEY="your_api_token_here"
export OPENAI_API_KEY="your_openai_token_here"

npx -y scrapeless-mcp-server

URLを発見する           クリーンなテキストを抽出          チャンクに分割         埋め込み + ストレージ
┌──────────────┐           ┌──────────────────┐          ┌──────────────┐         ┌──────────────┐
│ google_search│ ────►     │ scrape_markdown   │ ────►    │ ~500–1000トークン │ ────►  │ チャンクを      │
│ またはサイトマップ │       │ (クラウドブラウザ  │          │ 重複部分に分割 │         │ ベクトルDBに   │
│ またはシードリスト │       │  レンダリング + クリーニング) │ │                 │         │ アップサート   │
└──────────────┘           └──────────────────┘          └──────────────┘         └──────────────┘

# discover.py — 検索クエリから候補のURLを集める
# (MCPツールの引数はキャメルケース; これが返される形を示します)
results = [

{"position": 1, "title": "検索拡張生成の説明", "link": "https://example.com/guides/rag-explained", "source": "example.com"},
{"position": 2, "title": "RAGのためのチャンク戦略", "link": "https://example.com/blog/chunking-strategies", "source": "example.com"}

# clean_mcp_payload.py — チャンクする前にMCPツールの結果を正規化
PREFIX = "Response:\n\n"

def clean_markdown(tool_result: str) -> str:
    """MCP scrape_markdownの結果からステートレスツール 'Response:' プレフィックスを削除します。"""
    if tool_result.startswith(PREFIX):
        tool_result = tool_result[len(PREFIX):]
    return tool_result.strip()

# extract.py — 発見された各URLをクリーンなMarkdownとしてレンダリング
from scrapeless import Scrapeless
from scrapeless.types import ICreateBrowser

client = Scrapeless()  # SCRAPELESS_API_KEYを読み取ります
session = client.browser.create(
    ICreateBrowser(proxy_country="US", session_ttl=240)
)

def fetch_markdown(url: str) -> str:
    """クラウドブラウザでURLをレンダリングし、クリーンなMarkdownの本文テキストを返します。"""
    # セッションはsession.browser_ws_endpointにCDPエンドポイントを提供します；
    # それを駆使して`url`にナビゲートし、ページがハイドレートされるのを待ち、
    # その後、コーパスのためにクリーンなMarkdownの本文を読み取ります。
    # `render_to_markdown`は自作のヘルパーです：CDPエンドポイントを駆使してナビゲートし、
    # ハイドレーションを待った後、クリーンなHTMLをMarkdownに変換します。
    # ヘルパーを書く手間なくターンキー結果が必要な場合は、上記のMCP `scrape_markdown`ツールを使用
    # してください。それがMarkdownを直接返します。
    markdown = render_to_markdown(session, url)
    return markdown.strip()

documents = []
for url in urls:
    text = fetch_markdown(url)
    if len(text) > 200:                # ほぼ空の/ブロックページをスキップ
        documents.append({"url": url, "text": text})

# chunk.py — クリーンなMarkdownをトークンサイズの重複したチャンクに分割
import tiktoken

enc = tiktoken.get_encoding("cl100k_base")

def chunk_text(text: str, max_tokens: int = 800, overlap: int = 100):
    """クリーンなMarkdownに対して重複するトークンウィンドウを生成します。"""
    tokens = enc.encode(text)
    step = max_tokens - overlap
    for start in range(0, len(tokens), step):
        window = tokens[start:start + max_tokens]
        if not window:
            break
        yield enc.decode(window)

chunks = []
for doc in documents:
    for i, piece in enumerate(chunk_text(doc["text"])):
        chunks.append({
            "id": f"{doc['url']}#chunk-{i}",
            "url": doc["url"],
            "chunk_index": i,
            "text": piece,
        })

クリーンなMarkdownがすでに入力されているため、チャンクャーはクッキーバナーや`<script>`ブロックに苦労することはありません。トークンウィンドウの前にMarkdownの見出しで分割することで、関連するコンテンツをさらに一緒に保つことができます — セクション内でチャンクし、2つのセクションをまたがるのではなく — ソース文書に明確な見出し構造がある場合。

単一のチャンクレコードは次のようになります：

```json
{
  "id": "https://example.com/guides/rag-explained#chunk-0",
  "url": "https://example.com/guides/rag-explained",
  "chunk_index": 0,
  "token_count": 800,
  "text": "## Retrieval-Augmented Generation\n\nRAGは、クエリ時に最も関連性の高い節を取得し、それを文脈としてモデルに渡すことによって、言語モデルを外部コーパスに基づかせます。取得の質は、基本的にソーステキストがどれだけクリーンに抽出され、チャンク化されたかに直接依存します ..."
}

# embed.py — 各チャンクを埋め込み、ベクトルストアにアップサートします
import chromadb
from openai import OpenAI

oai = OpenAI()
db = chromadb.PersistentClient(path=".chroma")
collection = db.get_or_create_collection("web_corpus")

def embed(texts: list[str]) -> list[list[float]]:
    resp = oai.embeddings.create(model="text-embedding-3-small", input=texts)
    return [d.embedding for d in resp.data]

batch = chunks[:64]                                   # バッチで埋め込む
collection.upsert(
    ids=[c["id"] for c in batch],
    documents=[c["text"] for c in batch],
    embeddings=embed([c["text"] for c in batch]),
    metadatas=[{"url": c["url"], "chunk_index": c["chunk_index"]} for c in batch],
)

{
  "id": "https://example.com/blog/chunking-strategies#chunk-2",
  "document": "### Overlap\n\n隣接するチャンク間での10〜15％のオーバーラップは、境界にある文が少なくとも1つのウィンドウ内で保持され、2つのアイデア間の境目をターゲットにしたクエリのリコールを向上させます ...",
  "metadata": {
    "url": "https://example.com/blog/chunking-strategies",
    "chunk_index": 2
  },
  "distance": 0.18
}
// スキーマはステップ4のアップサートが発行したものを正確に反映しています。フィールド値は例示的なサンプルです。

Discover → Extract → Chunk → Embedの形状は、大体60行のPythonコードに収束します。荷重を支えるステージは抽出であり、`scrape_markdown`がそれを担います：反検出のクラウドブラウザがページをレンダリングし、住宅の出口がそれをアクセス可能に保ち、戻ってくるのはクリーンなMarkdownとして読み取れるコンテンツの本文です — 埋め込みモデルが最もよく読み取る形式です。その後、チャンク化と埋め込みは、すでにクリーンなテキストに対する標準ライブラリ作業です。

同じScrapeless Scraping Browserのプリミティブが、型付け出力とベクターストアと接続されたエージェントフレームワークに組み込まれた例については、[LangChain統合投稿](https://www.scrapeless.com/ja/blog/langchain-scrapeless-scraping-browser-2026)を参照してください。検索、レンダリング、抽出を機能するシステムに構成するさらなるエンドツーエンドパターンについては、[AIエージェントのユースケース投稿](https://www.scrapeless.com/ja/blog/ai-agent-use-cases-scrapeless-2026)をご覧ください。すべてのパターンに共通するもの：領域を固定し、HTMLではなくMarkdownを返し、オーバーラップを持ってチャンク化し、埋め込む前に重複を排除します。

---

## AI駆動のデータパイプラインを構築する準備は整いましたか？

コミュニティに参加して無料プランを取得し、Scrapeless上でLLMとRAGデータパイプラインを構築している開発者とつながりましょう： [Discord](https://discord.gg/VU2vtbq7Q2) · [Telegram](https://t.me/scrapeless)。

無料のScraping Browserランタイムにサインアップして、上記のパターンをあなたのパイプラインに必要なソース、領域、チャンクサイズに適応させてください。[Scrapeless](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=scrapeforllm)でサインアップしてください。プランと制限については、[scrapeless.com/en/pricing](https://www.scrapeless.com/ja/pricing)をご覧ください。

---

## FAQ

**Q: LLMまたはRAGコーパスのためにウェブサイトのテキストをスクレイピングすることは合法ですか？**

公開されているデータのスクレイピングは、ほとんどの法域で広く許可されていますが、ルールは国やサイトの利用規約によって異なります。ターゲットサイトの利用規約を確認し、適用可能な場合は`robots.txt`を尊重し、合法的な根拠なしに個人データを収集せず、商業規模のコーパスについては法律相談を受けてください。トレーニングやRAGデータセットを構築することは、公共のデータに合法的にアクセスするという基本的な義務を変更しません。

**Q: LLM入力に生のHTMLではなくMarkdownを使用するのはなぜですか？**

生のHTMLは主にマークアップ — ナビゲーション、スクリプト、広告スロット、インラインスタイル — で構成されており、内容の信号を希薄化し、トークンコストを増大させ、埋め込みを汚染します。`scrape_markdown`からのクリーンなMarkdownは、実際にページが関係している見出し、段落、リスト、表、リンクを保持し、その他の部分を削除するため、埋め込みモデルはコンテンツだけを読み取ります。Markdownはまた、CSSセレクターによる抽出よりもDOMの変更に耐えられます。

**Q: RAGに対してどのチャンクサイズを使用すべきですか？**

実用的なデフォルトは、チャンクごとに500〜1000トークンで10〜15％のオーバーラップです。小さなチャンクは検索精度を上げますが、アイデアを分割する可能性があります；大きなチャンクはより多くのコンテキストを保持しますが、関連性が希薄になる可能性があります。埋め込みモデルの入力サイズやクエリに応じて調整してください — 短い事実の検索は小さなチャンクに有利で、合成の質問は大きなチャンクに有利です。トークンウィンドウ化の前にMarkdownの見出しで分割すると、関連するコンテンツを一緒に保つことができます。

**Q: プロキシは必要ですか？**

はい、収集する価値のあるほとんどの公開ソースには必要です。住宅の出口は、地理的に関連づけられたページやボット対策のページをアクセス可能に保ち、JavaScriptが重いページが実際のコンテンツをレンダリングするために必要です。Scrapeless Scraping Browserは195か国以上の住宅プロキシを介してルーティングされます；`proxy_country`を設定して、希望するコンテンツのバージョンの地域を固定してください。

**Q: コーパスを重複除去し、クリーンにするにはどうすればよいですか？**

二つのレベルで重複を排除します：発見時に重複URLを削除し、埋め込みの前にコンテンツハッシュや類似性の閾値を使用して類似のチャンクを削除します。`scrape_markdown`はすでにボイラープレートを削除しているため、残りのクリーンアップは軽量です — ほぼ空のページを捨てるための長さガードや、オプションの見出しに気付いた分割が通常は十分です。

**Q: MCP `scrape_markdown`の結果はなぜ`Response:`で始まるのですか？**

Scrapeless MCPサーバーのステートレスツールは、テキストペイロードを`Response:\n\n`で接頭辞として付けます。これは輸送層ヘッダーであり、ページコンテンツの一部ではありません。チャンク化の前にそれを取り除いてください — ステップ2の一行の`clean_markdown`ヘルパーがそれを処理します — そうすれば、接頭辞が最初のチャンクの先頭に現れません。

**Q: AIエージェントなしでこれを実行できますか？**

はい。ステップ2のPython SDKパスは、エージェントが関与することなく、発見→抽出→チャンク→埋め込みループを完全に所有します。MCPサーバーは、エージェントが収集するページを決定する際の推奨パスです；スクリプトがそれを行う場合は、SDKが推奨されるパスです。