Rustによるウェブスクレイピング：reqwestとscraperを使った実践ガイド

cargo new rust-scraper
cd rust-scraper

[package]
name = "rust-scraper"
version = "0.1.0"
edition = "2021"

[dependencies]
reqwest = { version = "0.13.4", features = ["json"] }
scraper = "0.27.0"
tokio = { version = "1.53.0", features = ["macros", "rt-multi-thread"] }
serde_json = "1"

use scraper::{Html, Selector};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let body = reqwest::get("https://quotes.toscrape.com/")
        .await?
        .error_for_status()?
        .text()
        .await?;

    let document = Html::parse_document(&body);
    let quote_sel = Selector::parse("div.quote").unwrap();
    let text_sel = Selector::parse("span.text").unwrap();
    let author_sel = Selector::parse("small.author").unwrap();

    let mut count = 0;
    for quote in document.select(&quote_sel) {
        let text = quote.select(&text_sel).next().map(|e| e.inner_html());
        let author = quote.select(&author_sel).next().map(|e| e.inner_html());
        if let (Some(t), Some(a)) = (text, author) {
            if count == 0 {
                println!("最初の引用: {} — {}", t, a);
            }
            count += 1;
        }
    }
    println!("解析された引用数: {}", count);
    Ok(())
}

最初の引用: “我々が創造した世界は、我々の思考のプロセスです。それは我々の思考を変えずには変わることはできません。” — アルバート・アインシュタイン
解析された引用数: 10

use scraper::{Html, Selector};

async fn page_quote_count(client: &reqwest::Client, page: u32) -> Result<usize, reqwest::Error> {
    let url = format!("https://quotes.toscrape.com/page/{page}/");
    let body = client.get(&url).send().await?.error_for_status()?.text().await?;
    let quote_sel = Selector::parse("div.quote").unwrap();
    Ok(Html::parse_document(&body).select(&quote_sel).count())
}

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let client = reqwest::Client::new();

    let tasks: Vec<_> = (1..=5)
        .map(|page| {
            let client = client.clone();
            tokio::spawn(async move { (page, page_quote_count(&client, page).await) })
        })
        .collect();

    let mut total = 0;
    for task in tasks {
        let (page, result) = task.await?;
        let count = result?;
        println!("page {page}: {count} quotes");
        total += count;
    }
    println!("total quotes across 5 pages: {total}");
    Ok(())
}

page 1: 10 quotes
page 2: 10 quotes
page 3: 10 quotes
page 4: 10 quotes
page 5: 10 quotes
total quotes across 5 pages: 50

use scraper::{Html, Selector};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let body = reqwest::get("https://quotes.toscrape.com/js/")
        .await?
        .error_for_status()?
        .text()
        .await?;

    let document = Html::parse_document(&body);
    let quote_sel = Selector::parse("div.quote").unwrap();
    let count = document.select(&quote_sel).count();

    println!("html bytes: {}", body.len());
    println!("quotes parsed: {}", count);
    Ok(())
}

html bytes: 5808
quotes parsed: 0

export SCRAPELESS_API_KEY="your_api_key_here"

use scraper::{Html, Selector};
use serde_json::json;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let api_key = std::env::var("SCRAPELESS_API_KEY")?;

    let payload = json!({

最初の引用: 「私たちが作り上げた世界は、私たちの考え方のプロセスです。それは私たちの考え方を変えずには変わりません。」 — アルベルト・アインシュタイン
HTMLバイト数: 8985
解析した引用数: 10

`reqwest`と`scraper`を組み合わせることで、ほとんどの作業をカバーできます。`reqwest`は非同期ファーストのAPIでHTTPを処理し、`scraper`は`html5ever`パースツリー上でCSSセレクタによるクエリを提供します。ページがクライアント側でコンテンツを構築する場合にのみ、ヘッドレスブラウザクレートやレンダリングAPIに手を伸ばしてください。

**Q: RustはPythonと比較してウェブスクレイピングに適していますか？**

Rustは、スクレイパーが長時間実行される場合、同時に実行される場合、または unattended（無人で）実行される場合に適しています。なぜなら、ガーベジコレクタのポーズがなく、コンパイラがすべてのエラーパスを処理することを強制するからです。Pythonは、ワンオフの抽出に関してエコシステムの広さや反復速度でまだ優れています。パーシングの概念は、両者間で直接移行できます。

**Q: reqwestはJavaScriptを実行できますか？**

いいえ。`reqwest`はHTTPクライアントであり、サーバーが送信したバイトを返します。クライアントでレンダリングされたページでは、それは内容が含まれていない有効なHTMLを意味します — 上記の例は5,808バイトを解析して0レコードを返します。レンダリングはヘッドレスブラウザまたはレンダリングされたDOMを返すAPIのいずれかで行う必要があります。

**Q: シンプルなスクレイパーにasyncとtokioは必要ですか？**

厳密には必要ありません — `reqwest`はフィーチャーフラグの後ろにブロッキングクライアントを提供しており、シングルの逐次リクエストには問題ありません。1ページ以上を取得すると、非同期クライアントは`tokio`の依存関係の価値があり、そこで`tokio::spawn`が逐次取得を同時取得に変えます。

**Q: サイトが変更されたときにRustスクレイパーが壊れないようにするにはどうすればよいですか？**

構造に対して主張し、信頼しないでください。フィールドを抽出する前に、コンテナセレクタが妥当な数の要素にマッチしたことを確認し、突然のゼロを空の結果としてではなく失敗として扱ってください。起動時にセレクタを一度コンパイルすると、不正なCSSもすぐに明らかになります。