ウェブスクレイピングのベストプラクティスは何ですか？

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=your-scrapeless-api-key&session_ttl=180&proxy_country=ANY';

(async () => {
    const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

const {chromium} = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=your-scrapeless-api-key&session_ttl=180&proxy_country=ANY';

(async () => {
    const browser = await chromium.connectOverCDP(connectionURL);
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

const puppeteer = require('puppeteer-core');

// カスタムブラウザフィンガープリント
const fingerprint = {
    userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.1.2.3 Safari/537.36',
    platform: 'Windows',
    screen: {
        width: 1280, height: 1024
    },
    localization: {
        languages: ['zh-HK', 'en-US', 'en'], timezone: 'Asia/Hong_Kong',
    }
}

const query = new URLSearchParams({
  token: 'APIKey', // 必須
  session_ttl: 180,
  proxy_country: 'ANY',
  fingerprint: encodeURIComponent(JSON.stringify(fingerprint)),
});

const connectionURL = `wss://browser.scrapeless.com/browser?${query.toString()}`;

(async () => {
    const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    const info = await page.evaluate(() => {
        return {
            screen: {
                width: screen.width,
                height: screen.height,
            },
            userAgent: navigator.userAgent,
            timeZone: Intl.DateTimeFormat().resolvedOptions().timeZone,
            languages: navigator.languages
        };
    });
    console.log(info);
    await browser.close();
})();

const { chromium } = require('playwright-core');

// カスタムブラウザフィンガープリント
const fingerprint = {
    userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.1.2.3 Safari/537.36',
    platform: 'Windows',
    screen: {
        width: 1280, height: 1024
    },
    localization: {
        languages: ['zh-HK', 'en-US', 'en'], timezone: 'Asia/Hong_Kong',
    }
}

const query = new URLSearchParams({
  token: 'APIKey', // 必須
  session_ttl: 180,
  proxy_country: 'ANY',
  fingerprint: encodeURIComponent(JSON.stringify(fingerprint)),
});

const connectionURL = `wss://browser.scrapeless.com/browser?${query.toString()}`;

(async () => {
    const browser = await chromium.connectOverCDP(connectionURL);

const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    const info = await page.evaluate(() => {
        return {
            screen: {
                width: screen.width,
                height: screen.height,
            },
            userAgent: navigator.userAgent,
            timeZone: Intl.DateTimeFormat().resolvedOptions().timeZone,
            languages: navigator.languages
        };
    });
    console.log(info);
    await browser.close();
})();
 

// CAPTCHA解決イベントをリッスンする
const client = await page.createCDPSession();
 
client.on('Captcha.detected', (result) => {
  console.log('Captchaが検出されました:', result);
});
 
await new Promise((resolve, reject) => {
  client.on('Captcha.solveFinished', (result) => {
    if (result.success) resolve();
  });
  client.on('Captcha.solveFailed', () =>
    reject(new Error('Captchaの解決に失敗しました'))
  );
  setTimeout(() =>
      reject(new Error('Captcha解決のタイムアウト')),
    5 * 60 * 1000
  );
});

from seleniumwire import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
from datetime import datetime
import json
def listings(url):
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    s = Service("ChromeDriverへのパスを指定")
    driver = webdriver.Chrome(service=s, chrome_options=chrome_options)

    driver.get(url)
    time.sleep(8)  # ウェブサイトの読み込み時間に基づいて調整

    soup = BeautifulSoup(driver.page_source, "lxml")
    driver.quit()

    house_listings = soup.find_all("article", class_="item")
    extracted_data = []
    for listing in house_listings:
        description_elem = listing.find("div", class_="item-description")
        description_text = description_elem.get_text(strip=True) if description_elem else "nil"
        item_details = listing.find_all("span", class_="item-detail")
        bedrooms = item_details[0].get_text(strip=True) if len(item_details) > 0 else "nil"
        area = item_details[1].get_text(strip=True) if len(item_details) > 1 else "nil"
        image_urls = [img["src"] for img in listing.find_all("img") if img.get("src")]
        first_image_url = image_urls[0] if image_urls else "nil"
        listing_info = {
            "タイトル": listing.find("a", class_="item-link").get("title", "nil"),
            "価格": listing.find("span", class_="item-price").get_text(strip=True),
            "ベッドルーム": bedrooms,
            "エリア": area,
            "説明": description_text,
            "画像URL": first_image_url,
        }
        extracted_data.append(listing_info)

   current_datetime = datetime.now().strftime("%Y%m%d%H%M%S")
    json_filename = f"new_revised_data_{current_datetime}.json"
    with open(json_filename, "w", encoding="utf-8") as json_file:

json.dump(extracted_data, json_file, ensure_ascii=False, indent=2)
    print(f"抽出したデータは {json_filename} に保存されました")
url = "https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/"
idealista_listings = listings(url)

from seleniumwire import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
from datetime import datetime
import json
def listings(url):
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    s = Service("ChromeDriverのパスを置き換えてください")
    driver = webdriver.Chrome(service=s, chrome_options=chrome_options)
    driver.get(url)
    time.sleep(8)  # ウェブサイトの読み込み時間に応じて調整
    soup = BeautifulSoup(driver.page_source, "lxml")
    driver.quit()
    house_listings = soup.find_all("article", class_="item")
    extracted_data = []
    for listing in house_listings:
        description_elem = listing.find("div", class_="item-description")
        description_text = description_elem.get_text(strip=True) if description_elem else "nil"
        item_details = listing.find_all("span", class_="item-detail")
        bedrooms = item_details[0].get_text(strip=True) if len(item_details) > 0 else "nil"
        area = item_details[1].get_text(strip=True) if len(item_details) > 1 else "nil"
        image_urls = [img["src"] for img in listing.find_all("img") if img.get("src")]
        first_image_url = image_urls[0] if image_urls else "nil"
        listing_info = {
            "タイトル": listing.find("a", class_="item-link").get("title", "nil"),
            "価格": listing.find("span", class_="item-price").get_text(strip=True),
            "ベッドルーム": bedrooms,
            "面積": area,
            "説明": description_text,
            "画像URL": first_image_url,
        }
        extracted_data.append(listing_info)
    current_datetime = datetime.now().strftime("%Y%m%d%H%M%S")
    json_filename = f"new_revised_data_{current_datetime}.json"
    with open(json_filename, "w", encoding="utf-8") as json_file:
        json.dump(extracted_data, json_file, ensure_ascii=False, indent=2)
    print(f"抽出したデータは {json_filename} に保存されました")
url = "https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/"
idealista_listings = listings(url)

cd path/to/scrapeless-bypass

npm init -y

npm install puppeteer-core

npm install puppeteer puppeteer-core

wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY

---

#### ステップ4: Puppeteerスクリプトを書く

##### 4.1 スクリプトファイルの作成
プロジェクトフォルダ内に `bypass-cloudflare.js` という名前の新しいJavaScriptファイルを作成します。

##### 4.2 Scrapelessに接続し、Puppeteerを起動する
`bypass-cloudflare.js` に次のコードを追加します：

##### 4.3 ウェブページを開き、Cloudflareをバイパスする
スクリプトを拡張して、新しいページを開き、Cloudflareで保護されたウェブサイトに移動します：

##### 4.4 ページ要素の読み込みを待つ
先に進む前にCloudflareの保護がバイパスされていることを確認します：

##### 4.5 スクリーンショットを撮る
Cloudflareの保護が正常にバイパスされたかどうかを確認するために、ページのスクリーンショットを撮ります：

##### 4.6 完全なスクリプト
以下が完全なスクリプトです：

// 新しいページを開いてターゲットウェブサイトに移動
const page = await browser.newPage();
await page.goto('https://www.scrapingcourse.com/cloudflare-challenge', { waitUntil: 'domcontentloaded' });

// ページが完全に読み込まれるのを待つ
await page.waitForTimeout(5000); // 必要に応じて遅延を調整
await page.waitForSelector('main.page-content', { timeout: 30000 });

// スクリーンショットをキャプチャ
await page.screenshot({ path: 'challenge-bypass.png' });
console.log('スクリーンショットがchallenge-bypass.pngとして保存されました');

// ブラウザを閉じる
await browser.close();
console.log('ブラウザが閉じられました');

#### ステップ5: スクリプトを実行
##### 5.1 スクリプトを保存

スクリプトがbypass-cloudflare.jsとして保存されていることを確認してください。
##### 5.2 スクリプトを実行
Node.jsを使ってスクリプトを実行します：

##### 5.3 期待される出力
すべてが正しく設定されている場合、ターミナルに次のように表示されます：

challenge-bypass.pngファイルがプロジェクトフォルダに表示され、Cloudflareの保護が正常にバイパスされたことを確認できます。

Scrapeless Scraping Browserを直接スクレイピングコードに統合することもできます：

### フィンガープリンティングのカスタマイズ

特に**Idealista**のような大規模な不動産プラットフォームからデータをスクレイピングする際には、**Scrapeless**を使って**Cloudflare**チャレンジを正常にバイパスしたとしても、繰り返しの高ボリュームアクセスによりボットとしてフラグされる可能性があります。

ウェブサイトは、**ブラウザフィンガープリンティング**を使用して自動化された振る舞いを検出し、アクセスを制限することがよくあります。

---

#### ⚠️ よくある問題点

- **複数回のスクレイピング後の遅延応答**  
  サイトはIPや行動パターンに基づいてリクエストを制限することがあります。

- **ページレイアウトがレンダリングされない**  
  動的コンテンツはリアルなブラウザ環境に依存することがあり、スクレイピング中にデータが欠けたり壊れたりすることがあります。

- **特定の地域でのリスティングが欠けている**  
  サイトは疑わしいトラフィックパターンに基づいてコンテンツをブロックまたは非表示にすることがあります。

---
これらの問題は、各リクエストに対して同一のブラウザ設定が原因で発生することが多いです。ブラウザのフィンガープリントが変わらない場合、ボット対策システムは自動化を検出しやすくなります。

---

#### 解決策：Scrapelessによるカスタムフィンガープリンティング

**Scrapeless Scraping Browser** は、リアルユーザーの行動を模倣し、検出を避けるためのフィンガープリンティングカスタマイズを備えています。

以下のフィンガープリント要素を**ランダム化またはカスタマイズ**できます：

| フィンガープリント要素 | 説明 |
|---------------------|-------------|
| **User-Agent**      | 様々なOS/ブラウザの組み合わせを模倣します（例：Windows/MacのChrome）。 |
| **プラットフォーム** | 異なるオペレーティングシステムをシミュレートします（Windows、macOSなど）。 |
| **画面サイズ**     | モバイル/デスクトップの不一致を避けるため、様々なデバイスの解像度をエミュレートします。 |
| **ローカリゼーション** | 一貫性のために、地理位置に合わせて言語とタイムゾーンを調整します。 |

---

これらの値を回転させたりカスタマイズすることで、各リクエストがより自然に見え、検出のリスクを減らし、データ抽出の信頼性を向上させます。

**コード例：**

### セッションリプレイ

ブラウザフィンガープリントをカスタマイズすると、ページの安定性が大幅に向上し、コンテンツの抽出がより信頼できるようになります。

ただし、大規模なスクレイピング操作中に予期しない問題が発生し、抽出に失敗することがあります。この問題に対処するために、**Scrapeless**は強力な**セッションリプレイ**機能を提供しています。

---

#### セッションリプレイとは？

セッションリプレイは、ブラウザセッション全体を詳細に記録し、以下の全てのインタラクションをキャプチャします：

- ページロードプロセス  
- ネットワークリクエストとレスポンスデータ  
- JavaScript実行の動作  
- 動的に読み込まれたが未解析のコンテンツ  

---

#### なぜセッションリプレイを使用するのか？

**Idealista**のような複雑なウェブサイトをスクレイピングする際に、セッションリプレイはデバッグの効率を大幅に向上させることができます。

| 利点                       | 説明                                                                 |
|----------------------------|-----------------------------------------------------------------------------|
| **正確な問題追跡**       | 推測なしで失敗したリクエストを迅速に特定                                     |
| **コードの再実行が不要**   | スクレイパーを再実行することなく、リプレイから問題を直接分析               |
| **協力の改善**           | チームメンバーとリプレイログを共有し、トラブルシューティングを容易にする   |
| **動的コンテンツ分析**   | スクレイピング中に動的に読み込まれたデータがどのように動作するかを理解する  |

---

#### 使用のヒント

**セッションリプレイ**が有効になったら、スクレイプが失敗したり、データが不完全に見えるときは、まずリプレイログを確認してください。これにより、問題を迅速に診断し、デバッグ時間を短縮できます。

### プロキシ設定

Idealistaをスクレイピングする際には、このプラットフォームが特定の都市からの非ローカルIPアドレスに非常に敏感であることに注意が必要です。もしIPが国外から発信されると、Idealistaは:

- リクエストを完全にブロックする  
- ページの簡略版または削減版を返す  
- CAPTCHAをトリガーすることなく、空または不完全なデータを提供することがある  

---

#### Scrapelessによるプロキシサポート

Scrapelessは**組み込みプロキシ設定**を提供しており、地理的なソースを直接指定できます。

以下のいずれかを使用して設定できます：

- `proxy_country`: 2文字の国コード（例：スペインの場合は `'ES'`）  
- `proxy_url`: 自分のプロキシサーバーのURL  

使用例：

### 高い同時実行性

私たちがIdealistaからスクレイピングしたページは、[アルカラ・デ・エナレスの不動産リスト](https://www.idealista.com/venta-viviendas/alcala-de-henares-madrid/)で、最大6ページのリストがあります。

業界のトレンドを研究したり、競争力のあるマーケティング戦略を収集する際に、**20以上の都市から日々**不動産データをスクレイピングする必要があるかもしれません。場合によっては、毎時間このデータを更新する必要があるかもしれません。

![](https://assets.scrapeless.com/prod/posts/scrapeless-scraping-browser-best-practices/ba2b8c5377739e9d7adc71a7f968b0f3.png)

---
#### 高同時接続要件

このボリュームを効率的に処理するために、以下の要件を考慮してください。

- **複数の同時接続**: 長時間の待機時間なしで、数百のページからデータをスクレイピングするため。
- **自動化ツール**: 同時リクエストを大規模に処理できるScrapeless Scraping Browserや類似のツールを使用。
- **セッション管理**: CAPTCHASやIPブロックを避けるために持続的なセッションを維持。

---

#### Scrapelessのスケーラビリティ

Scrapelessは高同時接続のスクレイピングのために特別に設計されています。以下の機能を提供します。

- **並列ブラウザセッション**: 複数のリクエストを同時に処理し、多くの都市にわたって大量のデータをスクレイピングできるようにします。
- **低コストで高効率のスクレイピング**: 並列でのスクレイピングは、1ページあたりのコストを削減し、スループットを最適化します。
- **高ボリュームのボット対策を回避**: 高負荷のスクレイピング中でも、自動的にCAPTCHAやその他の認証システムを処理します。

---

> **ヒント**: リクエストは十分に間隔を空けて、人間のようなブラウジング行動を模倣し、Idealistaからのレート制限や禁止を防ぐようにしてください。

#### スケーラビリティとコスト効率

通常のPuppeteerはセッションを効率的にスケールするのに苦労し、キューシステムと統合できません。しかし、Scrapeless Scraping Browserは**数十**の同時セッションから**無制限**の同時セッションまでスムーズにスケーリングをサポートし、ピークタスク負荷時にも**ゼロキュー時間とゼロタイムアウト**を保証します。

以下は高同時接続のスクレイピングに対するさまざまなツールの比較です。Scrapelessの高同時接続ブラウザを使用する場合、コストについて心配する必要はありません。実際、手数料が**50%近く**節約できるかもしれません。

---

#### ツール比較

| **ツール名** | **時間当たり料金 (USD/時)** | **プロキシ料金 (USD/GB)** | **同時サポート** |
| ------------- | --------------------------- | ------------------------- | ------------------ |
| **Scrapeless** | $0.063 – $0.090/時 (同時接続と使用状況による) | $1.26 – $1.80/GB | 50 / 100 / 200 / 400 / 600 / 1000 / 無制限 |
| **Browserbase** | $0.10 – $0.198/時 (2-5GBの無料プロキシに含まれる) | $10/GB (無料配布後) | 3 (基本) / 50 (上級) |
| **Brightdata** | $0.10/時 | $9.5/GB (標準); $12.5/GB (上級ドメイン) | 無制限 |
| **Zenrows** | $0.09/時 | $2.8 – $5.42/GB | 最大100 |
| **Browserless** | $0.084 – $0.15/時 (ユニットベースの請求) | $4.3/GB | 3 / 10 / 50 |

> **ヒント**: **大規模スクレイピング**と**高同時接続サポート**が必要な場合、**Scrapeless**が最良のコスト対パフォーマンス比を提供します。

### ウェブスクレイピングのコスト管理戦略

注意深いユーザーは、私たちがスクレイピングするIdealistaのページには、高解像度の物件画像、インタラクティブな地図、ビデオプレゼンテーション、広告スクリプトが大量に含まれていることに気づいたかもしれません。これらの要素はエンドユーザーには使いやすいですが、データ抽出には不要で、帯域幅の消費とコストを大幅に増加させます。

![](https://assets.scrapeless.com/prod/posts/scrapeless-scraping-browser-best-practices/9c56c6f5636beef230ed9d4792f5f8c5.png)

トラフィックの使用を最適化するために、次の戦略を採用することをお勧めします。

1. **リソースのインターセプト**: 不要なリソースリクエストをインターセプトしてトラフィック消費を削減します。
2. **リクエストURLのインターセプト**: URLの特性に基づいて特定のリクエストをインターセプトし、さらにトラフィックを最小化します。
3. **モバイルデバイスのシミュレーション**: モバイルデバイスの設定を使用して、軽量なページバージョンを取得します。

---

#### 詳細な戦略

##### 1. **リソースのインターセプト**

リソースのインターセプトを有効にすると、スクレイピング効率が大幅に向上します。Puppeteerの`setRequestInterception`関数を設定することで、画像、メディア、フォント、スタイルシートなどのリソースをブロックし、大きなコンテンツのダウンロードを避けます。

##### 2. **リクエストURLのフィルタリング**

リクエストURLを検査することで、データ抽出に関連しない広告サービスやサードパーティの分析スクリプトなどの無関係なリクエストをフィルタリングできます。これにより、不要なネットワークトラフィックが減少します。

##### 3. **モバイルデバイスのシミュレーション**

モバイルデバイス（例：ユーザーエージェントをiPhoneに設定）をシミュレーションすることで、軽量でモバイル最適化されたバージョンのページを取得できます。これにより、読み込まれるリソースが少なくなり、スクレイピングプロセスが迅速化します。

> 詳細については、[Scrapelessの公式ドキュメント](https://docs.scrapeless.com/en/scraping-browser/guides/optimizing-cost/)を参照してください。
---

#### コード例

以下は、リソーススクレイピングを最適化するために、Scrapeless Cloud Browser + Puppeteerを使用してこれらの3つの戦略を組み合わせる例です：

// リクエストインターセプションを有効にする

```ja
await page.setRequestInterception(true);
 
// ブロックするリソースタイプを定義
const BLOCKED_TYPES = new Set([
    'image',
    'font',
    'media',
    'stylesheet',
]);
 
// リクエストをインターセプト
page.on('request', (request) => {
    if (BLOCKED_TYPES.has(request.resourceType())) {
        request.abort();
        console.log(`ブロックされました: ${request.resourceType()} - ${request.url().substring(0, 50)}...`);
    } else {
        request.continue();
    }
});
 
await page.goto(url, {waitUntil: 'domcontentloaded'});
 
// データを抽出
const data = await page.evaluate(() => {
    return {
        title: document.title,
        content: document.body.innerText.substring(0, 1000)
    };
});
 
await browser.close();
return data;
}

// 使用方法
scrapeWithResourceBlocking('https://www.scrapeless.com')
    .then(data => console.log('スクレイピング結果:', data))
    .catch(error => console.error('スクレイピング失敗:', error));

- **柔軟なスケーラビリティ**: ScrapelessはPuppeteerとシームレスに統合されており、ユーザーはスクレイピング戦略をカスタマイズし、他のツールやプラットフォームと接続してワンストップのデータスクレイピングおよび分析ワークフローを実現できます。

eコマースプラットフォームでの価格比較のためのスクレイピング、不動産ウェブサイトデータの抽出、または金融リスク監視やマーケットインテリジェンス分析の適用において、Scrapelessはさまざまな業界に高効率でインテリジェント、かつ信頼性のあるソリューションを提供します。

この記事で取り上げられた技術的な詳細とベストプラクティスを通じて、あなたは大規模データスクレイピングのためにScrapelessを活用する方法を理解しました。動的ページの処理、複雑なインタラクティブデータの抽出、トラフィックの最適化、またはアンチスクレイピング機構の克服において、Scrapelessはあなたのスクレイピング目標を迅速かつ効率的に達成する手助けをします。