WebスクレイピングのためのUnDetected ChromeDriverの使い方

mkdir undetected-chromedriver-scraper
cd undetected-chromedriver-scraper
python -m venv env

# LinuxまたはmacOSの場合
source env/bin/activate

# Windowsの場合
env\Scripts\activate

pip install undetected_chromedriver

import undetected_chromedriver as uc
from selenium.webdriver.common.by import By
import json

# Chromeインスタンスを初期化
driver = uc.Chrome()

# ターゲットページに接続
driver.get("https://scrapeless.com")

# スクラピングロジック...

# ブラウザを閉じる
driver.quit()

import undetected_chromedriver as uc
from selenium.webdriver.common.by import By
import json
import time

# Chromeウェブドライバインスタンスを作成
driver = uc.Chrome()

# Appleのウェブサイトに接続
driver.get("https://www.apple.com/fr/")

# ページが完全に読み込まれるまで少し時間をおく
time.sleep(3)

# 商品情報を保存するための辞書
apple_products = {}

try:
    # 商品セクションを見つける（提供されたHTMLのクラスを使用）
    product_sections = driver.find_elements(By.CSS_SELECTOR, ".homepage-section.collection-module .unit-wrapper")
    
    for i, section in enumerate(product_sections):
        try:
            # 商品名（見出し）を取得
            headline = section.find_element(By.CSS_SELECTOR, ".headline, .logo-image").get_attribute("textContent").strip()
            
            # 説明（副題）を取得
            subhead_element = section.find_element(By.CSS_SELECTOR, ".subhead")
            subhead = subhead_element.text
            
            # リンクがあれば取得
            link = ""
            try:
                link_element = section.find_element(By.CSS_SELECTOR, ".unit-link")
                link = link_element.get_attribute("href")
            except:
                pass
            
            apple_products[f"product_{i+1}"] = {
                "name": headline,
                "description": subhead,
                "link": link
            }
        except Exception as e:
            print(f"セクション{i+1}の処理中にエラーが発生しました：{e}")
    
    # スクラップしたデータをJSONにエクスポート
    with open("apple_products.json", "w", encoding="utf-8") as json_file:
        json.dump(apple_products, json_file, indent=4, ensure_ascii=False)
    
    print(f"{len(apple_products)}個のApple製品を正常にスクレイピングしました")
    
except Exception as e:
    print(f"スクレイピング中にエラーが発生しました：{e}")

finally:
    # ブラウザを閉じ、リソースを解放する
    driver.quit()

python scraper.py

import undetected_chromedriver as uc

# Chromeのターゲットバージョンを指定
driver = uc.Chrome(version_main=105)

import undetected_chromedriver as uc

with uc.Chrome() as driver:
    driver.get("https://example.com")
    # それ以降のコード...

driver = uc.Chrome(headless=True)

const {chromium} = require('playwright-core');

// Scrapeless接続URL（トークン付き）
const connectionURL = 'wss://browser.scrapeless.com/browser?token=YOUR_TOKEN_HERE&session_ttl=180&proxy_country=ANY';

(async () => {
  // リモートScrapelessブラウザに接続
  const browser = await chromium.connectOverCDP(connectionURL);
  
  try {
    // 新しいページを作成
    const page = await browser.newPage();
    
    // Appleのウェブサイトに移動
    console.log('Appleのウェブサイトに移動しています...');
    await page.goto('https://www.apple.com/fr/', {
      waitUntil: 'domcontentloaded',
      timeout: 60000
    });
    
    console.log('ページが正常に読み込まれました');
    
    // 商品セクションが利用可能になるまで待機
    await page.waitForSelector('.homepage-section.collection-module', { timeout: 10000 });
    
    // ホームページから注目商品を取得
    const products = await page.evaluate(() => {
      const results = [];
      
      // すべての商品セクションを取得
      const productSections = document.querySelectorAll('.homepage-section.collection-module .unit-wrapper');
      
      productSections.forEach((section, index) => {
        try {
          // 商品名を取得 - .headlineまたは.logo-imageにある可能性があります
          const headlineEl = section.querySelector('.headline') || section.querySelector('.logo-image');
          const headline = headlineEl ? headlineEl.textContent.trim() : '不明な商品';
          
          // 商品の説明を取得
          const subheadEl = section.querySelector('.subhead');
          const subhead = subheadEl ? subheadEl.textContent.trim() : '';
          
          // 商品リンクを取得
          const linkEl = section.querySelector('.unit-link');
          const link = linkEl ? linkEl.getAttribute('href') : '';
          
          results.push({
            name: headline,
            description: subhead,
            link: link
          });
        } catch (err) {
          console.error(`セクション${index}の処理中にエラーが発生しました：${err.message}`);
        }
      });
      
      return results;
    });
    
    // 結果を表示
    console.log('見つかったApple製品：');
    console.log(JSON.stringify(products, null, 2));
    console.log(`見つかった商品の合計数：${products.length}`);
    
  } catch (error) {
    console.error('エラーが発生しました：', error);
  } finally {
    // ブラウザを閉じる
    await browser.close();
    console.log('ブラウザが閉じられました');
  }
})();

Undetected ChromeDriverソースコードからの簡略化された抜粋

def _patch_driver_executable():
    """
    自動化の兆候を削除するためにChromeDriverバイナリにパッチを適用します
    """
    linect = 0
    replacement = os.urandom(32).hex()
    with io.open(self.executable_path, "r+b") as fh:
        for line in iter(lambda: fh.readline(), b""):
            if b"cdc_" in line.lower():
                fh.seek(-len(line), 1)
                newline = re.sub(
                    b"cdc_.{22}", b"cdc_" + replacement.encode(), line
                )
                fh.write(newline)
                linect += 1
    return linect