PowerShell で Selenium を使う方法 [チュートリアル 2025]

$Driver = Start-SeChrome -WebDriverDirectory '/path/to/chromedriver/folder' -Headless

Import-Module -Name Selenium

# Selenium WebDriverを初期化します
$Driver = Start-SeChrome -WebDriverDirectory './chromedriver-win64' -Headless

# G2レビューページにアクセスします
Enter-SeUrl 'https://www.g2.com/products/airtable/reviews' -Driver $Driver

# ページの読み込みを待ちます
Start-Sleep -Seconds 5

# ページタイトルを取得します
$Title = $Driver.Title
Write-Host "ページタイトル：$Title"

# ページソースを出力します
$Html = $Driver.PageSource
$Html | Out-File -FilePath "g2_response.html"

# ブラウザを閉じます
Stop-SeDriver -Driver $Driver

<div class="paper__bd">
  <div class="d-f mb-1">
    <div class="f-1 d-f ai-c mb-half-small-only">
      <div class="stars large xlarge--medium-down stars-10"></div>
      <div class="time-stamp pl-4th ws-nw">
        <span><span class="x-current-review-date" data-poison-date="">
          <meta content="2025-02-11" itemprop="datePublished">
          <time datetime="2025-02-11">Feb 11, 2025</time>
        </span></span>
      </div>
    </div>
  </div>
  <div class="d-f">
    <div class="f-1">
      <div data-poison="">
        <a class="pjax" href="https://www.g2.com/products/airtable/reviews/airtable-review-10822745">
          <div class="m-0 l2" itemprop="name">"Helped us get a handle on our complicated team-based scheduling and management."</div>
        </a>
      </div>
      <div data-poison-text="">
        <div itemprop="reviewBody">
          <div>
            <div class="l5 mt-2">What do you like best about Airtable?</div>
            <div>
              <p class="formatted-text">The best part about airtable is it's customiizable nature. We worked with a tech specialist to configure Airtable to meet our unique needs and it has so far been adaptable to everything we needed it to do...</p>
            </div>
          </div>
          <!-- More review sections... -->
        </div>
      </div>
    </div>
  </div>
</div>

npm install puppeteer-core

// scrape.js
const puppeteer = require('puppeteer-core');

async function scrapeG2Reviews() {
  // 実際のScrapeless APIトークンに置き換えます
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  
  // Scrapeless Scraping Browserへの接続を設定します
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=180&proxy_country=ANY`;
  
  console.log('Scrapeless Scraping Browserに接続しています...');
  
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });
  
  console.log('接続しました！');
  
  const page = await browser.newPage();
  
  // ナビゲーションのタイムアウトを長く設定します
  page.setDefaultNavigationTimeout(120000);
  
  // すべてのレビューを保持する配列
  const allReviews = [];
  
  // スクラップするページ数
  const pagesToScrape = 3;
  
  for (let currentPage = 1; currentPage <= pagesToScrape; currentPage++) {
    console.log(`ページ${currentPage}に移動しています...`);
    
    // 特定のページ番号に直接移動します
    const pageUrl = currentPage === 1 
      ? 'https://www.g2.com/products/airtable/reviews' 
      : `https://www.g2.com/products/airtable/reviews?page=${currentPage}`;
      
    await page.goto(pageUrl, {
      waitUntil: 'networkidle2',
      timeout: 60000
    });
    
    console.log(`ページ${currentPage}が読み込まれました。スクリーンショットを撮っています...`);
    
    // ページが正しく読み込まれたことを確認するためにスクリーンショットを撮ります
    await page.screenshot({ path: `g2_page_${currentPage}.png` });
    
    // ページコンテンツの読み込みを待ちます
    // 構造が変更されている可能性があるため、さまざまなセレクターを試してみてください
    try {
      console.log('コンテンツの読み込みを待機しています...');
      
      // 最初に元のセレクターを試します
      await page.waitForSelector('.paper__bd', { timeout: 10000 })
        .then(() => console.log('セレクターが見つかりました：.paper__bd'))
        .catch(() => console.log('セレクター.paper__bdが見つかりません。代替案を試しています...'));
      
      // まだここにある場合は、別の方法でページ構造を確認しましょう
      console.log('ページ構造を分析しています...');
      
      // 正しいページにいることを確認するためにページタイトルを取得します
      const pageTitle = await page.title();
      console.log('ページタイトル：', pageTitle);
      
      // より一般的なアプローチでレビューを抽出します
      console.log('レビューを抽出しています...');
      
      // より堅牢なアプローチでレビューを抽出してみてください
      const pageReviews = await page.evaluate(() => {
        // 複数のセレクターを使用してレビューコンテナを探します
        const reviewElements = Array.from(
          document.querySelectorAll('.paper__bd, .review-item, .reviews-section article, [data-testid="review-card"]')
        );
        
        console.log(`見つかった可能性のあるレビュー要素の数：${reviewElements.length}`);
        
        if (reviewElements.length === 0) {
          // 特定のセレクターでレビューが見つからない場合は、ページ構造をダンプします
          const html = document.documentElement.outerHTML;
          return { error: 'レビューが見つかりません', html: html.substring(0, 5000) }; // デバッグのため最初の5000文字
        }
        
        return reviewElements.map(review => {
          // 複数の可能性のあるセレクターを使用してタイトルを取得してみてください
          const titleElement = 
            review.querySelector('[itemprop="name"], .review-title, h3, h4') ||
            review.querySelector('a.pjax div');
            
          const title = titleElement ? titleElement.innerText.trim() : 'タイトルなし';
          
          // 複数の可能性のあるセレクターを使用して日付を取得してみてください
          const dateElement = 
            review.querySelector('time, .review-date, [data-testid="review-date"]') ||
            review.querySelector('.time-stamp');
            
          const date = dateElement ? dateElement.innerText.trim() : '日付なし';
          
          // 複数の方法で評価を取得してみてください
          let rating = 0;
          const starsElement = review.querySelector('.stars, .rating, [data-testid="star-rating"]');
          
          if (starsElement) {
            // stars-Xクラスを確認します
            const starsClass = starsElement.className;
            const starsMatch = starsClass.match(/stars-(\d+)/);
            if (starsMatch) {
              rating = parseInt(starsMatch[1]) / 2;
            } else {
              // そうでない場合は、評価が含まれている可能性のあるaria-labelを確認します
              const ariaLabel = starsElement.getAttribute('aria-label');
              if (ariaLabel) {
                const ratingMatch = ariaLabel.match(/(\d+(\.\d+)?)/);
                if (ratingMatch) {
                  rating = parseFloat(ratingMatch[1]);
                }
              }
            }
          }
          
          // 複数の可能性のあるセレクターを使用してレビューテキストを取得してみてください
          const textElements = review.querySelectorAll('.formatted-text, .review-content, p, [data-testid="review-content"]');
          let content = '';
          
          textElements.forEach(el => {
            const text = el.innerText.trim();
            if (text && !text.includes('Review collected by and hosted on G2.com')) {
              content += text + '\n\n';
            }
          });
          
          return {
            title,
            date,
            rating,
            content: content.trim() || 'コンテンツが見つかりません'
          };
        });
      });
      
      if (pageReviews.error) {
        console.log('レビューの抽出エラー：', pageReviews.error);
        console.log('ページHTMLスニペット：', pageReviews.html);
      } else {
        console.log(`ページ${currentPage}から${pageReviews.length}件のレビューを抽出しました`);
        
        // コレクションに追加します
        allReviews.push(...pageReviews);
      }
      
    } catch (error) {
      console.error('ページのエラー：', error);
      // デバッグのためにエラー発生時に別のスクリーンショットを撮ります
      await page.screenshot({ path: `error_page_${currentPage}.png` });
      
      // デバッグのためにページHTMLをダンプします
      const html = await page.content();
      require('fs').writeFileSync(`error_page_${currentPage}.html`, html);
      console.log(`error_page_${currentPage}.htmlにエラーページHTMLを保存しました`);
    }
    
    // サーバーに優しくするためにページ間の短い一時停止
    await new Promise(r => setTimeout(r, 2000));
  }
  
  console.log(`合計で${allReviews.length}件のレビューを抽出しました`);
  
  // すべてのレビューをファイルに保存します
  require('fs').writeFileSync('g2_reviews.json', JSON.stringify(allReviews, null, 2));
  console.log('レビューをg2_reviews.jsonに保存しました');
  
  await browser.close();
  console.log('完了しました！');
}

scrapeG2Reviews().catch(console.error);

node scrape.js

[
  {
    "title": "\"Helped us get a handle on our complicated team-based scheduling and management.\"",
    "date": "Feb 11, 2025",
    "rating": 5,
    "content": "What do you like best about Airtable?\nThe best part about airtable is it's customiizable nature. We worked with a tech specialist to configure Airtable to meet our unique needs and it has so far been adaptable to everything we needed it to do. It has a huge capacity in terms of features and we were able to get it up and running in a fairly short period of time.\n\nWhat do you dislike about Airtable?\nThere are no real downsides except the intial learning curve. I believe we could have built Airtable out as we needed but it would have been a bigger intial time investment. Working with a tech specialist who knew Airtable well really helped us get up and running fast. It was worth the cost."
  },
  {
    "title": "\"Great for organization, has changed our workflow\"",
    "date": "Feb 8, 2025",
    "rating": 4.5,
    "content": "What do you like best about Airtable?\nWhat I like best about Airtable is its flexibility and customizability. It allows us to create databases that perfectly fit our needs, with custom fields, views, and formulas. The ability to link records between tables is incredibly powerful.\n\nWhat do you dislike about Airtable?\nSometimes the learning curve can be steep for new users, especially when dealing with more complex formulas and automations. The pricing can also become quite expensive as your needs grow and you require more records or features."
  },
  {
    "title": "\"Powerful database tool with a spreadsheet interface\"",
    "date": "Jan 29, 2025",
    "rating": 4,
    "content": "What do you like best about Airtable?\nAirtable combines the familiarity of spreadsheets with the power of a database. I appreciate how it allows for different views of the same data - grid, kanban, calendar, etc. It's intuitive enough for non-technical users but powerful enough for complex data management.\n\nWhat do you dislike about Airtable?\nThe free tier is quite limited, and pricing jumps significantly for premium features. Sometimes performance can slow down with large datasets, and there are occasional sync issues when multiple team members are editing simultaneously."
  }
]

# ファイル：run-scraper.ps1

Write-Host "Scrapeless Scraping Browserを使用したG2.comのスクレイピングを開始します..."

# 出力フォルダを作成します
$outputFolder = "G2_Reviews_" + (Get-Date -Format "yyyyMMdd_HHmmss")
New-Item -ItemType Directory -Path $outputFolder -Force | Out-Null

# Node.jsスクリプトを実行し、出力を取得します
$jsonFile = Join-Path $outputFolder "reviews.json"
node scrape.js > $jsonFile

Write-Host "Node.jsスクレイピングが完了しました。結果を処理しています..."

# ファイルに有効なJSONデータが含まれているかどうかを確認します
try {
    # ファイルの内容を読み取ります
    $content = Get-Content -Path $jsonFile -Raw
    
    # JSON部分を抽出します（すべてのconsole.logメッセージの後の出力であると仮定します）
    if ($content -match '\[.*\]') {
        $jsonContent = $Matches[0]
        Set-Content -Path $jsonFile -Value $jsonContent
        
        # JSONをPowerShellオブジェクトに解析します
        $reviews = $jsonContent | ConvertFrom-Json
        
        # CSVにエクスポートします
        $csvPath = Join-Path $outputFolder "g2_reviews.csv"
        $reviews | Export-Csv -Path $csvPath -NoTypeInformation -Encoding UTF8
        
        Write-Host "レビューを$($reviews.Count)件正常に抽出しました"
        Write-Host "結果を次の場所に保存しました：$csvPath"
        
        # 基本的な分析
        $averageRating = ($reviews | Measure-Object -Property rating -Average).Average
        Write-Host "平均評価：5つ星満点中$averageRating"
        
        $ratingDistribution = $reviews | Group-Object -Property rating | Sort-Object -Property Name
        foreach ($ratingGroup in $ratingDistribution) {
            Write-Host "$($ratingGroup.Name)つ星：$($ratingGroup.Count)件のレビュー"
        }
    } else {
        Write-Error "出力にJSONデータが見つかりません"
    }
} catch {
    Write-Error "JSONデータの処理エラー：$_"
}

.\run-scraper.ps1

// ファイル：scrape-g2-multipage.js
const puppeteer = require('puppeteer-core');

async function scrapeG2ReviewsMultiPage() {
  // 実際のScrapeless APIトークンに置き換えます
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  
  // Scrapeless Scraping Browserへの接続を設定します
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=300&proxy_country=ANY`;
  
  console.log('Scrapeless Scraping Browserに接続しています...');
  
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });
  
  console.log('接続しました！G2.comを開いています...');
  
  const page = await browser.newPage();
  
  // 適切なナビゲーションタイムアウトを設定します
  page.setDefaultNavigationTimeout(60000);
  
  // すべてのレビューを保持する配列
  const allReviews = [];
  
  // 現在のページからレビューを抽出する関数
  const extractReviews = async () => {
    return page.evaluate(() => {
      return Array.from(document.querySelectorAll('.paper__bd')).map(review => {
        // タイトル
        const titleElement = review.querySelector('a.pjax div[itemprop="name"]');
        const title = titleElement ? titleElement.innerText : 'タイトルなし';
        
        // 日付
        const dateElement = review.querySelector('time');
        const date = dateElement ? dateElement.innerText : '日付なし';
        
        // 評価
        const starsElement = review.querySelector('.stars');
        let rating = 0;
        if (starsElement) {
          const starsClass = starsElement.className;
          const match = starsClass.match(/stars-(\d+)/);
          if (match) {
            rating = parseInt(match[1])/2;
          }
        }
        
        // レビューコンテンツ
        const contentElements = review.querySelectorAll('.formatted-text');
        let content = '';
        contentElements.forEach(el => {
          const text = el.innerText;
          if (!text.includes('Review collected by and hosted on G2.com')) {
            content += text + '\n\n';
          }
        });
        
        return {
          title,
          date,
          rating,
          content: content.trim()
        };
      });
    });
  };
  
  // 最初のページに移動します
  await page.goto('https://www.g2.com/products/airtable/reviews', {
    waitUntil: 'networkidle2'
  });
  
  // レビューの読み込みを待ちます
  await page.waitForSelector('.paper__bd', {timeout: 30000});
  
  // 最初のページのスクリーンショットを撮ります
  await page.screenshot({ path: 'page1.png' });
  
  // スクラップするページ数（デモ用制限）
  const pagesToScrape = 3;
  let currentPage = 1;
  
  while (currentPage <= pagesToScrape) {
    console.log(`ページ${currentPage}をスクレイピングしています...`);
    
    // 現在のページからレビューを抽出します
    const pageReviews = await extractReviews();
    console.log(`ページ${currentPage}で${pageReviews.length}件のレビューが見つかりました`);
    
    // コレクションに追加します
    allReviews.push(...pageReviews);
    
    // 次のページボタンがあるかどうかを確認します

const hasNextPage = await page.evaluate(() => {
      const nextButton = document.querySelector('a.next_page');
      return nextButton && !nextButton.classList.contains('disabled');
    });

    if (hasNextPage && currentPage < pagesToScrape) {
      // 次のページURLに直接移動
      currentPage++;
      await page.goto(`https://www.g2.com/products/airtable/reviews?page=${currentPage}`, {
        waitUntil: 'networkidle2'
      });

      // 新しいページのレビューの読み込みを待ちます
      await page.waitForSelector('.paper__bd', {timeout: 30000});

      // 新しいページのスクリーンショットを撮ります
      await page.screenshot({ path: `page${currentPage}.png` });
    } else {
      break;
    }
  }

  console.log(`合計で${allReviews.length}件のレビューを抽出しました。`);

  // すべてのレビューをJSONとして出力します
  console.log(JSON.stringify(allReviews, null, 2));

  await browser.close();
  console.log('完了しました！');
}

scrapeG2ReviewsMultiPage().catch(console.error);