Cách sử dụng Selenium với PowerShell [Hướng dẫn 2025]

$Driver = Start-SeChrome -WebDriverDirectory '/path/to/chromedriver/folder' -Headless

Import-Module -Name Selenium

# Khởi tạo Selenium WebDriver
$Driver = Start-SeChrome -WebDriverDirectory './chromedriver-win64' -Headless

# Truy cập trang đánh giá G2
Enter-SeUrl 'https://www.g2.com/products/airtable/reviews' -Driver $Driver

# Chờ một lát để trang tải
Start-Sleep -Seconds 5

# Lấy tiêu đề trang
$Title = $Driver.Title
Write-Host "Tiêu đề trang: $Title"

# In nguồn trang
$Html = $Driver.PageSource
$Html | Out-File -FilePath "g2_response.html"

# Đóng trình duyệt
Stop-SeDriver -Driver $Driver

<div class="paper__bd">
  <div class="d-f mb-1">
    <div class="f-1 d-f ai-c mb-half-small-only">
      <div class="stars large xlarge--medium-down stars-10"></div>
      <div class="time-stamp pl-4th ws-nw">
        <span><span class="x-current-review-date" data-poison-date="">
          <meta content="2025-02-11" itemprop="datePublished">
          <time datetime="2025-02-11">Feb 11, 2025</time>
        </span></span>
      </div>
    </div>
  </div>
  <div class="d-f">
    <div class="f-1">
      <div data-poison="">
        <a class="pjax" href="https://www.g2.com/products/airtable/reviews/airtable-review-10822745">
          <div class="m-0 l2" itemprop="name">"Helped us get a handle on our complicated team-based scheduling and management."</div>
        </a>
      </div>
      <div data-poison-text="">
        <div itemprop="reviewBody">
          <div>
            <div class="l5 mt-2">What do you like best about Airtable?</div>
            <div>
              <p class="formatted-text">The best part about airtable is it's customiizable nature. We worked with a tech specialist to configure Airtable to meet our unique needs and it has so far been adaptable to everything we needed it to do...</p>
            </div>
          </div>
          <!-- More review sections... -->
        </div>
      </div>
    </div>
  </div>
</div>

node --version
npm --version

npm install puppeteer-core

// scrape.js
const puppeteer = require('puppeteer-core');

async function scrapeG2Reviews() {
  // Thay thế bằng mã thông báo Scrapeless API thực tế của bạn
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  
  // Cấu hình kết nối với Scrapeless Scraping Browser
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=180&proxy_country=ANY`;
  
  console.log('Đang kết nối với Scrapeless Scraping Browser...');
  
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });
  
  console.log('Đã kết nối!');
  
  const page = await browser.newPage();
  
  // Đặt thời gian chờ dài hơn cho việc điều hướng
  page.setDefaultNavigationTimeout(120000);
  
  // Mảng để lưu trữ tất cả các đánh giá
  const allReviews = [];
  
  // Số trang cần thu thập dữ liệu
  const pagesToScrape = 3;
  
  for (let currentPage = 1; currentPage <= pagesToScrape; currentPage++) {
    console.log(`Đang điều hướng đến trang ${currentPage}...`);
    
    // Điều hướng trực tiếp đến số trang cụ thể
    const pageUrl = currentPage === 1 
      ? 'https://www.g2.com/products/airtable/reviews' 
      : `https://www.g2.com/products/airtable/reviews?page=${currentPage}`;
      
    await page.goto(pageUrl, {
      waitUntil: 'networkidle2',
      timeout: 60000
    });
    
    console.log(`Trang ${currentPage} đã tải. Đang chụp ảnh màn hình...`);
    
    // Chụp ảnh màn hình để xác minh trang đã tải đúng cách
    await page.screenshot({ path: `g2_page_${currentPage}.png` });
    
    // Chờ nội dung trang tải
    // Thử các bộ chọn có thể có khác nhau vì cấu trúc có thể đã thay đổi
    try {
      console.log('Đang chờ nội dung tải...');
      
      // Đầu tiên thử bộ chọn ban đầu
      await page.waitForSelector('.paper__bd', { timeout: 10000 })
        .then(() => console.log('Đã tìm thấy bộ chọn: .paper__bd'))
        .catch(() => console.log('Bộ chọn .paper__bd không tìm thấy, đang thử các phương án thay thế...'));
      
      // Nếu chúng ta vẫn ở đây, hãy kiểm tra cấu trúc trang bằng cách tiếp cận khác
      console.log('Đang phân tích cấu trúc trang...');
      
      // Lấy tiêu đề trang để xác minh chúng ta đang ở đúng trang
      const pageTitle = await page.title();
      console.log('Tiêu đề trang:', pageTitle);
      
      // Trích xuất đánh giá bằng cách tiếp cận tổng quát hơn
      console.log('Đang trích xuất đánh giá...');
      
      // Thử trích xuất đánh giá bằng cách tiếp cận linh hoạt hơn
      const pageReviews = await page.evaluate(() => {
        // Tìm các vùng chứa đánh giá với nhiều bộ chọn
        const reviewElements = Array.from(
          document.querySelectorAll('.paper__bd, .review-item, .reviews-section article, [data-testid="review-card"]')
        );
        
        console.log(`Đã tìm thấy ${reviewElements.length} phần tử đánh giá tiềm năng`);
        
        if (reviewElements.length === 0) {
          // Nếu không tìm thấy đánh giá nào với các bộ chọn cụ thể, hãy đổ cấu trúc trang
          const html = document.documentElement.outerHTML;
          return { error: 'Không tìm thấy đánh giá', html: html.substring(0, 5000) }; // 5000 ký tự đầu tiên để gỡ lỗi
        }
        
        return reviewElements.map(review => {
          // Thử lấy tiêu đề với nhiều bộ chọn tiềm năng
          const titleElement = 
            review.querySelector('[itemprop="name"], .review-title, h3, h4') ||
            review.querySelector('a.pjax div');
            
          const title = titleElement ? titleElement.innerText.trim() : 'Không có tiêu đề';
          
          // Thử lấy ngày với nhiều bộ chọn tiềm năng
          const dateElement = 
            review.querySelector('time, .review-date, [data-testid="review-date"]') ||
            review.querySelector('.time-stamp');
            
          const date = dateElement ? dateElement.innerText.trim() : 'Không có ngày';
          
          // Thử lấy xếp hạng với nhiều cách tiếp cận
          let rating = 0;
          const starsElement = review.querySelector('.stars, .rating, [data-testid="star-rating"]');
          
          if (starsElement) {
            // Kiểm tra xem có lớp stars-X không
            const starsClass = starsElement.className;
            const starsMatch = starsClass.match(/stars-(\d+)/);
            if (starsMatch) {
              rating = parseInt(starsMatch[1]) / 2;
            } else {
              // Nếu không thì kiểm tra aria-label có thể chứa xếp hạng không
              const ariaLabel = starsElement.getAttribute('aria-label');
              if (ariaLabel) {
                const ratingMatch = ariaLabel.match(/(\d+(\.\d+)?)/);
                if (ratingMatch) {
                  rating = parseFloat(ratingMatch[1]);
                }
              }
            }
          }
          
          // Thử lấy văn bản đánh giá với nhiều bộ chọn tiềm năng
          const textElements = review.querySelectorAll('.formatted-text, .review-content, p, [data-testid="review-content"]');
          let content = '';
          
          textElements.forEach(el => {
            const text = el.innerText.trim();
            if (text && !text.includes('Review collected by and hosted on G2.com')) {
              content += text + '\n\n';
            }
          });
          
          return {
            title,
            date,
            rating,
            content: content.trim() || 'Không tìm thấy nội dung'
          };
        });
      });
      
      if (pageReviews.error) {
        console.log('Lỗi trích xuất đánh giá:', pageReviews.error);
        console.log('Đoạn HTML của trang:', pageReviews.html);
      } else {
        console.log(`Đã trích xuất ${pageReviews.length} đánh giá từ trang ${currentPage}`);
        
        // Thêm vào bộ sưu tập của chúng ta
        allReviews.push(...pageReviews);
      }
      
    } catch (error) {
      console.error('Lỗi trên trang:', error);
      // Chụp ảnh màn hình khác khi xảy ra lỗi để gỡ lỗi
      await page.screenshot({ path: `error_page_${currentPage}.png` });
      
      // Đổ HTML trang để gỡ lỗi
      const html = await page.content();
      require('fs').writeFileSync(`error_page_${currentPage}.html`, html);
      console.log(`Đã lưu HTML trang lỗi vào error_page_${currentPage}.html`);
    }
    
    // Tạm dừng ngắn giữa các trang để thân thiện với máy chủ
    await new Promise(r => setTimeout(r, 2000));
  }
  
  console.log(`Tổng số đánh giá đã trích xuất: ${allReviews.length}`);
  
  // Lưu tất cả đánh giá vào tệp
  require('fs').writeFileSync('g2_reviews.json', JSON.stringify(allReviews, null, 2));
  console.log('Đánh giá đã được lưu vào g2_reviews.json');
  
  await browser.close();
  console.log('Hoàn tất!');
}

scrapeG2Reviews().catch(console.error);

node scrape.js

[
  {
    "title": "\"Helped us get a handle on our complicated team-based scheduling and management.\"",
    "date": "Feb 11, 2025",
    "rating": 5,
    "content": "What do you like best about Airtable?\nThe best part about airtable is it's customiizable nature. We worked with a tech specialist to configure Airtable to meet our unique needs and it has so far been adaptable to everything we needed it to do. It has a huge capacity in terms of features and we were able to get it up and running in a fairly short period of time.\n\nWhat do you dislike about Airtable?\nThere are no real downsides except the intial learning curve. I believe we could have built Airtable out as we needed but it would have been a bigger intial time investment. Working with a tech specialist who knew Airtable well really helped us get up and running fast. It was worth the cost."
  },
  {
    "title": "\"Great for organization, has changed our workflow\"",
    "date": "Feb 8, 2025",
    "rating": 4.5,
    "content": "What do you like best about Airtable?\nWhat I like best about Airtable is its flexibility and customizability. It allows us to create databases that perfectly fit our needs, with custom fields, views, and formulas. The ability to link records between tables is incredibly powerful.\n\nWhat do you dislike about Airtable?\nSometimes the learning curve can be steep for new users, especially when dealing with more complex formulas and automations. The pricing can also become quite expensive as your needs grow and you require more records or features."
  },
  {
    "title": "\"Powerful database tool with a spreadsheet interface\"",
    "date": "Jan 29, 2025",
    "rating": 4,
    "content": "What do you like best about Airtable?\nAirtable combines the familiarity of spreadsheets with the power of a database. I appreciate how it allows for different views of the same data - grid, kanban, calendar, etc. It's intuitive enough for non-technical users but powerful enough for complex data management.\n\nWhat do you dislike about Airtable?\nThe free tier is quite limited, and pricing jumps significantly for premium features. Sometimes performance can slow down with large datasets, and there are occasional sync issues when multiple team members are editing simultaneously."
  }
]

# Tệp: run-scraper.ps1

Write-Host "Đang bắt đầu thu thập dữ liệu G2.com với Scrapeless Scraping Browser..."

# Tạo thư mục đầu ra
$outputFolder = "G2_Reviews_" + (Get-Date -Format "yyyyMMdd_HHmmss")
New-Item -ItemType Directory -Path $outputFolder -Force | Out-Null

# Chạy kịch bản Node.js và ghi lại đầu ra
$jsonFile = Join-Path $outputFolder "reviews.json"
node scrape.js > $jsonFile

Write-Host "Thu thập dữ liệu Node.js đã hoàn tất. Đang xử lý kết quả..."

# Kiểm tra xem tệp có chứa dữ liệu JSON hợp lệ không
try {
    # Đọc nội dung tệp
    $content = Get-Content -Path $jsonFile -Raw
    
    # Trích xuất phần JSON (giả sử đó là đầu ra sau tất cả các thông báo console.log)
    if ($content -match '\[.*\]') {
        $jsonContent = $Matches[0]
        Set-Content -Path $jsonFile -Value $jsonContent
        
        # Phân tích JSON thành các đối tượng PowerShell
        $reviews = $jsonContent | ConvertFrom-Json
        
        # Xuất sang CSV
        $csvPath = Join-Path $outputFolder "g2_reviews.csv"
        $reviews | Export-Csv -Path $csvPath -NoTypeInformation -Encoding UTF8
        
        Write-Host "Đã trích xuất thành công $($reviews.Count) đánh giá"
        Write-Host "Kết quả đã được lưu vào: $csvPath"
        
        # Phân tích cơ bản
        $averageRating = ($reviews | Measure-Object -Property rating -Average).Average
        Write-Host "Xếp hạng trung bình: $averageRating trên 5"
        
        $ratingDistribution = $reviews | Group-Object -Property rating | Sort-Object -Property Name
        foreach ($ratingGroup in $ratingDistribution) {
            Write-Host "$($ratingGroup.Name) sao: $($ratingGroup.Count) đánh giá"
        }
    } else {
        Write-Error "Không thể tìm thấy dữ liệu JSON trong đầu ra"
    }
} catch {
    Write-Error "Lỗi xử lý dữ liệu JSON: $_"
}

.\run-scraper.ps1

// Tệp: scrape-g2-multipage.js
const puppeteer = require('puppeteer-core');

async function scrapeG2ReviewsMultiPage() {
  // Thay thế bằng mã thông báo Scrapeless API thực tế của bạn
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  
  // Cấu hình kết nối với Scrapeless Scraping Browser
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=300&proxy_country=ANY`;
  
  console.log('Đang kết nối với Scrapeless Scraping Browser...');
  
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });
  
  console.log('Đã kết nối! Đang mở G2.com...');
  
  const page = await browser.newPage();
  
  // Đặt thời gian chờ điều hướng hợp lý
  page.setDefaultNavigationTimeout(60000);
  
  // Mảng để lưu trữ tất cả các đánh giá
  const allReviews = [];
  
  // Hàm để trích xuất đánh giá từ trang hiện tại
  const extractReviews = async () => {
    return page.evaluate(() => {
      return Array.from(document.querySelectorAll('.paper__bd')).map(review => {
        // Tiêu đề
        const titleElement = review.querySelector('a.pjax div[itemprop="name"]');
        const title = titleElement ? titleElement.innerText : 'Không có tiêu đề';
        
        // Ngày
        const dateElement = review.querySelector('time');
        const date = dateElement ? dateElement.innerText : 'Không có ngày';
        
        // Xếp hạng
        const starsElement = review.querySelector('.stars');
        let rating = 0;
        if (starsElement) {
          const starsClass = starsElement.className;
          const match = starsClass.match(/stars-(\d+)/);
          if (match) {
            rating = parseInt(match[1])/2;
          }
        }
        
        // Nội dung đánh giá
        const contentElements = review.querySelectorAll('.formatted-text');
        let content = '';
        contentElements.forEach(el => {
          const text = el.innerText;
          if (!text.includes('Review collected by and hosted on G2.com')) {
            content += text + '\n\n';
          }
        });
        
        return {
          title,
          date,
          rating,
          content: content.trim()
        };
      });
    });
  };
  
  // Điều hướng đến trang đầu tiên
  await page.goto('https://www.g2.com/products/airtable/reviews', {
    waitUntil: 'networkidle2'
  });
  
  // Chờ đánh giá tải
  await page.waitForSelector('.paper__bd', {timeout: 30000});
  
  // Chụp ảnh màn hình trang đầu tiên
  await page.screenshot({ path: 'page1.png' });
  
  // Số trang cần thu thập dữ liệu (giới hạn để trình bày)
  const pagesToScrape = 3;
  let currentPage = 1;
  
  while (currentPage <= pagesToScrape) {
    console.log(`Đang thu thập dữ liệu trang ${currentPage}...`);
    
    // Trích xuất đánh giá từ trang hiện tại
    const pageReviews = await extractReviews();
    console.log(`Đã tìm thấy ${pageReviews.length} đánh giá trên trang ${currentPage}`);
    
    // Thêm vào bộ sưu tập của chúng ta
    allReviews.push(...pageReviews);
    
    // Kiểm tra xem có nút trang tiếp theo không

const puppeteer = require('puppeteer-core');

async function scrapeG2ReviewsMultiPage() {
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=180&proxy_country=ANY`;

  console.log('Connecting to Scrapeless Scraping Browser...');

  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });

  console.log('Connected!');

  const page = await browser.newPage();
  let currentPage = 1;
  const pagesToScrape = 10; // Change this to the number of pages you want to scrape
  const allReviews = [];

  while (true) {
    await page.goto(`https://www.g2.com/products/airtable/reviews?page=${currentPage}`, {
      waitUntil: 'networkidle2'
    });

    await page.waitForSelector('.paper__bd', { timeout: 30000 });

    const reviews = await page.$$eval('.review-card__content', reviews => reviews.map(review => ({
      title: review.querySelector('.review-card__title').textContent.trim(),
      rating: review.querySelector('.review-card__rating').textContent.trim(),
      text: review.querySelector('.review-card__body').textContent.trim(),
      date: review.querySelector('.review-card__date').textContent.trim()
    })));
    allReviews.push(...reviews);


    const hasNextPage = await page.evaluate(() => {
      const nextButton = document.querySelector('a.next_page');
      return nextButton && !nextButton.classList.contains('disabled');
    });

    await page.screenshot({ path: `page${currentPage}.png` });

    if (hasNextPage && currentPage < pagesToScrape) {
      currentPage++;
    } else {
      break;
    }
  }

  console.log(`Total reviews extracted: ${allReviews.length}`);
  console.log(JSON.stringify(allReviews, null, 2));

  await browser.close();
  console.log('Done!');
}

scrapeG2ReviewsMultiPage().catch(console.error);