PowerShell के साथ Selenium का उपयोग कैसे करें [ट्यूटोरियल 2025]

$Driver = Start-SeChrome -WebDriverDirectory '/path/to/chromedriver/folder' -Headless

Import-Module -Name Selenium

# Selenium WebDriver को इनिशियलाइज़ करें
$Driver = Start-SeChrome -WebDriverDirectory './chromedriver-win64' -Headless

# G2 समीक्षाएं पृष्ठ पर जाएँ
Enter-SeUrl 'https://www.g2.com/products/airtable/reviews' -Driver $Driver

# पेज लोड होने के लिए कुछ समय प्रतीक्षा करें
Start-Sleep -Seconds 5

# पेज शीर्षक प्राप्त करें
$Title = $Driver.Title
Write-Host "पेज शीर्षक: $Title"

# पेज स्रोत प्रिंट करें
$Html = $Driver.PageSource
$Html | Out-File -FilePath "g2_response.html"

# ब्राउज़र बंद करें
Stop-SeDriver -Driver $Driver

<div class="paper__bd">
  <div class="d-f mb-1">
    <div class="f-1 d-f ai-c mb-half-small-only">
      <div class="stars large xlarge--medium-down stars-10"></div>
      <div class="time-stamp pl-4th ws-nw">
        <span><span class="x-current-review-date" data-poison-date="">
          <meta content="2025-02-11" itemprop="datePublished">
          <time datetime="2025-02-11">Feb 11, 2025</time>
        </span></span>
      </div>
    </div>
  </div>
  <div class="d-f">
    <div class="f-1">
      <div data-poison="">
        <a class="pjax" href="https://www.g2.com/products/airtable/reviews/airtable-review-10822745">
          <div class="m-0 l2" itemprop="name">"Helped us get a handle on our complicated team-based scheduling and management."</div>
        </a>
      </div>
      <div data-poison-text="">
        <div itemprop="reviewBody">
          <div>
            <div class="l5 mt-2">What do you like best about Airtable?</div>
            <div>
              <p class="formatted-text">The best part about airtable is it's customiizable nature. We worked with a tech specialist to configure Airtable to meet our unique needs and it has so far been adaptable to everything we needed it to do...</p>
            </div>
          </div>
          <!-- More review sections... -->
        </div>
      </div>
    </div>
  </div>
</div>

node --version
npm --version

npm install puppeteer-core

// scrape.js
const puppeteer = require('puppeteer-core');

async function scrapeG2Reviews() {
  // अपने वास्तविक Scrapeless API टोकन से बदलें
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  
  // Scrapeless स्क्रैपिंग ब्राउज़र से कनेक्शन कॉन्फ़िगर करें
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=180&proxy_country=ANY`;
  
  console.log('Scrapeless स्क्रैपिंग ब्राउज़र से कनेक्ट हो रहा है...');
  
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });
  
  console.log('कनेक्टेड!');
  
  const page = await browser.newPage();
  
  // नेविगेशन के लिए एक लंबा समय सीमा निर्धारित करें
  page.setDefaultNavigationTimeout(120000);
  
  // सभी समीक्षाओं को रखने के लिए ऐरे
  const allReviews = [];
  
  // स्क्रैप करने के लिए पृष्ठों की संख्या
  const pagesToScrape = 3;
  
  for (let currentPage = 1; currentPage <= pagesToScrape; currentPage++) {
    console.log(`पेज ${currentPage} पर नेविगेट हो रहा है...`);
    
    // सीधे विशिष्ट पृष्ठ संख्या पर नेविगेट करें
    const pageUrl = currentPage === 1 
      ? 'https://www.g2.com/products/airtable/reviews' 
      : `https://www.g2.com/products/airtable/reviews?page=${currentPage}`;
      
    await page.goto(pageUrl, {
      waitUntil: 'networkidle2',
      timeout: 60000
    });
    
    console.log(`पेज ${currentPage} लोड हो गया है। स्क्रीनशॉट ले रहा है...`);
    
    // यह सत्यापित करने के लिए एक स्क्रीनशॉट लें कि पृष्ठ सही ढंग से लोड हुआ है
    await page.screenshot({ path: `g2_page_${currentPage}.png` });
    
    // पेज सामग्री लोड होने की प्रतीक्षा करें
    // विभिन्न संभावित चयनकर्ताओं का प्रयास करें क्योंकि संरचना बदल गई होगी
    try {
      console.log('सामग्री लोड होने की प्रतीक्षा कर रहा है...');
      
      // पहले मूल चयनकर्ता का प्रयास करें
      await page.waitForSelector('.paper__bd', { timeout: 10000 })
        .then(() => console.log('चयनकर्ता मिला: .paper__bd'))
        .catch(() => console.log('चयनकर्ता .paper__bd नहीं मिला, विकल्पों की कोशिश कर रहा है...'));
      
      // अगर हम अभी भी यहां हैं, तो आइए किसी अन्य दृष्टिकोण का उपयोग करके पृष्ठ संरचना की जांच करें
      console.log('पृष्ठ संरचना का विश्लेषण कर रहा है...');
      
      // यह सत्यापित करने के लिए पृष्ठ शीर्षक प्राप्त करें कि हम सही पृष्ठ पर हैं
      const pageTitle = await page.title();
      console.log('पेज शीर्षक:', pageTitle);
      
      // अधिक सामान्य दृष्टिकोण के साथ समीक्षाएं निकालें
      console.log('समीक्षाएँ निकाल रहा है...');
      
      // अधिक लचीले दृष्टिकोण के साथ समीक्षाएँ निकालने का प्रयास करें
      const pageReviews = await page.evaluate(() => {
        // कई चयनकर्ताओं के साथ समीक्षा कंटेनर देखें
        const reviewElements = Array.from(
          document.querySelectorAll('.paper__bd, .review-item, .reviews-section article, [data-testid="review-card"]')
        );
        
        console.log(`${reviewElements.length} संभावित समीक्षा तत्व मिले`);
        
        if (reviewElements.length === 0) {
          // यदि विशिष्ट चयनकर्ताओं के साथ कोई समीक्षा नहीं मिली, तो आइए पृष्ठ संरचना डंप करें
          const html = document.documentElement.outerHTML;
          return { error: 'कोई समीक्षा नहीं मिली', html: html.substring(0, 5000) }; // डिबगिंग के लिए पहले 5000 वर्ण
        }
        
        return reviewElements.map(review => {
          // कई संभावित चयनकर्ताओं के साथ शीर्षक प्राप्त करने का प्रयास करें
          const titleElement = 
            review.querySelector('[itemprop="name"], .review-title, h3, h4') ||
            review.querySelector('a.pjax div');
            
          const title = titleElement ? titleElement.innerText.trim() : 'शीर्षक नहीं';
          
          // कई संभावित चयनकर्ताओं के साथ तिथि प्राप्त करने का प्रयास करें
          const dateElement = 
            review.querySelector('time, .review-date, [data-testid="review-date"]') ||
            review.querySelector('.time-stamp');
            
          const date = dateElement ? dateElement.innerText.trim() : 'तिथि नहीं';
          
          // कई दृष्टिकोणों के साथ रेटिंग प्राप्त करने का प्रयास करें
          let rating = 0;
          const starsElement = review.querySelector('.stars, .rating, [data-testid="star-rating"]');
          
          if (starsElement) {
            // stars-X क्लास की जांच करें
            const starsClass = starsElement.className;
            const starsMatch = starsClass.match(/stars-(\d+)/);
            if (starsMatch) {
              rating = parseInt(starsMatch[1]) / 2;
            } else {
              // अन्यथा aria-label की जांच करें जिसमें रेटिंग हो सकती है
              const ariaLabel = starsElement.getAttribute('aria-label');
              if (ariaLabel) {
                const ratingMatch = ariaLabel.match(/(\d+(\.\d+)?)/);
                if (ratingMatch) {
                  rating = parseFloat(ratingMatch[1]);
                }
              }
            }
          }
          
          // कई संभावित चयनकर्ताओं के साथ समीक्षा पाठ प्राप्त करने का प्रयास करें
          const textElements = review.querySelectorAll('.formatted-text, .review-content, p, [data-testid="review-content"]');
          let content = '';
          
          textElements.forEach(el => {
            const text = el.innerText.trim();
            if (text && !text.includes('Review collected by and hosted on G2.com')) {
              content += text + '\n\n';
            }
          });
          
          return {
            title,
            date,
            rating,
            content: content.trim() || 'सामग्री नहीं मिली'
          };
        });
      });
      
      if (pageReviews.error) {
        console.log('समीक्षाएँ निकालने में त्रुटि:', pageReviews.error);
        console.log('पेज HTML स्निपेट:', pageReviews.html);
      } else {
        console.log(`पेज ${currentPage} से ${pageReviews.length} समीक्षाएं निकाली गईं`);
        
        // हमारे संग्रह में जोड़ें
        allReviews.push(...pageReviews);
      }
      
    } catch (error) {
      console.error('पेज पर त्रुटि:', error);
      // डिबगिंग के लिए त्रुटि पर एक और स्क्रीनशॉट लें
      await page.screenshot({ path: `error_page_${currentPage}.png` });
      
      // डिबगिंग के लिए पेज HTML डंप करें
      const html = await page.content();
      require('fs').writeFileSync(`error_page_${currentPage}.html`, html);
      console.log(`त्रुटि पृष्ठ HTML को error_page_${currentPage}.html में सहेजा गया है`);
    }
    
    // सर्वर के प्रति अच्छा होने के लिए पृष्ठों के बीच छोटा विराम
    await new Promise(r => setTimeout(r, 2000));
  }
  
  console.log(`कुल समीक्षाएं निकाली गईं: ${allReviews.length}`);
  
  // सभी समीक्षाओं को एक फ़ाइल में सहेजें
  require('fs').writeFileSync('g2_reviews.json', JSON.stringify(allReviews, null, 2));
  console.log('समीक्षाएँ g2_reviews.json में सहेजी गई हैं');
  
  await browser.close();
  console.log('हो गया!');
}

scrapeG2Reviews().catch(console.error);

node scrape.js

[
  {
    "title": "\"Helped us get a handle on our complicated team-based scheduling and management.\"",
    "date": "Feb 11, 2025",
    "rating": 5,
    "content": "What do you like best about Airtable?\nThe best part about airtable is it's customiizable nature. We worked with a tech specialist to configure Airtable to meet our unique needs and it has so far been adaptable to everything we needed it to do. It has a huge capacity in terms of features and we were able to get it up and running in a fairly short period of time.\n\nWhat do you dislike about Airtable?\nThere are no real downsides except the intial learning curve. I believe we could have built Airtable out as we needed but it would have been a bigger intial time investment. Working with a tech specialist who knew Airtable well really helped us get up and running fast. It was worth the cost."
  },
  {
    "title": "\"Great for organization, has changed our workflow\"",
    "date": "Feb 8, 2025",
    "rating": 4.5,
    "content": "What do you like best about Airtable?\nWhat I like best about Airtable is its flexibility and customizability. It allows us to create databases that perfectly fit our needs, with custom fields, views, and formulas. The ability to link records between tables is incredibly powerful.\n\nWhat do you dislike about Airtable?\nSometimes the learning curve can be steep for new users, especially when dealing with more complex formulas and automations. The pricing can also become quite expensive as your needs grow and you require more records or features."
  },
  {
    "title": "\"Powerful database tool with a spreadsheet interface\"",
    "date": "Jan 29, 2025",
    "rating": 4,
    "content": "What do you like best about Airtable?\nAirtable combines the familiarity of spreadsheets with the power of a database. I appreciate how it allows for different views of the same data - grid, kanban, calendar, etc. It's intuitive enough for non-technical users but powerful enough for complex data management.\n\nWhat do you dislike about Airtable?\nThe free tier is quite limited, and pricing jumps significantly for premium features. Sometimes performance can slow down with large datasets, and there are occasional sync issues when multiple team members are editing simultaneously."
  }
]

# फ़ाइल: run-scraper.ps1

Write-Host "Scrapeless स्क्रैपिंग ब्राउज़र के साथ G2.com स्क्रैपिंग शुरू हो रहा है..."

# आउटपुट फ़ोल्डर बनाएँ
$outputFolder = "G2_Reviews_" + (Get-Date -Format "yyyyMMdd_HHmmss")
New-Item -ItemType Directory -Path $outputFolder -Force | Out-Null

# Node.js स्क्रिप्ट चलाएँ और आउटपुट कैप्चर करें
$jsonFile = Join-Path $outputFolder "reviews.json"
node scrape.js > $jsonFile

Write-Host "Node.js स्क्रैपिंग पूर्ण। परिणामों को संसाधित कर रहा है..."

# जांचें कि क्या फ़ाइल में मान्य JSON डेटा है
try {
    # फ़ाइल सामग्री पढ़ें
    $content = Get-Content -Path $jsonFile -Raw
    
    # JSON भाग निकालें (मान लें कि यह सभी console.log संदेशों के बाद आउटपुट है)
    if ($content -match '\[.*\]') {
        $jsonContent = $Matches[0]
        Set-Content -Path $jsonFile -Value $jsonContent
        
        # JSON को PowerShell ऑब्जेक्ट में पार्स करें
        $reviews = $jsonContent | ConvertFrom-Json
        
        # CSV में निर्यात करें
        $csvPath = Join-Path $outputFolder "g2_reviews.csv"
        $reviews | Export-Csv -Path $csvPath -NoTypeInformation -Encoding UTF8
        
        Write-Host "सफलतापूर्वक $($reviews.Count) समीक्षाएं निकाली गईं"
        Write-Host "परिणाम यहाँ सहेजे गए हैं: $csvPath"
        
        # मूल विश्लेषण
        $averageRating = ($reviews | Measure-Object -Property rating -Average).Average
        Write-Host "औसत रेटिंग: 5 में से $averageRating"
        
        $ratingDistribution = $reviews | Group-Object -Property rating | Sort-Object -Property Name
        foreach ($ratingGroup in $ratingDistribution) {
            Write-Host "$($ratingGroup.Name) सितारे: $($ratingGroup.Count) समीक्षाएं"
        }
    } else {
        Write-Error "आउटपुट में JSON डेटा नहीं मिला"
    }
} catch {
    Write-Error "JSON डेटा संसाधित करने में त्रुटि: $_"
}

.\run-scraper.ps1

// फ़ाइल: scrape-g2-multipage.js
const puppeteer = require('puppeteer-core');

async function scrapeG2ReviewsMultiPage() {
  // अपने वास्तविक Scrapeless API टोकन से बदलें
  const API_TOKEN = 'YOUR_API_TOKEN_HERE';
  
  // Scrapeless स्क्रैपिंग ब्राउज़र से कनेक्शन कॉन्फ़िगर करें
  const connectionURL = `wss://browser.scrapeless.com/browser?token=${API_TOKEN}&session_ttl=300&proxy_country=ANY`;
  
  console.log('Scrapeless स्क्रैपिंग ब्राउज़र से कनेक्ट हो रहा है...');
  
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: null,
  });
  
  console.log('कनेक्टेड! G2.com खोल रहा है...');
  
  const page = await browser.newPage();
  
  // एक उचित नेविगेशन समय सीमा निर्धारित करें
  page.setDefaultNavigationTimeout(60000);
  
  // सभी समीक्षाओं को रखने के लिए ऐरे
  const allReviews = [];
  
  // वर्तमान पृष्ठ से समीक्षाएँ निकालने का कार्य
  const extractReviews = async () => {
    return page.evaluate(() => {
      return Array.from(document.querySelectorAll('.paper__bd')).map(review => {
        // शीर्षक
        const titleElement = review.querySelector('a.pjax div[itemprop="name"]');
        const title = titleElement ? titleElement.innerText : 'शीर्षक नहीं';
        
        // तिथि
        const dateElement = review.querySelector('time');
        const date = dateElement ? dateElement.innerText : 'तिथि नहीं';
        
        // रेटिंग
        const starsElement = review.querySelector('.stars');
        let rating = 0;
        if (starsElement) {
          const starsClass = starsElement.className;
          const match = starsClass.match(/stars-(\d+)/);
          if (match) {
            rating = parseInt(match[1])/2;
          }
        }
        
        // समीक्षा सामग्री
        const contentElements = review.querySelectorAll('.formatted-text');
        let content = '';
        contentElements.forEach(el => {
          const text = el.innerText;
          if (!text.includes('Review collected by and hosted on G2.com')) {
            content += text + '\n\n';
          }
        });
        
        return {
          title,
          date,
          rating,
          content: content.trim()
        };
      });
    });
  };
  
  // पहले पृष्ठ पर नेविगेट करें
  await page.goto('https://www.g2.com/products/airtable/reviews', {
    waitUntil: 'networkidle2'
  });
  
  // समीक्षाओं के लोड होने की प्रतीक्षा करें
  await page.waitForSelector('.paper__bd', {timeout: 30000});
  
  // पहले पृष्ठ का स्क्रीनशॉट लें
  await page.screenshot({ path: 'page1.png' });
  
  // स्क्रैप करने के लिए पृष्ठों की संख्या (प्रदर्शन के लिए सीमा)
  const pagesToScrape = 3;
  let currentPage = 1;
  
  while (currentPage <= pagesToScrape) {
    console.log(`पेज ${currentPage} स्क्रैप कर रहा है...`);
    
    // वर्तमान पृष्ठ से समीक्षाएँ निकालें
    const pageReviews = await extractReviews();
    console.log(`पेज ${currentPage} पर ${pageReviews.length} समीक्षाएं मिलीं`);
    
    // हमारे संग्रह में जोड़ें
    allReviews.push(...pageReviews);
    
    // जांचें कि क्या कोई अगला पृष्ठ बटन है


```javascript
const hasNextPage = await page.evaluate(() => {
      const nextButton = document.querySelector('a.next_page');
      return nextButton && !nextButton.classList.contains('disabled');
    });
    
    if (hasNextPage && currentPage < pagesToScrape) {
      // अगले पृष्ठ URL पर सीधे नेविगेट करें
      currentPage++;
      await page.goto(`https://www.g2.com/products/airtable/reviews?page=${currentPage}`, {
        waitUntil: 'networkidle2'
      });
      
      // नए पृष्ठ पर समीक्षाएँ लोड होने की प्रतीक्षा करें
      await page.waitForSelector('.paper__bd', {timeout: 30000});
      
      // नए पृष्ठ का स्क्रीनशॉट लें
      await page.screenshot({ path: `page${currentPage}.png` });
    } else {
      break;
    }
  }
  
  console.log(`कुल समीक्षाएँ निकाली गईं: ${allReviews.length}`);
  
  // सभी समीक्षाओं को JSON के रूप में आउटपुट करें
  console.log(JSON.stringify(allReviews, null, 2));
  
  await browser.close();
  console.log('हो गया!');
}

scrapeG2ReviewsMultiPage().catch(console.error);