अपने ब्राउज़र ट्रैफ़िक उपयोग को सबसे अधिक कैसे अनुकूलित करें?

import puppeteer from 'puppeteer-core';

const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';

async function scrapeWithResourceBlocking(url) {
    const browser = await puppeteer.connect({
        browserWSEndpoint: scrapelessUrl,
        defaultViewport: null
    });
    const page = await browser.newPage();

    // अनुरोध अवरोधन सक्षम करें
    await page.setRequestInterception(true);

    // अवरुद्ध करने के लिए संसाधन प्रकारों को परिभाषित करें
    const BLOCKED_TYPES = new Set([
        'image',
        'font',
        'media',
        'stylesheet',
    ]);

    // अनुरोधों को अवरोधित करें
    page.on('request', (request) => {
        if (BLOCKED_TYPES.has(request.resourceType())) {
            request.abort();
            console.log(`Blocked: ${request.resourceType()} - ${request.url().substring(0, 50)}...`);
        } else {
            request.continue();
        }
    });

    await page.goto(url, {waitUntil: 'domcontentloaded'});

    // डेटा निकालें
    const data = await page.evaluate(() => {
        return {
            title: document.title,
            content: document.body.innerText.substring(0, 1000)
        };
    });

    await browser.close();
    return data;
}

// उपयोग
scrapeWithResourceBlocking('https://www.scrapeless.com')

.then(data => console.log('स्क्रैपिंग परिणाम:', data))
    .catch(error => console.error('स्क्रैपिंग विफल:', error));

import puppeteer from 'puppeteer-core';

const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';

async function scrapeWithUrlBlocking(url) {
    const browser = await puppeteer.connect({
        browserWSEndpoint: scrapelessUrl,
        defaultViewport: null
    });
    const page = await browser.newPage();

    // अनुरोध इंटरसेप्शन सक्षम करें
    await page.setRequestInterception(true);

    // ब्लॉक करने के लिए डोमेन और यूआरएल पैटर्न परिभाषित करें
    const BLOCKED_DOMAINS = [
        'google-analytics.com',
        'googletagmanager.com',
        'doubleclick.net',
        'facebook.net',
        'twitter.com',
        'linkedin.com',
        'adservice.google.com',
    ];

    const BLOCKED_PATHS = [
        '/ads/',
        '/analytics/',
        '/pixel/',
        '/tracking/',
        '/stats/',
    ];

    // अनुरोधों को इंटरसेप्ट करें
    page.on('request', (request) => {
        const url = request.url();

        // डोमेन की जांच करें
        if (BLOCKED_DOMAINS.some(domain => url.includes(domain))) {
            request.abort();
            console.log(`अवरुद्ध डोमेन: ${url.substring(0, 50)}...`);
            return;
        }

        // पथ की जांच करें
        if (BLOCKED_PATHS.some(path => url.includes(path))) {
            request.abort();
            console.log(`अवरुद्ध पथ: ${url.substring(0, 50)}...`);
            return;
        }

        // अन्य अनुरोधों की अनुमति दें
        request.continue();
    });

    await page.goto(url, {waitUntil: 'domcontentloaded'});

    // डेटा निकालें
    const data = await page.evaluate(() => {
        return {
            title: document.title,
            content: document.body.innerText.substring(0, 1000)
        };
    });

    await browser.close();
    return data;
}

// उपयोग
scrapeWithUrlBlocking('https://www.scrapeless.com')
    .then(data => console.log('स्क्रैपिंग परिणाम:', data))
    .catch(error => console.error('स्क्रैपिंग विफल:', error));

const iPhoneX = {
    viewport: {
        width: 375,
        height: 812,
        deviceScaleFactor: 3,
        isMobile: true,
        hasTouch: true,
        isLandscape: false
    }
};

import { KnownDevices } from 'puppeteer-core';
const iPhone = KnownDevices['iPhone 15 Pro'];

const ब्राउज़र = await puppeteer.launch();
const पृष्ठ = await ब्राउज़र.newPage();
await पृष्ठ.emulate(iPhone);

import puppeteer, {KnownDevices} from 'puppeteer-core';

const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';

async function scrapeWithMobileEmulation(url) {
    const ब्राउज़र = await puppeteer.connect({
        browserWSEndpoint: scrapelessUrl,
        defaultViewport: null
    });

    const पृष्ठ = await ब्राउज़र.newPage();

    // मोबाइल डिवाइस अनुकरण सेट करें
    const iPhone = KnownDevices['iPhone 15 Pro'];
    await पृष्ठ.emulate(iPhone);

    await पृष्ठ.goto(url, {waitUntil: 'domcontentloaded'});
    // डेटा निकालें
    const data = await पृष्ठ.evaluate(() => {
        return {
            title: document.title,
            content: document.body.innerText.substring(0, 1000)
        };
    });

    await ब्राउज़र.close();
    return data;
}

// उपयोग
scrapeWithMobileEmulation('https://www.scrapeless.com')
    .then(data => console.log('स्क्रैपिंग परिणाम:', data))
    .catch(error => console.error('स्क्रैपिंग विफल:', error));

import puppeteer, {KnownDevices} from 'puppeteer-core';

const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';

async function optimizedScraping(url) {
    console.log(`आरंभ कर रहा है अनुकूलित स्क्रैपिंग: ${url}`);

    // ट्रैफिक उपयोग रिकॉर्ड करें
    let totalBytesUsed = 0;

    const ब्राउज़र = await puppeteer.connect({
        browserWSEndpoint: scrapelessUrl,
        defaultViewport: null
    });

    const पृष्ठ = await ब्राउज़र.newPage();

    // मोबाइल डिवाइस अनुकरण सेट करें
    const iPhone = KnownDevices['iPhone 15 Pro'];
    await पृष्ठ.emulate(iPhone);

    // अनुरोध अवरोधन सेट करें
    await पृष्ठ.setRequestInterception(true);

    // अवरुद्ध संसाधन प्रकारों को परिभाषित करें
    const BLOCKED_TYPES = [
        'image',
        'media',
        'font'
    ];

    // अवरुद्ध डोमेन को परिभाषित करें
    const BLOCKED_DOMAINS = [
        'google-analytics.com',
        'googletagmanager.com',
        'facebook.net',
        'doubleclick.net',
        'adservice.google.com'
    ];

    // अवरुद्ध पथों को परिभाषित करें
    const BLOCKED_PATHS = [
        '/ads/',
        '/analytics/',
        '/tracking/'
    ];

    // अनुरोधों को अवरुद्ध करें
    पृष्ठ.on('request', (request) => {
        const url = request.url();
        const resourceType = request.resourceType();

        // संसाधन प्रकार की जाँच करें
        if (BLOCKED_TYPES.includes(resourceType)) {
            console.log(`अवरुद्ध संसाधन प्रकार: ${resourceType} - ${url.substring(0, 50)}...`);
            request.abort();
            return;
        }

        // डोमेन की जाँच करें
        if (BLOCKED_DOMAINS.some(domain => url.includes(domain))) {
            console.log(`अवरुद्ध डोमेन: ${url.substring(0, 50)}...`);
            request.abort();
            return;
        }

        // पथ की जाँच करें
        if (BLOCKED_PATHS.some(path => url.includes(path))) {
            console.log(`अवरुद्ध पथ: ${url.substring(0, 50)}...`);
            request.abort();
            return;
        }

        // अन्य अनुरोधों को अनुमति दें
        request.continue();
    });

    // नेटवर्क ट्रैफिक की निगरानी करें
    पृष्ठ.on('response', async (response) => {
        const headers = response.headers();
        const contentLength = headers['content-length'] ? parseInt(headers['content-length'], 10) : 0;
        totalBytesUsed += contentLength;
    });

    await पृष्ठ.goto(url, {waitUntil: 'domcontentloaded'});

    // लेज़ी-लोड सामग्री को ट्रिगर करने के लिए स्क्रॉलिंग का अनुकरण करें
    await पृष्ठ.evaluate(() => {
        window.scrollBy(0, window.innerHeight);
    });

    await new Promise(resolve => setTimeout(resolve, 1000))

    // डेटा निकालें
    const data = await पृष्ठ.evaluate(() => {
        return {
            title: document.title,
            content: document.body.innerText.substring(0, 1000),
            links: Array.from(document.querySelectorAll('a')).slice(0, 10).map(a => ({
                text: a.innerText,
                href: a.href
            }))
        };
    });

    // ट्रैफिक उपयोग सांख्यिकी आउटपुट करें
    console.log(`\nट्रैफिक उपयोग सांख्यिकी:`);
    console.log(`उपयोग किया: ${(totalBytesUsed / 1024 / 1024).toFixed(2)} MB`);

    await ब्राउज़र.close();
    return data;
}

// उपयोग
optimizedScraping('https://www.scrapeless.com')
    .then(data => console.log('स्क्रैपिंग पूर्ण:', data))
    .catch(error => console.error('स्क्रैपिंग विफल:', error));

import puppeteer from 'puppeteer-core';

const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';

async function optimizedScraping(url) {
  console.log(`अनुकूलित स्क्रैपिंग शुरू कर रहा है: ${url}`);

  // ट्रैफ़िक उपयोग रिकॉर्ड करें
  let totalBytesUsed = 0;

  const browser = await puppeteer.connect({
    browserWSEndpoint: scrapelessUrl,
    defaultViewport: null
  });

  const page = await browser.newPage();

  // अनुरोध इंटरसेप्शन सेट करें
  await page.setRequestInterception(true);

  // अनुरोधों को इंटरसेप्ट करें
  page.on('request', (request) => {
    request.continue();
  });

  // नेटवर्क ट्रैफ़िक की निगरानी करें
  page.on('response', async (response) => {
    const headers = response.headers();
    const contentLength = headers['content-length'] ? parseInt(headers['content-length'], 10) : 0;
    totalBytesUsed += contentLength;
  });

  await page.goto(url, {waitUntil: 'domcontentloaded'});

  // लेजी-लोडिंग सामग्री को सक्रिय करने के लिए स्क्रॉलिंग का अनुकरण करें
  await page.evaluate(() => {
    window.scrollBy(0, window.innerHeight);
  });

  await new Promise(resolve => setTimeout(resolve, 1000));

  // डेटा निकालें
  const data = await page.evaluate(() => {
    return {
      title: document.title,
      content: document.body.innerText.substring(0, 1000),
      links: Array.from(document.querySelectorAll('a')).slice(0, 10).map(a => ({
        text: a.innerText,
        href: a.href
      }))
    };
  });

  // ट्रैफ़िक उपयोग सांख्यिकी का आउटपुट
  console.log(`\nट्रैफ़िक उपयोग सांख्यिकी:`);
  console.log(`उपयोग: ${(totalBytesUsed / 1024 / 1024).toFixed(2)} MB`);

  await browser.close();
  return data;
}

// उपयोग
optimizedScraping('https://www.scrapeless.com')
  .then(data => console.log('स्क्रैपिंग पूर्ण:', data))
  .catch(error => console.error('स्क्रैपिंग विफल:', error));