Node.js में एक वितरित वेब क्रॉलर बनाना: कतारें और डुप्लिकेट निकालना

distributed-crawler/
├── package.json
└── src/
    └── crawler.mjs

{
  "name": "distributed-crawler-example",
  "private": true,
  "type": "module",
  "scripts": {
    "start": "node src/crawler.mjs"
  },
  "dependencies": {
    "@scrapeless-ai/sdk": "1.3.1",
    "bullmq": "5.79.3"
  },
  "engines": {
    "node": ">=22"
  }
}

import { createHash } from "node:crypto";
import { Queue, Worker } from "bullmq";
import { ScrapingCrawl } from "@scrapeless-ai/sdk";

const redis = {
  host: process.env.REDIS_HOST ?? "127.0.0.1",
  port: Number(process.env.REDIS_PORT ?? 6379)
};
const allowedHost = process.env.ALLOWED_HOST ?? "example.com";
const queueName = `crawl-${hostKey(allowedHost)}`;
const frontier = new Queue(queueName, { connection: redis });
const quarantine = new Queue(`${queueName}-quarantine`, { connection: redis });
const crawl = new ScrapingCrawl({
  apiKey: process.env.SCRAPELESS_API_KEY
});

function sha256(value) {
  return createHash("sha256").update(value).digest("hex");
}

function hostKey(host) {
  return host.toLowerCase().replaceAll(".", "-");
}

function canonicalize(input) {
  const url = new URL(input);
  url.hash = "";
  url.hostname = url.hostname.toLowerCase();
  for (const key of ["utm_source", "utm_medium", "utm_campaign"]) {
    url.searchParams.delete(key);
  }
  url.searchParams.sort();
  return url.href;
}

async function enqueue(url, crawlId, depth = 0, parentUrl = null) {
  const canonicalUrl = canonicalize(url);
  const parsed = new URL(canonicalUrl);
  if (parsed.hostname !== allowedHost) {
    throw new Error(`Host outside crawl scope: ${parsed.hostname}`);
  }

  const key = sha256(canonicalUrl);
  await frontier.add(
    "collect-page",
    {
      url: canonicalUrl,
      host: parsed.hostname,
      depth,
      crawlId,
      parentUrl,
      schemaVersion: "crawl-page-v1"
    },
    {
      jobId: key,
      removeOnComplete: 1000,
      removeOnFail: false
    }
  );
  return key;
}

const worker = new Worker(
  queueName,
  async (job) => {
    try {
      const result = await crawl.scrapeUrl(job.data.url, {
        formats: ["markdown", "links"],
        onlyMainContent: true,
        timeout: 15000
      });
      const markdown = result.markdown ?? result.data?.markdown;
      if (typeof markdown !== "string" || markdown.length < 200) {
        return { state: "rejected", reason: "content-contract", url: job.data.url };
      }

      const record = {
        key: job.id,
        url: job.data.url,
        crawlId: job.data.crawlId,
        depth: job.data.depth,
contentHash: sha256(markdown),
        markdown
      };

      console.log(JSON.stringify({ state: "accepted", ...record }));
      return { state: "accepted", key: record.key, contentHash: record.contentHash };
    } catch (error) {
      await quarantine.add("inspect-page", {
        ...job.data,
        sourceJobId: job.id,
        reason: error instanceof Error ? error.message : "unknown"
      });
      return { state: "quarantined", key: job.id };
    }
  },
  {
    connection: redis,
    concurrency: 4,
    limiter: { max: 2, duration: 1000 }
  }
);

worker.on("completed", (job, result) => {
  console.log(JSON.stringify({ event: "completed", jobId: job.id, result }));
});

worker.on("failed", (job, error) => {
  console.error(JSON.stringify({
    event: "worker-failed",
    jobId: job?.id,
    message: error.message
  }));
});

await enqueue(`https://${allowedHost}/`, "demo-crawl");

उदाहरण स्वीकृत अभिलेखों को प्रिंट करता है ताकि डेटा कॉन्ट्रैक्ट दृश्यमान हो सके। `console.log` को `record.key` द्वारा कुंजीबद्ध डेटाबेस अपसर्ट के साथ बदलें। एक नई पृष्ठ संस्करण लिखने या इंडेक्स को पुनर्निर्माण करने से पहले `contentHash` की तुलना संग्रहित मान से करें।

## कार्य स्थिति मशीन को समझें

एक कैरियर को एक राज्य मॉडल की आवश्यकता होती है जिसे ऑपरेटर समझा सकें:

| स्थिति | अर्थ | अगली कार्रवाई |
|---|---|---|
| `queued` | कैनोनिकल यूआरएल प्रतीक्षा कर रहा है | कार्यकर्ता इसे क्लेम करता है |
| `active` | एक कार्यकर्ता पट्टे का मालिक है | अधिग्रहण और सत्यापन करें |
| `accepted` | सामग्री ने अनुबंध पास किया | स्टोर, अनुक्रमित करें, लिंक खोजें |
| `unchanged` | सामग्री हैश संग्रहित संस्करण से मेल खाता है | ताजगी मेटाडेटा अपडेट करें |
| `rejected` | प्रतिक्रिया पूरी हुई लेकिन सामग्री अमान्य है | मान्यकरणकर्ता या स्रोत की समीक्षा करें |
| `quarantined` | निष्पादन निर्णय उत्पन्न नहीं कर सका | मैन्युअल रूप से निरीक्षण और रिहा करें |
| `cancelled` | क्रॉल दायरा या समय सीमा समाप्त हो गई | ऑडिट मेटाडेटा बनाए रखें |

`failed` को एक ढाँचे की घटना के रूप में बनाए रखें जो कतार द्वारा रिपोर्ट की गई है, न कि केवल एक व्यवसाय स्थिति के रूप में। एक कार्य जो एक खाली अनुप्रयोग खोलता है तकनीकी रूप से पूरा हो चुका है लेकिन इसे `rejected` होना चाहिए। एक पृष्ठ जो दायरे से बाहर है उसे अधिग्रहण से पहले `cancelled` होना चाहिए। ये भेद ड्रैशबोर्ड को क्रियात्मक बनाते हैं।

## होस्ट द्वारा समांतरता नियंत्रित करें

कार्यकर्ता समांतरता का उत्तर देता है: “यह प्रक्रिया कितने कार्यों को संभाल सकती है?” एक होस्ट अनुरोध बजट पूछता है: “इस मूल को कितना ट्रैफिक मिल सकता है?” इन्हें स्वतंत्र रूप से कॉन्फ़िगर किया जाना चाहिए।

एक अधिकृत डोमेन के लिए:

1. रोबोट नियम और संविदात्मक सीमाएँ पढ़ें।
2. एक संवेदनशील प्रति-होस्ट गति निर्धारित करें।
3. एक से अधिक कार्यकर्ताओं को तब ही चलाएं जब कतार और होस्ट बजट इसकी अनुमति दे।
4. प्रतिक्रिया स्थिति, सामग्री स्वीकृति और सर्वर विलंबता को ट्रैक करें।
5. जब स्रोत संकट दिखाता है या समझौता बदलता है तो होस्ट बजट को कम करें।

BullMQ कार्यकर्ता प्रक्रियाओं और मशीनों के बीच एक कतार साझा कर सकते हैं। कतार सीमित करनेवाला चयनित कतार का समन्वय करता है, यही कारण है कि उदाहरण एक होस्ट-विशिष्ट कतार का उपयोग करता है। कई डोमेन के लिए, एक अनुमोदित रजिस्ट्रि से कतारें उत्पन्न करें और सक्रिय कार्यकर्ता वस्तुओं की संख्या को सीमित करें।

रॉबोट्स बहिष्करण प्रोटोकॉल का मानकीकरण <a href="https://www.rfc-editor.org/rfc/rfc9309.html" rel="nofollow"><strong>RFC 9309</strong></a> द्वारा किया गया है। रोबोट नियम अनुमति का एक अधिकार नहीं हैं, और ये साइट की शर्तों, गोपनीयता कर्तव्यों, या लागू कानून को प्रतिस्थापित नहीं करते हैं।

## नियंत्रण खोये बिना पृष्ठ अधिग्रहण करें

Node.js नियंत्रण तल यह तय करना चाहिए कि क्या इकट्ठा किया जा सकता है। निष्पादन स्तर यह तय करना चाहिए कि अनुमति दी गई पृष्ठ प्रस्तुति कैसे प्राप्त की जाए।

[Scrapeless Crawl त्वरित प्रारंभ](https://docs.scrapeless.com/en/crawl/quickstart/getting-started/?utm_source=website&utm_medium=blog&utm_campaign=crawl&utm_term=distributed-web-crawler-nodejs) असिंक्रोनस क्रॉल स्थिति और पृष्ठ-स्तरीय परिणामों का दस्तावेजीकरण करता है। उन पृष्ठों के लिए जिन्हें व्यापक इंटरैक्शन या जावास्क्रिप्ट निष्पादन की आवश्यकता होती है, क्रॉल के ब्राउज़र विकल्पों का उपयोग करें जबकि कतार दायरा, नौकरी की पहचान, और भंडारण निर्णय बनाए रखती है।

प्राप्त की गई सामग्री का सत्यापन करें बजाय इसके कि पूर्व निराकार करें कि निष्पादक ने व्यावसायिक निर्णय लिया। अपेक्षित पाठ, क्षेत्रों, भाषा, यूआरएल, और न्यूनतम सामग्री की आवश्यकता करें। प्रवीणता में अधिग्रहण मार्ग को स्टोर करें ताकि एक बाद के ऑडिट में यह समझा सके कि प्रत्येक पृष्ठ डेटा सेट में कैसे प्रवेश किया।

## दायरा खोये बिना लिंक खोजें

लिंक खोजना सामग्री स्वीकृति के बाद आता है। केवल उन पृष्ठों को पार्स करें जो सामग्री अनुबंध को पूरा करते हैं, फिर इन फ़िल्टरों को लागू करें इससे पहले कि आप एंक्यू करें:

- अनुमति प्राप्त होस्टनेम;
- अनुमत पथ उपसर्ग;
- समर्थित HTTP योजनाएँ;
- अधिकतम गहराई और पृष्ठ गणना;
- कैनोनिकलाइजेशन और नौकरी-ID लुकअप;
- फ़ाइल-प्रकार अपवाद;
- स्रोत-विशिष्ट क्वेरी-परामीटर नीति।

अनुमति न दें कि रीडायरेक्ट मौन रूप से अनुमत होस्ट सेट का विस्तार करें। अंतिम URL को रिकॉर्ड करें, इसे दायरे के साथ तुलना करें, और क्रॉस-डोमेन परिणामों को अस्वीकृत करें जब तक कि स्रोत रजिस्ट्रि स्पष्ट रूप से उन्हें अधिकृत नहीं करता।

साइटमैप के लिए, प्रत्येक यूआरएल को खोजी गई इनपुट के रूप में मानें ना कि विश्वसनीय आउटपुट के रूप में। इसे कैनोनिकलाइज़ करें, फ़िल्टर करें, और इसे HTML लिंक के समान फ्रंटियर पथ के माध्यम से डुप्लिकेट करें।

## पृष्ठ संस्करण और क्रॉल प्रवीणता संग्रहित करें

एक उपयोगी संग्रहण मॉडल में तीन अभिलेख होते हैं:
1. **क्रॉल:** स्कोप, बीज URL, समय सीमा, नीति संस्करण, और समग्र राज्य।
2. **पृष्ठ:** कैनोनिकल कुंजी, स्रोत URL, नवीनतम स्वीकृत हैश, संग्रहण समय, और स्कीमा संस्करण।
3. **पृष्ठ संस्करण:** सामग्री हैश, पेलोड स्थान, मेटाडेटा, और अधिग्रहण उत्पत्ति।

क्यू दीर्घकालिक डेटाबेस नहीं है। कार्य सफाई नीतियाँ पूर्ण प्रविष्टियों को हटा सकती हैं, जबकि पृष्ठ तालिका को आईडेमपोटेंसी कुंजी और संस्करण इतिहास को बरकरार रखना चाहिए, जो कि बरकरार रखने की नीति के अनुसार है।

यदि कोई पृष्ठ अपरिवर्तित है, तो पेलोड को बिना डुप्लिकेट किए ताजगी टाइमस्टैम्प अपडेट करें। यदि यह बदलता है, तो एक नई अपरिवर्तनीय पृष्ठ संस्करण लिखें, पृष्ठ रिकॉर्ड को उस पर इशारा करें, और एक अलग घटना के माध्यम से डाउनस्ट्रीम इंडेक्सिंग को सूचित करें।

## क्रॉल का अवलोकन

केवल क्यू की लंबाई भ्रामक हो सकती है। एक क्रॉलर अपनी सीमा को खाली कर सकता है जबकि हर पृष्ठ को अस्वीकार करता है। ट्रैक करें:

| संकेत | प्रश्न का उत्तर |
|---|---|
| प्रति मिनट स्वीकृत पृष्ठ | क्या उपयोगी डेटा आ रहा है? |
| खोज-से-स्वीकृति विलंब | पाइपलाइन कितनी पुरानी है? |
| डुप्लिकेट एन्क्यू दर | क्या कैनोनिकलाइजेशन प्रभावी है? |
| कारण द्वारा अस्वीकरण दर | क्या स्रोत मार्कअप या मान्यता में परिवर्तन हुआ? |
| क्वारंटाइन आयु | क्या संचालन का कर्ज बढ़ रहा है? |
| मेज़बान अनुरोध की गति | क्या नीति का पालन किया जा रहा है? |
| सामग्री-परिवर्तन की दर | क्या रिफ्रेश अनुसूची उपयुक्त है? |
| क्यू आयु पर्सेंटाइल | क्या श्रमिक क्षमता पर्याप्त है? |

OpenTelemetry अपने <a href="https://opentelemetry.io/docs/concepts/signals/" rel="nofollow"><strong>टेलीमेट्री संकेत गाइड</strong></a> में ट्रेसेस, मेट्रिक्स, लॉग, और बैगेज का वर्णन करता है। उत्पादक, क्यू इवेंट, अधिग्रहण कॉल, संग्रहण लेखन, और डाउनस्ट्रीम इंडेक्स इवेंट में एक क्रॉल ID का उपयोग करें।

पुराने स्वीकृत डेटा और पुराने क्वारंटाइन प्रविष्टियों पर पूर्ववत करें, केवल प्रक्रिया क्रैश पर नहीं। एक प्रक्रिया स्वस्थ रह सकती है जबकि डेटा सेट चुपचाप बदलना बंद कर देता है।

## तैनाती की चेकलिस्ट

- Redis को उन कार्यभार के लिए स्थायीता, प्रमाणीकरण, नेटवर्क नियंत्रण, और बैकअप के साथ चलाएँ।
- श्रमिकों को राज्यहीन रखें और उदाहरणों के बीच एक ही छवि तैनात करें।
- API कुंजियों को एक गुप्त प्रबंधक या पर्यावरण इंजेक्शन में रखें, कभी भी कार्य पेलोड में नहीं।
- पृष्ठ संरक्षण को क्यू संरक्षण से अलग परिभाषित करें।
- क्रॉल गहराई, पृष्ठ, समय, और मेज़बान स्कोप को सीमित करें।
- उत्पादकों और श्रमिकों द्वारा साझा की गई एक मेज़बान नीति स्रोत का उपयोग करें।
- तैनाती के दौरान श्रमिकों को Drain करें ताकि सक्रिय लीज़ को छोड़ नहीं दिया जाए।
- रद्दीकरण, क्वारंटाइन रिलीज, संग्रहण आईडेमपोटेंसी, और स्रोत-नीति परिवर्तनों का परीक्षण करें।
- Node.js, BullMQ, Scrapeless SDK, और पृष्ठ स्कीमा के संस्करण रिकॉर्ड करें।

एक स्वीकृत मेज़बान और एक छोटे पृष्ठ सीमा से शुरू करें। डैशबोर्ड पर यह दर्शाने के बाद ही डोमेन जोड़ें कि स्वीकृत डेटा, ताजगी, और अनुरोध नीति अपने लक्ष्यों के भीतर बनी हुई है।

## निष्कर्ष: अनिश्चितता को नहीं, सीमा को बढ़ाएँ

एक वितरित वेब क्रॉलर तब विश्वसनीय हो जाता है जब हर URL का एक कैनोनिकल पहचान हो, हर मेज़बान का एक स्पष्ट बजट हो, और हर पृष्ठ एक अर्थपूर्ण स्थिति में समाप्त हो। Node.js और BullMQ सीमा और श्रमिक समन्वय का स्वामित्व ले सकते हैं; Scrapeless प्रबंधित रेंडरिंग और नेटवर्क हैंडलिंग की आवश्यकता वाले पृष्ठ कार्यान्वयन का स्वामित्व ले सकता है।

एक सार्वजनिक, अधिकृत डोमेन के साथ सीमित प्रमाण की अवधारणा बनाएँ, [Scrapeless मूल्य निर्धारण पृष्ठ](https://www.scrapeless.com/hi/pricing?utm_source=website&utm_medium=blog&utm_campaign=crawl&utm_term=distributed-web-crawler-nodejs) की जांच करें, फिर [Scrapeless खाता बनाएँ](https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=crawl&utm_term=distributed-web-crawler-nodejs)। अधिग्रहण को क्रॉल के माध्यम से मार्गदर्शन करें और श्रमिकों की संख्या बढ़ाने से पहले स्वीकृत पृष्ठों और ताजगी को मापें।

## अक्सर पूछे जाने वाले प्रश्न

### एक वेब क्रॉलर को वितरित क्या बनाता है?

इसकी URL सीमा और कार्य राज्य कई श्रमिक प्रक्रियाओं या मशीनों के बीच साझा होते हैं। श्रमिक स्वतंत्र कार्यों का दावा कर सकते हैं, साझा संग्रहण में परिणाम लिख सकते हैं, और एक प्रक्रिया की मेमोरी पर निर्भर किए बिना स्केल कर सकते हैं।

### Node.js क्रॉलर के लिए BullMQ का उपयोग क्यों करें?

BullMQ Redis-समर्थित क्यूज़, वितरित श्रमिकों, समवर्ती नियंत्रण, घटनाएँ, और कार्य पहचानकर्ता प्रदान करता है। क्रॉलर को अभी भी अपनी URL नीति, सामग्री अनुबंध, टिकाऊ संग्रहण, और दृश्यता की आवश्यकता होती है।

### श्रमिकों के बीच URL डेडुप्लिकेशन कैसे काम करता है?

एन्क्यू करने से पहले URL को सामान्य करें, कैनोनिकल रूप को हैश करें, और डाइजेस्ट का उपयोग क्यू कार्य ID और संग्रहण कुंजी के रूप में करें। Redis कार्य सृजन को समन्वयित करता है, जबकि डेटाबेस पुरानी नौकरियों को हटा देने के बाद आईडेमपोटेंसी को बरकरार रखता है।

### क्या हर श्रमिक को अपना ब्राउज़र लॉन्च करना चाहिए?

ज़रूरी नहीं। स्थानीय ब्राउज़र कंटेनर के आकार, मेमोरी उपयोग और परिचालन कार्य को बढ़ाते हैं। एक प्रबंधित अधिग्रहण परत रेंडर्ड सामग्री लौट सकती है जबकि श्रमिक शेड्यूलिंग, वैधता, खोज, और संग्रहण पर ध्यान केंद्रित करते हैं।

### विफल पृष्ठ कार्यों को कैसे संभाला जाना चाहिए?

व्यापारिक परिणामों को अवसंरचना घटनाओं से अलग करें। अमान्य सामग्री को अस्वीकार किया जा सकता है; अनसुलझे कार्यान्वयन त्रुटियाँ निरीक्षण और स्पष्ट रिलीज़ के लिए क्वारंटाइन क्यू में जा सकती हैं। एक सीमाहीन स्वचालित लूप से बचें।