स्क्रैपलेस x पाइपड्रीम

Pipedream एक शक्तिशाली सर्वरलेस इंटीग्रेशन प्लेटफॉर्म है जो डेवलपर्स को आसानी से सैकड़ों ऐप्स और APIs को जोड़ने की अनुमति देता है, जिससे स्वचालित वर्कफ़्लोज़ का तेजी से निर्माण संभव होता है। उपयोगकर्ता किसी भी इंफ्रास्ट्रक्चर को प्रबंधित किए बिना जावास्क्रिप्ट, पायथन और अन्य भाषाओं का उपयोग करके कस्टम लॉजिक लिख सकते हैं।

यह इवेंट-ड्रिवेन आर्किटेक्चर को समर्थन करता है और स्लैक, नोटियन, गिटहब, और स्ट्राइप जैसी लोकप्रिय सेवाओं के साथ एकीकृत होता है। Pipedream विशेष रूप से वेबहुक, डेटा समन्वय, सूचनाएं प्रणाली, और अन्य स्वचालन परिदृश्यों के निर्माण के लिए उपयुक्त है, जो विकास की दक्षता और लचीलापन को काफी बढ़ाता है।

Scrapeless Pipedream के भीतर निम्नलिखित मॉड्यूल प्रदान करता है:

1. क्रॉलर

• क्रॉलर स्क्रेप: एकल वेब पन्ने से डेटा निकालें।
• क्रॉलर क्रॉल: एक वेबसाइट और उसके लिंक किए गए पन्नों को क्रॉल करें ताकि व्यापक डेटा निकाला जा सके।

2. स्क्रेपिंग API

• Google SERP और Google Trends से समृद्ध खोज डेटा तक आसानी से पहुंचें और उसे पुनर्प्राप्त करें।

3. यूनिवर्सल स्क्रेपिंग API

• संरक्षित या गतिशील पन्नों तक पहुंचें। स्वचालित रूप से एंटी-स्क्रेपिंग तंत्र को संभालता है।

कैसे एक ज्ञान ग्राफ़ इंटेलिजेंट क्रॉलिंग सिस्टम बनाएँ (Pipedream + Scrapeless)

आवश्यकताएँ

• आपने Scrapeless पर पंजीकरण कराया है और एक API टोकन प्राप्त किया है।
• आपके पास एक डिस्कॉर्ड वेबहुक URL है (सूचनाएँ भेजने के लिए)।

सबसे पहले, आपको निम्नलिखित सेटअप पूरा करने की आवश्यकता होगी:

1. Scrapeless API कुंजी: कृपया Scrapeless खाते के लिए साइन अप करें। एक बार पंजीकरण करने के बाद, आप अपने डैशबोर्ड से अपनी API कुंजी प्राप्त कर सकते हैं।

2. Pipedream खाता: एक Pipedream खाता बनाएँ।

चरण 1: Pipedream में अपना Scrapeless API कुंजी सेट अप करें

आपको अपने Scrapeless खाते में लॉगिन करना होगा और अपने API कुंजी प्राप्त करने के लिए डैशबोर्ड पर जाना होगा।

एक बार जब आपको यह मिल जाए, तो Pipedream में "खातों" टैब पर जाएँ और वहाँ कुंजी जोड़ें, जैसा कि नीचे दिखाया गया है:

इसके बाद, अपने API कुंजी को इस तरह सेट करें:

चरण 2: एक ट्रिगर जोड़ें - schedule_trigger

• प्रकार: शेड्यूल
• ट्रिगर समय: हर दिन 08:00 (UTC) पर
• विधि: या तो क्रोन या एक निश्चित समय अंतराल का उपयोग करें

चरण 3: Scrapeless का उपयोग करें ताकि एक विशिष्ट कीवर्ड की ज्ञान पैनल संबंधित जानकारी खोजें

घटक:

• google-search

पैरामीटर सेटिंग्स:

• query: coffee
• gl: us (वैकल्पिक)
• hl: en (वैकल्पिक)

चरण 4: जानकारी निकालें (extract_coffee_search_results)

यह चरण पिछले चरण में प्राप्त कीवर्ड डेटा से ज्ञान पैनल की जानकारी निकालता है।

निम्नलिखित कोड के साथ एक Node.js कोड चरण जोड़ें:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results

    if (!searchResult || !webResults) {
      throw new Error("❌ Scrapeless Google Search से कोई मान्य परिणाम नहीं लौटाया गया।");
    }

    const links = webResults.map((item) => item.link)

    return {
      links,
    };
  }
});

चरण 5: डिस्कॉर्ड सूचना भेजें (Send_Discord_Notification)

यह चरण चरण 4 में प्राप्त जानकारी को आपके निर्दिष्ट डिस्कॉर्ड चैनल में भेजता है।

निम्नलिखित उदाहरण कोड के साथ एक Node.js चरण जोड़ें:

import { axios } from "@pipedream/platform";

export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)

    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ सूचनाग्राही के लिए कोई खोज परिणाम नहीं हैं।");
      return { status: "no_results" };
    }

    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 कृपया इसे अपने वेबहुक से बदलें

    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");

    const message = {
      content: `📡 **कीवर्ड मॉनिटर: "coffee"**\n\n${lines}\n\n⏰ पहचान की गई: ${new Date().toLocaleString()}`
    };

    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
डेटा: संदेश,
      });

      लौटाएं { स्थिति: "भेजा गया", उत्तर: res };
    } पकड़ें (त्रुटि) {
      console.error("❌ Discord webhook विफल:", त्रुटि);
      लौटाएं { स्थिति: "त्रुटि", त्रुटि: त्रुटि.message };
    }
  },
});

इस पंक्ति में URL को अपने Discord Webhook के साथ बदलें:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

यदि आपके पास अभी तक एक वेबहुक नहीं है, तो आप इसे Discord में निम्नलिखित चरणों में बना सकते हैं:

1. उस चैनल को खोलें जहाँ आप सूचनाएँ भेजना चाहते हैं।
2. चैनल सेटिंग्स > एकीकरण > वेबहुक पर क्लिक करें।
3. एक नया वेबहुक बनाएं और इसे कॉपी करें ताकि आप ऊपर बताए गए webhookUrl के रूप में उपयोग कर सकें।

पूर्वावलोकन (संदेश भेजा गया)

जब Jasper.ai पृष्ठ बदलता है, तो आपको Discord में ऐसा संदेश मिलेगा: