Scrapeless x Pipedream

Pipedream es una potente plataforma de integración sin servidor que permite a los desarrolladores conectar fácilmente cientos de aplicaciones y APIs, lo que facilita la construcción rápida de flujos de trabajo automatizados. Los usuarios pueden escribir lógica personalizada utilizando JavaScript, Python y otros lenguajes sin tener que gestionar ninguna infraestructura.

Admite arquitectura impulsada por eventos e integra servicios populares como Slack, Notion, GitHub y Stripe. Pipedream es especialmente adecuado para construir webhooks, sincronización de datos, sistemas de notificación y otros escenarios de automatización, aumentando significativamente la eficiencia y flexibilidad del desarrollo.

Scrapeless proporciona los siguientes módulos dentro de Pipedream:

1. Crawler

• Crawler Scrape: Extraer datos de una única página web.
• Crawler Crawl: Rastrear un sitio web y sus páginas vinculadas para extraer datos completos.

2. Scraping API

• Acceder y recuperar fácilmente datos de búsqueda ricos de Google SERP y Google Trends.

3. Universal Scraping API

• Acceder a páginas protegidas o dinámicas. Maneja automáticamente los mecanismos anti-scraping.

Cómo crear un sistema de rastreo inteligente de gráfico de conocimiento (Pipedream + Scrapeless)

Requisitos Previos

• Te has registrado en Scrapeless y obtenido un token de API.
• Tienes una URL de Webhook de Discord (para enviar notificaciones).

Primero, necesitarás completar la siguiente configuración:

1. Clave de API de Scrapeless: Por favor regístrate para una cuenta de Scrapeless. Una vez registrado, puedes acceder a tu clave de API desde el panel.

2. Cuenta de Pipedream: Crea una cuenta en Pipedream.

Paso 1: Configurar tu clave de API de Scrapeless en Pipedream

Necesitas iniciar sesión en tu cuenta de Scrapeless e ir al panel para obtener tu clave de API.

Una vez que la tengas, ve a la pestaña "Cuentas" en Pipedream y añade la clave allí, como se muestra a continuación:

Después de eso, establece tu clave de API así:

Paso 2: Añadir un Trigger - schedule_trigger

• Tipo: Programar
• Hora del Trigger: Todos los días a las 08:00 (UTC)
• Método: Utilizar Cron o un intervalo de tiempo fijo

Paso 3: Usar Scrapeless para buscar información del Panel de Conocimiento de una Palabra Clave Específica

Componente:

• google-search

Configuraciones de Parámetros:

• query: café
• gl: us (opcional)
• hl: es (opcional)

Paso 4: Extraer Información (extract_coffee_search_results)

Este paso extrae la información del panel de conocimiento de los datos de palabras clave obtenidos en el paso anterior.

Agrega un paso de código Node.js con el siguiente código:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results

    if (!searchResult || !webResults) {
      throw new Error("❌ No se devolvieron resultados válidos de la búsqueda de Google Scrapeless.");
    }

    const links = webResults.map((item) => item.link)

    return {
      links,
    };
  }
});

Paso 5: Enviar Notificación a Discord (Send_Discord_Notification)

Este paso envía la información obtenida en el Paso 4 a tu canal de Discord especificado.

Agrega un paso de Node.js con el siguiente código de ejemplo:

import { axios } from "@pipedream/platform";

export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("resultado", results)
    const sendLinks = results.slice(0, 5)

    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No hay resultados de búsqueda para notificar.");
      return { status: "no_results" };
    }

    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Por favor, reemplázalo con tu webhook

    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");

    const message = {
      content: `📡 **Monitor de Palabras Clave: "café"**\n\n${lines}\n\n⏰ Detectado en: ${new Date().toLocaleString()}`
    };

    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },

datos: mensaje,
});

  return { estado: "enviado", res };
} catch (err) {
  console.error("❌ Falló el webhook de Discord:", err);
  return { estado: "error", error: err.message };
}

},
});

Reemplaza la URL en esta línea con tu propio Webhook de Discord:

const webhookUrl = "https://discord.com/api/webhooks/tu_id_de_webhook/tu_token_de_webhook";

---
Si aún no tienes un Webhook, puedes crear uno en Discord de la siguiente manera:
1. Abre el canal donde deseas enviar notificaciones.
2. Haz clic en Configuración del canal > Integraciones > Webhooks.
3. Crea un nuevo Webhook y copia su URL para usarla como webhookUrl mencionada arriba.

---

### Vista previa (Mensaje Enviado)
Cuando la página de Jasper.ai cambie, recibirás un mensaje como este en Discord:

![Vista previa (Mensaje Enviado)](https://assets.scrapeless.com/prod/posts/scrapeless-with-pipedream/99cd8fbd05f69b602fa62a3ae4ba5d28.png)