Scrapeless x Pipedream

Pipedream là một nền tảng tích hợp không máy chủ mạnh mẽ cho phép các nhà phát triển dễ dàng kết nối hàng trăm ứng dụng và API, cho phép xây dựng nhanh chóng các quy trình tự động. Người dùng có thể viết logic tùy chỉnh bằng JavaScript, Python và các ngôn ngữ khác mà không phải quản lý bất kỳ cơ sở hạ tầng nào.

Nền tảng hỗ trợ kiến trúc hướng sự kiện và tích hợp với các dịch vụ phổ biến như Slack, Notion, GitHub và Stripe. Pipedream đặc biệt phù hợp để xây dựng webhook, đồng bộ hóa dữ liệu, hệ thống thông báo và các kịch bản tự động khác, tăng cường đáng kể hiệu suất phát triển và tính linh hoạt.

Scrapeless cung cấp các mô-đun sau trong Pipedream:

1. Crawler

• Crawler Scrape: Trích xuất dữ liệu từ một trang web đơn.
• Crawler Crawl: Thu thập thông tin từ một trang web và các trang liên kết để trích xuất dữ liệu toàn diện.

2. Scraping API

• Dễ dàng truy cập và lấy dữ liệu tìm kiếm phong phú từ Google SERP và Google Trends.

3. Universal Scraping API

• Truy cập các trang bảo vệ hoặc động. Tự động xử lý các cơ chế chống quét.

Cách Tạo Hệ Thống Crawling Thông Minh Bằng Đồ Thị Kiến Thức (Pipedream + Scrapeless)

Điều kiện tiên quyết

• Bạn đã đăng ký trên Scrapeless và nhận được mã thông báo API.
• Bạn có URL Webhook Discord (để gửi thông báo).

Đầu tiên, bạn cần hoàn tất các thiết lập sau:

1. Khóa API Scrapeless: Vui lòng đăng ký tài khoản Scrapeless. Sau khi đăng ký, bạn có thể truy cập khóa API từ bảng điều khiển.

2. Tài khoản Pipedream: Tạo một tài khoản Pipedream.

Bước 1: Cài Đặt Khóa API Scrapeless trong Pipedream

Bạn cần đăng nhập vào tài khoản Scrapeless của mình và vào bảng điều khiển để lấy khóa API của bạn.

Khi bạn đã có nó, hãy vào tab "Accounts" trong Pipedream và thêm khóa ở đó, như hình dưới đây:

Sau đó, đặt khóa API của bạn như sau:

Bước 2: Thêm Một Trigger - schedule_trigger

• Loại: Thời gian biểu
• Thời gian kích hoạt: Mỗi ngày lúc 08:00 (UTC)
• Phương thức: Sử dụng Cron hoặc khoảng thời gian cố định

Bước 3: Sử Dụng Scrapeless Để Tìm Kiếm Thông Tin Bảng Kiến Thức Của Từ Khóa Cụ Thể

Thành phần:

• google-search

Cài đặt tham số:

• query: coffee
• gl: us (tùy chọn)
• hl: en (tùy chọn)

Bước 4: Trích Xuất Thông Tin (extract_coffee_search_results)

Bước này sẽ trích xuất thông tin từ bảng kiến thức từ dữ liệu từ khóa đã thu được ở bước trước.

Thêm một bước mã Node.js với mã sau:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results

    if (!searchResult || !webResults) {
      throw new Error("❌ Không có kết quả hợp lệ nào được trả về từ Scrapeless Google Search.");
    }

    const links = webResults.map((item) => item.link)

    return {
      links,
    };
  }
});

Bước 5: Gửi Thông Báo Discord (Send_Discord_Notification)

Bước này gửi thông tin đã thu thập được ở Bước 4 đến kênh Discord đã chỉ định của bạn.

Thêm một bước Node.js với mã ví dụ sau:

import { axios } from "@pipedream/platform";

export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)

    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ Không có kết quả tìm kiếm nào để thông báo.");
      return { status: "no_results" };
    }

    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Vui lòng thay thế nó bằng webhook của bạn

    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");

    const message = {
      content: `📡 **Giám sát từ khóa: "coffee"**\n\n${lines}\n\n⏰ Được phát hiện vào: ${new Date().toLocaleString()}`
    };

    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },

dữ liệu: tin nhắn,
});

  return { trạng thái: "đã gửi", res };
} catch (err) {
  console.error("❌ Discord webhook đã thất bại:", err);
  return { trạng thái: "lỗi", lỗi: err.message };
}

},
});

Thay thế URL trong dòng này bằng webhook Discord của bạn:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

---
Nếu bạn chưa có Webhook, bạn có thể tạo một cái trong Discord như sau:
1. Mở kênh mà bạn muốn gửi thông báo.
2. Nhấp vào Cài đặt Kênh > Tích hợp > Webhook.
3. Tạo một Webhook mới và sao chép URL của nó để sử dụng làm webhookUrl được đề cập ở trên.

---

### Xem trước (Tin nhắn đã gửi)
Khi trang Jasper.ai thay đổi, bạn sẽ nhận được một tin nhắn như thế này trong Discord:

![Xem trước (Tin nhắn đã gửi)](https://assets.scrapeless.com/prod/posts/scrapeless-with-pipedream/99cd8fbd05f69b602fa62a3ae4ba5d28.png)