Cách xây dựng phân tích tìm kiếm thông minh với Scrapeless và Google Gemini

# Tạo môi trường ảo
python -m venv scrapeless-gemini-env

# Kích hoạt môi trường
scrapeless-gemini-env\Scripts\activate

# Tạo môi trường ảo
python3 -m venv scrapeless-gemini-env

# Kích hoạt môi trường
source scrapeless-gemini-env/bin/activate

# Tạo môi trường ảo
python3 -m venv scrapeless-gemini-env

# Kích hoạt môi trường
source scrapeless-gemini-env/bin/activate

pip install requests google-generativeai python-dotenv pandas

SCRAPELESS_API_TOKEN=your_token_here
GEMINI_API_KEY=your_gemini_key_here

import json
import requests
import os
from dotenv import load_dotenv

load_dotenv()

class ScrapelessClient:
    def __init__(self):
        self.token = os.getenv('SCRAPELESS_API_TOKEN')
        self.host = "api.scrapeless.com"
        self.url = f"https://{self.host}/api/v1/scraper/request"
        self.headers = {"x-api-token": self.token}
    
    def search_google(self, query, **kwargs):
        """Thực hiện tìm kiếm Google bằng Scrapeless"""
        payload = {
            "actor": "scraper.google.search",
            "input": {
                "q": query,
                "gl": kwargs.get("gl", "us"),
                "hl": kwargs.get("hl", "en"),
                "google_domain": kwargs.get("google_domain", "google.com"),
                "location": kwargs.get("location", ""),
                "tbs": kwargs.get("tbs", ""),
                "start": str(kwargs.get("start", 0)),
                "num": str(kwargs.get("num", 10))
            }
        }
        
        response = requests.post(
            self.url, 
            headers=self.headers, 
            data=json.dumps(payload)
        )
        
        if response.status_code != 200:
            print(f"Lỗi: {response.status_code} - {response.text}")
            return None
            
        return response.json()

import google.generativeai as genai

class SearchAnalyzer:
    def __init__(self):
        genai.configure(api_key=os.getenv('GEMINI_API_KEY'))
        self.model = genai.GenerativeModel('gemini-1.5-flash')
        self.scraper = ScrapelessClient()
    
    def analyze_topic(self, topic):
        """Tìm kiếm và phân tích một chủ đề"""
        # Bước 1: Nhận kết quả tìm kiếm
        print(f"Tìm kiếm: {topic}")
        search_results = self.scraper.search_google(topic, num=20)
        
        if not search_results:
            return None
        
        # Bước 2: Trích xuất thông tin quan trọng
        extracted_data = self._extract_results(search_results)
        
        # Bước 3: Phân tích với Gemini
        prompt = f"""
        Phân tích những kết quả tìm kiếm này về "{topic}":
        
        {json.dumps(extracted_data, indent=2)}
        
        Cung cấp:
        1. Chủ đề và xu hướng chính
        2. Nguồn thông tin chính
        3. Những hiểu biết đáng chú ý
        4. Hành động khuyến nghị
        
        Định dạng phản hồi của bạn dưới dạng một báo cáo rõ ràng, có thể hành động.
        """
        
        response = self.model.generate_content(prompt)
        
        return {
            "topic": topic,
            "search_data": extracted_data,
            "analysis": response.text
        }
```python
def _extract_results(self, search_data):
        """Trích xuất dữ liệu liên quan từ kết quả tìm kiếm"""
        results = []
        
        if "organic_results" in search_data:
            for item in search_data["organic_results"][:10]:
                results.append({
                    "title": item.get("title", ""),
                    "snippet": item.get("snippet", ""),
                    "link": item.get("link", ""),
                    "source": item.get("displayed_link", "")
                })
        
        return results

class CompetitorMonitor:
    def __init__(self):
        self.analyzer = SearchAnalyzer()
    
    def analyze_competitors(self, company_name, competitors):
        """Phân tích một công ty so với các đối thủ cạnh tranh của nó"""
        all_data = {}
        
        # Tìm kiếm cho mỗi công ty
        for comp in [company_name] + competitors:
            print(f"\nĐang phân tích: {comp}")
            
            # Tìm kiếm tin tức và cập nhật gần đây
            news_query = f"{comp} tin tức cập nhật mới nhất 2025"
            data = self.analyzer.analyze_topic(news_query)
            
            if data:
                all_data[comp] = data
        
        # Tạo phân tích so sánh
        comparative_prompt = f"""
        So sánh {company_name} với các đối thủ cạnh tranh dựa trên dữ liệu này:
        
        {json.dumps(all_data, indent=2)}
        
        Cung cấp:
        1. Vị trí cạnh tranh
        2. Điểm mạnh độc đáo của mỗi công ty
        3. Cơ hội thị trường
        4. Khuyến nghị chiến lược cho {company_name}
        """
        
        response = self.analyzer.model.generate_content(comparative_prompt)
        
        return {
            "company": company_name,
            "competitors": competitors,
            "analysis": response.text,
            "raw_data": all_data
        }

class TrendMonitor:
    def __init__(self):
        self.analyzer = SearchAnalyzer()
        self.scraper = ScrapelessClient()
    
    def monitor_trend(self, keyword, time_range="d"):
        """Giám sát xu hướng cho một từ khóa"""
        # Ánh xạ các khoảng thời gian tới tham số tbs của Google
        time_map = {
            "h": "qdr:h",  # Giờ qua
            "d": "qdr:d",  # Ngày qua
            "w": "qdr:w",  # Tuần qua
            "m": "qdr:m"   # Tháng qua
        }
        
        # Tìm kiếm với bộ lọc thời gian
        results = self.scraper.search_google(
            keyword, 
            tbs=time_map.get(time_range, "qdr:d"),
            num=30
        )
        
        if not results:
            return None
        
        # Phân tích xu hướng
        prompt = f"""
        Phân tích xu hướng cho "{keyword}" dựa trên các kết quả tìm kiếm gần đây:
        
        {json.dumps(results.get("organic_results", [])[:15], indent=2)}
        
        Xác định:
        1. Các mẫu mới nổi
        2. Các phát triển chính
        3. Cảm xúc (tích cực/tiêu cực/ trung tính)
        4. Dự đoán trong tương lai
        5. Thông tin chi tiết hành động
        """
        
        response = self.analyzer.model.generate_content(prompt)
        
        return {
            "keyword": keyword,
            "time_range": time_range,
            "analysis": response.text,
            "result_count": len(results.get("organic_results", []))
        }

def main():
    # Khởi tạo các thành phần
    competitor_monitor = CompetitorMonitor()
    trend_monitor = TrendMonitor()
    
    # Ví dụ 1: Phân tích đối thủ cạnh tranh
    # QUAN TRỌNG: Thay thế các công ty ví dụ này bằng công ty thực tế và các đối thủ của bạn
    print("=== PHÂN TÍCH ĐỐI THỦ CẠNH TRANH ===")
    analysis = competitor_monitor.analyze_competitors(
        company_name="OpenAI",  # Thay thế bằng tên công ty của bạn
        competitors=["Anthropic", "Google AI", "Meta AI"]  # Thay thế bằng các đối thủ cạnh tranh của bạn
    )
    
    print("\nKết quả phân tích cạnh tranh:")
    print(analysis["analysis"])
    
    # Lưu kết quả
    with open("competitor_analysis.json", "w") as f:
        json.dump(analysis, f, indent=2)
    
    # Ví dụ 2: Giám sát xu hướng
    # QUAN TRỌNG: Thay thế từ khóa bằng các thuật ngữ cụ thể cho ngành của bạn
    print("\n\n=== GIÁM SÁT XU HƯỚNG ===")
    trends = trend_monitor.monitor_trend(
        keyword="quy định trí tuệ nhân tạo",  # Thay thế bằng từ khóa của bạn
        time_range="w"  # Tuần qua
    )
    
    print("\nKết quả phân tích xu hướng:")
    print(trends["analysis"])
    
    # Ví dụ 3: Phân tích nhiều chủ đề
    # QUAN TRỌNG: Thay thế các chủ đề này bằng các chủ đề cụ thể cho ngành của bạn
    print("\n\n=== PHÂN TÍCH NHIỀU CHỦ ĐỀ ===")
    topics = [
        "ứng dụng kinh doanh AI sinh sinh",  # Thay thế bằng chủ đề của bạn
        "mối đe dọa an ninh mạng AI",

    # Bước 2: Trích xuất thông tin chính
    dữ liệu_trích xuất = self._extract_results(kết_quả_tìm_kiếm)
    
    # Bước 3: Phân tích với Gemini
    prompt = f"""
    Phân tích những kết quả tìm kiếm này về "{chủ đề}":
    
    {json.dumps(dữ liệu_trích xuất, indent=2)}
    
    Cung cấp:
    1. Chủ đề và xu hướng chính
    2. Nguồn thông tin chính
    3. Những điểm nổi bật
    4. Hành động đề xuất
    
    Định dạng phản hồi của bạn dưới dạng một báo cáo rõ ràng, có thể hành động.
    """
    
    phản hồi = self.model.generate_content(prompt)
    
    quay lại {
        "chủ đề": chủ đề,
        "dữ liệu_tìm_kiếm": dữ liệu_trích xuất,
        "phân_tích": phản hồi.text
    }

def _extract_results(self, dữ_liệu_tìm_kiếm):
    """Trích xuất dữ liệu liên quan từ kết quả tìm kiếm"""
    kết quả = []
    
    nếu "organic_results" trong dữ_liệu_tìm_kiếm:
        cho mục trong dữ_liệu_tìm_kiếm["organic_results"][:10]:
            kết quả.append({
                "tiêu đề": mục.get("title", ""),
                "đoạn trích": mục.get("snippet", ""),
                "liên kết": mục.get("link", ""),
                "nguồn": mục.get("displayed_link", "")
            })
    
    quay lại kết quả

def analyze_competitors(self, tên_công_ty, đối_thủ):
    """Phân tích một công ty so với các đối thủ của nó"""
    tất_cả_dữ_liệu = {}
    
    # Tìm kiếm cho mỗi công ty
    cho đối thủ trong [tên_công_ty] + đối_thủ:
        print(f"\nĐang phân tích: {đối thủ}")
        
        # Tìm kiếm tin tức và cập nhật gần đây
        truy_vấn_tin_tức = f"{đối thủ} tin tức và cập nhật mới nhất 2025"
        dữ liệu = self.analyzer.analyze_topic(truy_vấn_tin_tức)
        
        nếu dữ liệu:
            tất_cả_dữ_liệu[đối thủ] = dữ liệu
        
        # Thêm độ trễ giữa các yêu cầu
        time.sleep(2)
    
    # Tạo phân tích so sánh
    prompt_so_sánh = f"""
    So sánh {tên_công_ty} với các đối thủ dựa trên dữ liệu này:
    
    {json.dumps(tất_cả_dữ_liệu, indent=2)}
    
    Cung cấp:
    1. Vị trí cạnh tranh
    2. Điểm mạnh độc đáo của mỗi công ty
    3. Cơ hội thị trường
    4. Khuyến nghị chiến lược cho {tên_công_ty}
    """
    
    phản hồi = self.analyzer.model.generate_content(prompt_so_sánh)
    
    quay lại {
        "công_ty": tên_công_ty,
        "đối_thủ": đối_thủ,
        "phân_tích": phản hồi.text,
        "dữ_liệu_thô": tất_cả_dữ_liệu
    }

def monitor_trend(self, từ_khóa, khoảng_thời_gian="d"):
    """Theo dõi xu hướng cho một từ khóa"""
    # Ánh xạ các khoảng thời gian sang tham số tbs của Google
    bản_đồ_thời_gian = {
        "h": "qdr:h",  # Giờ qua
        "d": "qdr:d",  # Ngày qua
        "w": "qdr:w",  # Tuần qua
        "m": "qdr:m"   # Tháng qua
    }
    
    # Tìm kiếm với bộ lọc thời gian
    kết quả = self.scraper.search_google(
        từ_khóa, 
        tbs=bản_đồ_thời_gian.get(khoảng_thời_gian, "qdr:d"),
        num=30
    )
    
    nếu không có kết quả:
        quay lại None
    
    # Phân tích xu hướng
    prompt = f"""
    Phân tích các xu hướng cho "{từ_khóa}" dựa trên kết quả tìm kiếm gần đây:
    
    {json.dumps(kết quả.get("organic_results", [])[:15], indent=2)}
    
    Xác định:
    1. Mô hình nổi lên
    2. Các phát triển chính
    3. Tâm trạng (tích cực/tiêu cực/trung lập)
    4. Dự đoán tương lai
    5. Những điểm có thể hành động
    """
    
    phản hồi = self.analyzer.model.generate_content(prompt)
    
    quay lại {
        "từ_khóa": từ_khóa,
        "khoảng_thời_gian": khoảng_thời_gian,
        "phân_tích": phản hồi.text,
        "số_lượng_kết_quả": len(kết quả.get("organic_results", []))
    }

    # Làm phẳng cấu trúc dữ liệu
    hàng = []
    cho mục trong dữ_liệu:
        nếu isinstance(mục, dict) và "dữ_liệu_tìm_kiếm" trong mục:
            cho kết quả trong mục["dữ_liệu_tìm_kiếm"]:
                hàng.append({
                    "chủ đề": mục.get("chủ đề", ""),
                    "tiêu đề": kết quả.get("tiêu đề", ""),
                    "đoạn trích": kết quả.get("đoạn trích", ""),
                    "liên kết": kết quả.get("liên kết", ""),
                    "nguồn": kết quả.get("nguồn", "")
                })
    
    df = pd.DataFrame(hàng)

df.to_csv(filename, index=False)
        print(f"Dữ liệu đã được xuất sang {filename}")
        
        return filename
    
    @staticmethod
    def create_html_report(analysis_data, filename="report.html"):
        """Tạo báo cáo HTML từ dữ liệu phân tích"""
        html = f"""
        <!DOCTYPE html>
        <html>
        <head>
            <title>Báo cáo Phân tích Tìm kiếm</title>
            <style>
                body {{ font-family: Arial, sans-serif; margin: 40px; }}
                .section {{ margin-bottom: 30px; padding: 20px; 
                           background-color: #f5f5f5; border-radius: 8px; }}
                h1 {{ color: #333; }}
                h2 {{ color: #666; }}
                pre {{ white-space: pre-wrap; word-wrap: break-word; }}
            </style>
        </head>
        <body>
            <h1>Báo cáo Phân tích Tìm kiếm</h1>
            <p>Ngày tạo: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}</p>
            
            <div class="section">
                <h2>Kết quả Phân tích</h2>
                <pre>{analysis_data.get('analysis', 'Không có kết quả phân tích')}</pre>
            </div>
            
            <div class="section">
                <h2>Tóm tắt Dữ liệu</h2>
                <p>Chủ đề: {analysis_data.get('topic', 'N/A')}</p>
                <p>Kết quả đã phân tích: {len(analysis_data.get('search_data', []))}</p>
            </div>
        </body>
        </html>
        """
        
        with open(filename, 'w') as f:
            f.write(html)
        
        print(f"Báo cáo HTML đã được tạo: {filename}")

def main():
    # Khởi tạo các thành phần
    competitor_monitor = CompetitorMonitor()
    trend_monitor = TrendMonitor()
    exporter = DataExporter()
    
    # Ví dụ 1: Phân tích Đối thủ
    print("=== PHÂN TÍCH ĐỐI THỦ ===")
    analysis = competitor_monitor.analyze_competitors(
        company_name="OpenAI",
        competitors=["Anthropic", "Google AI", "Meta AI"]
    )
    
    print("\nKết quả Phân tích Cạnh tranh:")
    print(analysis["analysis"])
    
    # Lưu kết quả
    with open("competitor_analysis.json", "w") as f:
        json.dump(analysis, f, indent=2)
    
    # Ví dụ 2: Theo dõi Xu hướng
    print("\n\n=== THEO DÕI XU HƯỚNG ===")
    trends = trend_monitor.monitor_trend(
        keyword="quy định trí tuệ nhân tạo",
        time_range="w"  # Tuần trước
    )
    
    print("\nKết quả Phân tích Xu hướng:")
    print(trends["analysis"])
    
    # Ví dụ 3: Phân tích Đa Chủ Đề
    print("\n\n=== PHÂN TÍCH ĐA CHỦ ĐỀ ===")
    topics = [
        "ứng dụng kinh doanh AI",
        "mối đe dọa an ninh mạng AI",
        "chăm sóc sức khỏe học máy"
    ]
    
    analyzer = SearchAnalyzer()
    all_results = []
    
    for topic in topics:
        print(f"\nĐang phân tích: {topic}")
        result = analyzer.analyze_topic(topic)
        
        if result:
            all_results.append(result)
            # Lưu phân tích cá nhân
            filename = f"{topic.replace(' ', '_')}_analysis.txt"
            with open(filename, "w") as f:
                f.write(result["analysis"])
            print(f"Phân tích đã được lưu vào {filename}")
        
        # Tạm dừng giữa các yêu cầu
        time.sleep(2)
    
    # Xuất tất cả kết quả sang định dạng CSV
    if all_results:
        csv_file = exporter.export_to_csv(all_results)
        print(f"\nTất cả kết quả đã được xuất sang: {csv_file}")
        
        # Tạo báo cáo HTML cho kết quả đầu tiên
        if all_results[0]:
            exporter.create_html_report(all_results[0])

if __name__ == "__main__":
    main()