Pythonを使ってGoogle検索結果をスクレイピングする方法 (2026)

import requests
from fake_useragent import UserAgent

# ランダムなユーザーエージェントを生成
ua = UserAgent()
headers = {'User-Agent': ua.random}

# Google検索クエリ
query = "PythonでGoogleの検索結果をスクレイピングする方法"
url = f"https://www.google.com/search?q={query}"

# GETリクエストを送信
response = requests.get(url, headers=headers)

# リクエストが成功したか確認
if response.status_code == 200:
    print(response.text)
else:
    print("ページの取得に失敗しました")

from bs4 import BeautifulSoup

# ページコンテンツを解析
soup = BeautifulSoup(response.text, 'html.parser')

# 検索結果コンテナをすべて見つける
search_results = soup.find_all('div', class_='BVG0Nb')

for result in search_results:
    title = result.text
    link = result.find('a')['href']
    print(f"タイトル: {title}")
    print(f"リンク: {link}\n")

from selenium import webdriver
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

# Selenium WebDriverをセットアップ
driver = webdriver.Chrome(ChromeDriverManager().install())

# Googleを開き、検索を実行
driver.get("https://www.google.com/")
search_box = driver.find_element(By.NAME, 'q')
search_box.send_keys("PythonでGoogleの検索結果をスクレイピングする方法")
search_box.submit()

# 結果が読み込まれるのを待ってリンクを抽出
driver.implicitly_wait(5)

# 検索結果を取得
search_results = driver.find_elements(By.CLASS_NAME, 'BVG0Nb')

for result in search_results:
    title = result.text

### ステップ4: ブロッキングとレート制限の軽減
Googleに検出されブロックされるリスクを最小限に抑えるために、次のことを行うべきです：
- **ユーザーエージェントのローテーション**: 異なるユーザーエージェントを使用してさまざまなブラウザからのリクエストを模する。
- **遅延の追加**: リクエストの間にランダムな遅延を導入し、人間のような閲覧行動を模倣する。
- **プロキシの使用**: IPアドレスをローテーションしてリクエストを分散し、検出を避ける。
- **Robots.txtの尊重**: 常にGoogleのrobots.txtファイルを確認し、倫理的なスクレイピング習慣に従う。

## Scrapeless Deep SerpApiでGoogle検索結果をスクレイピング
Googleを直接スクレイピングすることは可能ですが、 tediousでエラーが発生しやすく、しばしばブロックされる結果になります。ここで**Scrapeless**が登場します。強力な**CAPTCHAソルバー、IPローテーション、インテリジェントプロキシ、Webアンロッカー**を備えたScrapelessは、ユーザーがブロックされずに検索結果をスクレイピングするのを助けるために特別に設計された強力なAPIです。

### 管理されたSERP APIを使用する理由
- **合法性**: Scrapelessは検索結果にアクセスするための合法的かつ遵守された方法を提供します。
- **信頼性**: APIは検出を回避するために高度な手法を使用し、データ収集の中断を防ぎます。
- **使いやすさ**: ScrapelessはシンプルなAPIを提供し、Pythonとの統合が容易で、迅速に検索結果データにアクセスする必要がある開発者に最適です。
- **カスタマイズ可能**: 結果をニーズに合わせて調整でき、コンテンツの種類（例：オーガニックリスト、広告など）を指定できます。

### Google検索リクエストの実行方法
データをターゲット化し特定するために、この記事ではGoogleトレンドをクロールするデモンストレーションを行います。
> ウェブブロッキングやGoogle検索のスクレイピングに困っていますか？
> [**コミュニティに参加**](https://discord.gg/8ajWRhtGUj)して、**無料トライアル**で効果的な解決策を得ましょう！

**ステップ1**. [**Scrapelessダッシュボード**](https://app.scrapeless.com/passport/login?utm_source=official&utm_medium=blog&utm_campaign=google-search-results)にログインし、「**Google検索API**」に移動します。

![Google Search API](https://assets.scrapeless.com/prod/posts/google-search-results/bb02fd3edf699c393e8b268346a2c87c.png)

**ステップ2**. 左側で必要なキーワード、地域、言語、プロキシなどの情報を設定します。すべてが問題ないことを確認したら、「**スクレイピングを開始**」をクリックします。
- `q`: 検索したいクエリを定義するパラメーターです。
- `gl`: Google検索に使用する国を定義するパラメーターです。
- `hl`: Google検索に使用する言語を定義するパラメーターです。

![Start Scraping](https://assets.scrapeless.com/prod/posts/google-search-results/9302517fb30db6c50c60bc6f517dd550.png)

**ステップ3**. クロール結果を取得し、エクスポートします。

![Get the crawling results](https://assets.scrapeless.com/prod/posts/google-search-results/261da7bc2f3fa575595747a177d5844b.png)

プロジェクトに統合するためのサンプルコードが必要ですか？私たちが支援します！または、必要な言語の[**APIドキュメント**](https://apidocs.scrapeless.com/api-12919045)を訪問してください。
- **Python**:
```Python
import http.client
import json

conn = http.client.HTTPSConnection("api.scrapeless.com")
payload = json.dumps({
   "actor": "scraper.google.search",
   "input": {
      "q": "coffee",
      "hl": "en",
      "gl": "us"
   }
})
headers = {
   'Content-Type': 'application/json'
}
conn.request("POST", "/api/v1/scraper/request", payload, headers)
res = conn.getresponse()
data = res.read()
print(data.decode("utf-8"))

package main

import (
   "fmt"
   "strings"
   "net/http"
   "io/ioutil"
)

func main() {

   url := "https://api.scrapeless.com/api/v1/scraper/request"
   method := "POST"

   payload := strings.NewReader(`{
    "actor": "scraper.google.search",
    "input": {
        "q": "coffee",
        "hl": "en",
        "gl": "us"
    }
}`)

   client := &http.Client {
   }
   req, err := http.NewRequest(method, url, payload)

   if err != nil {
      fmt.Println(err)
      return
   }
   req.Header.Add("Content-Type", "application/json")

   res, err := client.Do(req)
   if err != nil {
      fmt.Println(err)
      return
   }
   defer res.Body.Close()

   body, err := ioutil.ReadAll(res.Body)
   if err != nil {
      fmt.Println(err)
      return
   }
   fmt.Println(string(body))
}