Google ScholarをScrapeless Scraping Browserでスクレイピングする方法

TL;DR:

• Google Scholarは検索インターフェースを公開しており、一般的なバルク結果APIではありません。 その公開ヘルプは検索、引用エクスポート、アラート、アクセス制限を説明しており、ブラウザのワークフローは小規模であり、尊重しなければなりません。
• 安定した抽出単位は結果カードです。 タイトル、行き先のURL、著者/ソースライン、スニペット、引用リンク、バージョンリンク、公開された全文リンクを独立して読み取ります; いくつかのフィールドはオプションです。
• ページネーションはURL主導です。 Scholarが約束しないページ数を計算するのではなく、レンダリングされたページから次ページのアンカーを探します。
• Scrapeless Scraping Browserは、レンダリングとセッションステートをクラウドに保持します。 抽出ロジックはScholarの結果カード契約に集中できます。
• 研究記録には出所が必要です。 クエリ、正規化された結果URL、観察時間、生の著者/ソースラインを正規化されたフィールドの横に保存します。
• 無料で開始できます。 新しいScrapelessアカウントには無料のScraping Browserランタイムが含まれています — app.scrapeless.comでサインアップしてください。

導入: 検索結果は観察であり、書誌データベースではありません

Google Scholarの結果は、学術的な発見と出版社、リポジトリ、引用ビュー、代替バージョンへのリンクを組み合わせています。これにより、ページは研究ツールとして有用ですが、可視記録が完全な正式な出版記録ではなく、検索観察であることを意味します。

実用的なGoogle Scholarスクレイパーはしたがって、結果ページが実際に示すものを保持し、強化が必要な場合にはDOIや正式な出版URLなどの安定した識別子を書誌メタデータサービスに渡すという2つの仕事をうまくこなすべきです。欠落した著者を推測したり、証拠なしにバージョンを統合したり、表示された引用数を永久的なものとして扱ったりしてはいけません。

このチュートリアルでは、Scrapeless Scraping Browserを使用して公開されたScholar検索ページをレンダリングし、結果カードを発見し、nullableフィールドを抽出し、次ページ制御に従い、研究準備されたJSON形式を返します。

Google Scholarには公式APIがありますか？

Google Scholarは一般的な検索結果APIやバルクレコードフィードを公開していません。

Google Scholar検索ヘルプは、インタラクティブな検索、アラート、引用エクスポート、および公開結果インターフェースを文書化しています。また、自動化されたユーザーに対してScholarのrobots.txtを尊重するように指示しており、バルクアクセスは利用できないと述べています。

その境界は設計を変えます。小規模で定義された発見タスクのために検索ページを使用してください。発見後の広範囲なメタデータ取得に関しては、構造化された学術メタデータのために設計されたソースが通常はより適切です; Crossref REST APIは、JSON形式で寄託された書誌メタデータを公開しています。

収集できるデータは？

公開されたGoogle Scholarの結果カードは、有用だが変動するフィールドのセットを露出することがあります。

結果ページには著者/ソースライン内に出版年が表示される場合がありますが、そのラインは保証された構造化された引用ではありません。生の値を保持し、DOI、出版社の記録、またはリポジトリメタデータから後で強化します。

なぜGoogle Scholarは自動化が難しいのか

Google Scholarの自動化は、アクセスポリシー、変化する結果のマークアップ、オプションフィールド、クエリ依存のページネーションによって制約されています。

一部の結果は、直接出版社へのリンクがありますが、他の結果はPDF、リポジトリのコピー、または全くクリック可能なタイトルがありません。引用とバージョンのアクションは、Scholarがそれらの関係を持っている場合にのみ表示されます。ロケールは可視ラベルを変更します。自動化されたボリュームは、結果ページではなく、インタースティシャルに繋がることもあります。

クローラーは抽出前にページを検査する必要があります。結果カードコンテナが存在しない場合、ページの状態を記録し、ランを停止します; アクセスメッセージを空の研究結果として解釈してはいけません。

ロボット排除プロトコルは、サービスがクローラーアクセスルールを公開する方法を定義します。RFC 9309は標準を説明していますが、Scholarの独自のヘルプはこのサーフェスに関する製品ガイダンスの制御を維持しています。

なぜScrapeless Scraping Browserなのか

Scrapeless Scraping Browserは、ウェブクローラーやAIエージェントのために設計されたカスタマイズ可能なアンチディテクションクラウドブラウザです。Google Scholarスクレイパー用には、クラウドサイドのJavaScriptレンダリング、状態を保持するセッション、地域に応じたブラウザ出口を提供し、結果カードのセレクターはあなたの管理下に置かれます。

その分離は重要です。なぜなら、抽出契約はScholarに特有だからです。ブラウザはレンダリングされたページを返し、あなたのコードがどのカードを結果としてカウントするか、どのフィールドがnullableであるか、ページネーションをいつ停止するかを決定します。

Scraping Browser製品、料金、およびクイックスタートドキュメントを確認してから、プロダクションワークフローを接続してください。

前提条件

• Node.js 18以降。
• scrapeless-scraping-browser CLI。
• app.scrapeless.comからのScrapelessアカウントとAPIキー。
• セッションIDの読み取りとJSONのフォーマットのためのjq。
• 小規模で承認されたクエリセットと文書化された研究目的。

注意: 下にあるクラウドセッションブロックは、あなたのScrapeless APIキーを必要とします。認証なしの検証環境では実行できませんでした。セレクター契約は、実際の公的なScholar結果ページに対してチェックされ、クラウド出力は完了した実行として提示されません。

インストール

npm install -g scrapeless-scraping-browserを使ってCLIをインストールし、次にscrapeless-scraping-browser config set apiKey your_api_token_hereでキーを設定します。セッションを作成する前に、scrapeless-scraping-browser config get apiKeyでローカル設定を確認してください。

もしAIエージェントがブラウザを操作する場合は、エージェントにScrapelessスキルをインストールしてください。CLIはランタイムであり、スキルはエージェントに発見→抽出ワークフローを教えます。

実際の使い方: エージェントにプロンプトする

インストール後、セレクターをすべての会話に貼り付ける代わりに、エージェントに制約のある研究リクエストを与えることができます。

強力なプロンプトは、クエリ、最大ページ数、フィールド、出力フォーマット、停止条件を明示します。また、公開検索結果のみが対象であることも明記されます。

ステップ 1 — 接続し、発見し、結果カードを抽出する

内部のフローは1つのセッションを作成し、1つの制約のあるクエリを開き、結果カードをチェックし、各フィールドを独立して抽出し、可視の次ページリンクのみをたどります。

注意: このブロックは、前提条件に記載されている通り、Scrapeless APIキーの設定後にのみ実行してください。

QUERY='retrieval augmented generation'
SESSION=$(scrapeless-scraping-browser new-session \
  --name scholar-research --ttl 300 --proxy-country US --json \
  | jq -r '.data.taskId')

scrapeless-scraping-browser --session-id "$SESSION" open \
  "https://scholar.google.com/scholar?q=$(printf '%s' "$QUERY" | jq -sRr @uri)&hl=en"
scrapeless-scraping-browser --session-id "$SESSION" wait 4000

scrapeless-scraping-browser --session-id "$SESSION" eval '
JSON.stringify({
  pageState: document.querySelector(".gs_r.gs_or") ? "results" : "not-results",
  nextPageUrl: document.querySelector("#gs_n a[href*=\"start=\"]")?.href ?? null,
  results: Array.from(document.querySelectorAll(".gs_r.gs_or")).map(card => ({
    scholarResultId: card.getAttribute("data-cid") || null,
    title: card.querySelector(".gs_rt")?.textContent?.replace(/^\[[^\]]+\]\s*/, "").trim() || null,
    resultUrl: card.querySelector(".gs_rt a")?.href || null,
    authorsPublication: card.querySelector(".gs_a")?.textContent?.trim() || null,
    snippet: card.querySelector(".gs_rs")?.textContent?.trim() || null,
    citedByUrl: card.querySelector(".gs_fl a[href*=\"cites=\"]")?.href || null,
    versionsUrl: card.querySelector(".gs_fl a[href*=\"cluster=\"]")?.href || null,
    fullTextUrl: card.querySelector(".gs_ggs a")?.href || null
  }))
})' | jq .

scrapeless-scraping-browser stop "$SESSION"

セレクターストラテジーには2つの層があります。.gs_r.gs_orは1つの公的結果オブジェクトを発見し、子セレクターが独立してフィールドを読み取ります。スニペットや引用アクションが欠落していても、全体のレコードが破棄されることはありません。

ステップ 2 — 推測なしでページネーションを扱う

Scholarのページネーションは、レンダリングされたページが提供するリンクに従うべきです。

抽出出力からnextPageUrlを読み取ります。もしそれがnullであれば、停止します。もしそれが存在し、承認されたページ制限に達していなければ、そのURLを同じセッションで開き、結果カードを待って再度抽出します。すべてのレコードにページURLを保存して、後の監査で観測を再現できるようにします。

利用可能な場合は、正準なresultUrlで重複を排除します。これが欠如している場合は、正規化されたタイトルと生の著者/ソース行から構築された複合観測キーを使用します。同じ作品が常に同じ順位に位置するとは限らず、同じアクセスリンクが表示されるとも限りません。

ステップ 3 — 出力スキーマを定義する

出力は、Scholarで観測されたフィールドと後の文献的強化を区別します。

{
  "query": "retrieval augmented generation",
  "sourcePage": "https://scholar.google.com/scholar?q=...",
  "observedAt": "illustrative timestamp",
  "pageState": "results",
  "results": [
    {
      "scholarResultId": "illustrative public card ID",
      "title": "Illustrative paper title",
      "resultUrl": "https://example.org/paper",
      "authorsPublication": "Illustrative author and source line",
      "snippet": null,
      "citedByUrl": null,
      "versionsUrl": null,
      "fullTextUrl": null
    }
  ]
}

スキーマはステップ1によって発出されたフィールドを反映します。上記の値は例示的なサンプルであり、オプションのフィールドはnullableのままです。

Scrapelessでスクレイピングを開始する

Scrapelessでウェブスクレイピングと自動化ワークフローを強化しましょう！
今日サインアップして**$5の無料クレジット**を獲得しましょう — クレジットカード不要。
今すぐScrapeless Dashboardで無料クレジットを請求しましょう。

あなたが得られるもの

有用なGoogle Scholarスクレイパーは、完全な学問的カバレッジの主張ではなく、追跡可能な結果観察のセットを返します。

ライブの公開ページ確認により、結果カードが見出し、著者/ソース、スニペット、アクション行、およびフルテキストリンクの表面を公開していることが確認されましたが、すべてのカードにすべてのフィールドが含まれているわけではありません。以下の動作を通常のものとして扱ってください：

• タイトルは、目的地のアンカーではなく、プレーンテキストであることがあります。
• 表示される抜粋は存在しない場合があり、それを要約として再ラベル付けすべきではありません。
• 引用およびバージョンのアクションは条件付きです。
• 公開フルテキストリンクはリポジトリや出版者を指すことができ、別のアクセス条件がある場合があります。
• 結果の順序や表示されるカウントは観察間で変わる可能性があります。

より幅広い検索エンジンの自動化パターンについては、Scrapeless Google Search workflowが、さまざまな結果の表面にわたって同じ発見優先アプローチを示しています。

研究ワークフローのためのエクスポート

パイプラインが結果を倉庫または強化ジョブにストリーミングする場合、1行につき1レコードをNDJSONとしてエクスポートします。Nullableネストされたフィールドが意図的にフラット化されている場合のみCSVを使用します。

生の観察でauthorsPublicationをそのまま保持します。目的地にDOIがある場合は、出版社または書誌登録からレコードを強化し、強化ソースを別途保存します。研究者の結果スニペットと登録のメタデータレコードは異なる質問に答え、互いに上書きすべきではありません。

発見されたDOIをその識別子として正規化し、レコードを1つの出版社のURLに結び付けないようにします。DOI Foundationの識別子ガイダンスは、オブジェクトの現在の位置が変わった場合でもDOIが有用であり続ける理由を説明しています。

責任ある使用

責任あるScholar自動化は、小規模で目的限定的であり、ソースを認識しています。

Scholarの製品ガイダンスとロボットルールを尊重してください。バルクハーベスティングを試みず、承認なしに購読コンテンツにアクセスせず、公開結果リンクをリンクされた作品の再配布の許可と見なさないでください。Scholarのために1ワーカーで同時実行を維持し、ページに結果カードがもはや含まれていないときに実行を停止します。

研究タスクに必要なメタデータのみを保存します。引用数は変わる可能性のある観察であり、観察時刻を記録し、安定した質の指標として提示しないでください。プロジェクトが包括的な出版メタデータを必要とする場合は、適切な書誌ソースを使用するか、データ所有者とのアクセスを手配します。

結論：検索観察を保持する

Google Scholarスクレイパーは、可視検索データと標準的な出版メタデータとの境界を保持することで信頼性が高まります。承認されたクエリを1つ実行し、結果カードを発見し、nullableフィールドを抽出し、可視の次ページリンクに従い、すべてのレコードの由来を保持します。

Scrapeless Scraping Browserは、クラウドブラウザとセッションレイヤーを処理します。エクストラクターは検査するには十分に小さく、出力はScholarが何を公開したのか、何を公開しなかったのかについて正直です。

研究データパイプラインを構築する準備はできていますか？

私たちのコミュニティに参加して無料プランを請求し、公開研究ワークフローを構築する開発者とつながりましょう：Discord · Telegram。

app.scrapeless.comにサインアップして無料のスクレイピングブラウザランタイムを使い、承認された研究クエリに結果カード契約を適応させてください。

よくある質問

Q: Google Scholarのスクレイピングは合法ですか？

その答えは、法域、目的、アクセス方法、条件、下流の使用によって異なります。収集を公開結果に制限し、Scholarのガイダンスとロボットルールに従い、承認なしに購読コンテンツを避け、必要に応じて法的または制度的レビューを取得してください。

Q: Google Scholarは公式のAPIを提供していますか？

Google Scholarは、一般的な検索結果APIやバルクフィードを公開ヘルプにおいて公開していません。公開表面はインタラクティブ検索、アラート、および引用エクスポートを提供します。

Q: Google Scholarスクレイパーにプロキシが必要ですか？

承認されたワークフローが特定の場所の結果を再現する必要がある場合は、地域に応じたブラウザインターフェースを使用します。プロキシはScholarのアクセスポリシーを変更したり、収集量を増やしたりするものではありません。
Q: Scholarがアクセスメッセージを表示した場合、スクレイパーは何をすべきですか？

スクレイパーはpageState: "not-results"を記録し、実行を停止すべきです。中間ページを空の結果セットに変換してはいけません。

Q: スクレイパーはDOMの変更をどのように処理すべきですか？

ライブ結果カードに対して再度発見を実行し、安定したコンテナと子フィールドを確認した後、次の承認された実行の前にアダプターとそのフィクスチャを更新します。

Q: Scholarのワークフローはどれくらいの同時実行を使用すべきですか？

Google Scholarには1つのワーカーを使用します。ワークフローは制限された研究クエリのために設計されており、高容量の収集ではありません。

Q: このワークフローはAIエージェントなしで実行できますか？

はい。CLIブロックはブラウザおよび抽出ステップを直接実行します；エージェントスキルはオプションのプロンプト駆動インターフェースです。

Q: パイプラインはオフセットを増加させてページURLを構築すべきですか？

いいえ。レンダリングされたページから見える次ページのアンカーに従い、そのアンカーが存在しないか承認されたページ制限に達した時点で停止します。