SERP機能をオーガニックランキングと混同せずに観察する

TL;DR:

• SERP機能の分析には別々の測定単位が必要です。 オーガニックポジション、ナレッジグラフフィールド、広告、関連検索の観察を一つのランキングリストに統合してはいけません。
• モジュールアダプターを書く前に実際の応答を在庫管理してください。 トップレベルのJSONフィールドは自動的に可視の検索機能ではなく、省略されたフィールドはページ上での欠如を証明するものではありません。
• すべての測定ごとに状態を保持してください。 保留中の収集、未マッピングのフィールド、null、空のコンテナ、観察された値はそれぞれ独自の記録が必要です。

オーガニックリンク、ナレッジパネル、広告を一つのランキングリストに置くレポートは、その中に含まれるすべてのポジションの意味を失います。それらの要素は異なる役割を担っており、それぞれのデータは異なる形を持つ可能性があります。それらを一緒にカウントすると、整然としたスプレッドシートが作成される一方で、比較が解釈しにくくなります。

Scrapeless Google Search API はSERP機能分析をサポートする構造化された検索データを提供します。最初の実装タスクは、完了した応答に実際に含まれている内容を検査することです。このガイドはローカルフィールドの在庫を構築し、オーガニックランキングの意味を変えずに検証されたモジュールをマッピングする方法を説明します。

各観察の単位を定義する

レポートが回答すべき質問から始めてください。オーガニックURLの存在は、収集されたオーガニック配列に表示されたWebリンクを問います。ナレッジグラフの観察は、提供された構造化されたエンティティ情報を問います。広告観察は、別に特定された有料検索要素について尋ねます。

各質問にはそれぞれの記録タイプと分母を与えます。配列項目の順序はソース順です。返されるオーガニック位置はオーガニック結果スキーマに属します。いずれも、別途確認されたマッピングなしに広告の位置やパネルの視覚配置として再利用することはできません。

クエリ、完全なリクエスト、観察時間、収集状態はこれらの記録の間で共通であるべきです。その共有されたコンテキストにより、アナリストは同じ実行からモジュールを比較することができ、単一のユニットにフラット化する必要がありません。

関連検索の提案は、確認済みのフィールドを通じて利用可能な場合、クエリ探索に属します。それらはランク付けされたオーガニックページではありません。それら自身の観察されたテキストと出所を保存し、最後のWebリンクの次にオーガニックポジションを割り当てるべきではありません。

必要条件と文書化された応答の形状

Pythonと保存されたJSONキャプチャを使用してローカルインベントリを作成します。外部のrequest、http_status、response、run_id、およびreceived_atフィールドはコレクターメタデータです。このコードはリクエストを送信したり、アカウントレベルでの機能をカバーするものではありません。

Google Searchリクエストワークフローはアクターscraper.google.search、POST https://api.scrapeless.com/api/v1/scraper/request、およびx-api-tokenヘッダーを文書化しています。ライブコレクションにはあなたのアカウントキーが必要です。Google Searchパラメータは、各観察に付随すべき検索コンテキストを説明しています。

現在のクイックスタート例には、organic_results配列、knowledge_graphオブジェクト、local_resultsオブジェクトが含まれています。また、metadataやpaginationのようなモジュール情報以外の情報も含まれています。これらはドキュメントの例であり、この記事のために収集された結果ではありません。

注意: ここでは認証されたAPIリクエストは実行されませんでした。ローカルインベントリは合成キャプチャ上でテストされました。広告および関連検索アダプターは、フィールド名や完全な応答契約を確立しないため、本クイックスタート例では意図的に未設定のままにされています。収集する前に、現在の文書および実際のアカウント出力に対して、それらのマッピングを確認してください。

トランスポートの結果をフィールドの状態から分離する

モジュールの内容を調査する前にHTTPの結果を確認してください。HTTP 201は保留中のタスクを表し、HTTP 200はタスクデータを持ちます。保留中の応答が「すべての機能が欠如している」という観察を生成するべきではありません。

完了した応答の中では、欠落しているキー、null値、空の配列、および空のオブジェクトの違いを保持してください。JSON値タイプはそれらの区別を明確にします。あなたの分析モデルは、検証されたアダプターが狭い意味を割り当てるまで、それらを保持するべきです。
空のオブジェクトは構造的なプレースホルダーである可能性があります。非空のオブジェクトは、空のネストされた値のみを含むことができます。どちらの条件も、誰かがレンダリングされたページ上で有用な知識パネルを見たことを示すものではありません。以下の在庫はJSON構造を報告しており、モジュール固有のアダプターは関連するネストされたフィールドを検査する必要があります。

ローカルフィールドインベントリの実行

プログラムを module_inventory.py として保存し、python3 module_inventory.py capture.json を実行します。これは派生インベントリを印刷し、入力ファイルは変更しません。Pythonの JSONパーサーおよびシリアライザー は、標準ライブラリの関数を使用して入力と出力を処理します。

import argparse
import json
from pathlib import Path


def inventory(record):
    if not isinstance(record, dict):
        raise ValueError('Capture must be an object')
    status, payload = record.get('http_status'), record.get('response')
    base = {'run_id': record.get('run_id'), 'request': record.get('request'),
            'received_at': record.get('received_at'), 'fields': []}
    if status == 201:
        return dict(base, state='pending')
    if status != 200:
        return dict(base, state='transport_error' if status is None else 'http_error')
    if not isinstance(payload, dict):
        return dict(base, state='unmapped')
    fields = []
    for key, value in payload.items():
        if value is None:
            kind, state, size = 'null', 'null', None
        elif isinstance(value, list):
            kind, state, size = 'array', 'nonempty' if value else 'empty', len(value)
        elif isinstance(value, dict):
            kind, state, size = 'object', 'nonempty' if value else 'empty', len(value)
        else:
            kind = 'boolean' if isinstance(value, bool) else ('string' if isinstance(value, str) else 'number')
            state, size = 'scalar', None
        fields.append({'key': key, 'json_type': kind, 'field_state': state, 'size': size})
    return dict(base, state='inventoried', fields=fields)


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('capture')
    args = parser.parse_args()
    print(json.dumps(inventory(json.loads(Path(args.capture).read_text(encoding='utf-8'))),
                     ensure_ascii=False, indent=2))

配列の場合、size は配列要素の数です。オブジェクトの場合、即時キーの数です。これは結果のカウントでも、パネルのカウントでも、可視コンテンツの測定でもありません。スカラーとnullには、このアプリケーションスキーマ内でサイズがありません。

欠落キーは、この生のインベントリには表示されません。インベントリは、選択したクエリサーフェイスの応答契約を確立した後でのみ、明示的な期待フィールドリストと比較してください。そうでない場合、推測リストは明らかな欠落機能を作り出す可能性があります。

Scrapelessでスクレイピングを開始

Scrapelessでウェブスクレイピングおよび自動化ワークフローを強化しましょう！
今日サインアップして、$5の無料クレジットを獲得しましょう — クレジットカードは不要です。

Scrapeless Dashboard で今すぐ無料クレジットを請求しましょう。

確認済みフィールドを別データセットにマッピング

実行リファレンス、アイテム順序、返された位置、URL、タイトル、およびスニペットが利用可能な場合は、オーガニックデータセットを作成します。行数を解釈する前に、オーガニック配列の形状を検証してください。サポートされていない値は生のキャプチャに保持し、マッピングの問題をフラグ付けします。

知識グラフデータセットには、生のオブジェクトリファレンスと個別に確認されたフィールドを保存します。例のレスポンスのオブジェクト形状は、検査の出発点であり、すべてのエンティティプロパティが常に入力されているという約束ではありません。キーの存在のみから派生したブール panel_present は避けてください。

広告データセットと関連検索データセットは、アプリケーション設計で予約できますが、フィールド名、形状、状態のセマンティクスが検証されるまで、アダプターは無効のままにしておきます。無効なアダプターは not_configured を報告すべきであり、ゼロ観察ではありません。そのラベルはあなたのアプリケーションを説明し、APIサポートではありません。

スキーマバージョンとアダプターバージョンを派生レコードの横に保持します。フィールドが変更された場合、元のキャプチャは新しいマッピングのために利用可能なままです。 JSONスキーマオブジェクトモデル は、すべての欠落オプショナルプロパティをコレクションの失敗として扱うことなく、必須およびオプショナルプロパティを形式化するのに役立ちます。

ラン間で似たもの同士を比較

比較には、一致するクエリスコープ、国、言語、およびコレクションルールが必要です。意図的な変更はレポートに含めるべきです。国の変更は検索コンテキストを変える可能性があり、あなたのウェブサイトによって引き起こされた機能変更として誤解されるべきではありません。

オーガニックポジションは、同じ定義されたオーガニック観察方法内でのみ比較してください。同じアダプターバージョンおよび確認済みフィールドセマンティクス内のモジュール状態を比較します。マッパーが変更された場合は、両方のキャプチャを再処理するか、レコードが直接比較できないことを明示してください。

サンプルサイズをコレクションカバレッジから分離します。保留中の実行は、モジュール存在率の分母に合流しません。マッピングされていないフィールドには、別の未知のカテゴリーが必要になる場合があります。パーセンテージを計算する場合、あなたのチームが計算する場合にも、分母を説明してください。そうすれば、検査可能な意味があります。

前回の実行、現在の実行、生のフィールド値、マッパーバージョン、およびレビュー結果を用いて変更の証拠を保持します。 由来モデル は、観察をレポートを作成した変換から分離するのに役立ちます。

データが確立できないものをレビュー

JSONレスポンスは、自動的にピクセル配置、ビューポートの可視性、またはフィーチャーが占めた画面スペースの量を確立しません。これらの質問には、別にキャプチャおよび検証された視覚的方法が必要です。フィールドの順序をスクリーンショットの座標として説明しないでください。

同様に、モジュール観察はクリック、訪問、コンバージョン、またはインプレッションカウントを証明するものではありません。それらのビジネス成果は、独自のデータソースに保持してください。検索機能は、すべての下流の成果の代理にならずに、研究の質問に関連している可能性があります。

警告を書く前に、予期しない状態を検査してください。nullフィールド、無効なアダプター、または変更されたレスポンス形状は、データレビューにつながるべきです。比較可能で解釈された観察のみが、収集したサンプル内でフィーチャーが変更されたという主張を支持できます。

結論

インベントリの応答を作成し、各モジュールの契約を確認し、有機的なランキングを他の検索機能とは別に保存します。明示的なフィールド状態とアダプターのバージョンは、結果として得られるレポートをレビューしやすくし、データが欠落して発明された機能トレンドに変わるのを防ぎます。

レビューされたモジュールの観察を、さらなる編集研究に値する検索体験を決定する際に、コンテンツギャップ分析の一つの入力として使用します。

次の検索観察を構築する

このワークフローの検索証拠を収集するために、Scrapeless Google Search APIを使用します。収集予算を計画する際に、Scrapelessの価格を確認し、 Google Searchパラメーターをリクエスト設定の横に置いておきます。

DiscordやTelegramでコミュニティと実装について話し合いましょう。

FAQ

Q: knowledge_graph キーは、ポピュレートされたパネルが表示されたことを証明しますか？

いいえ。値と確認されたネストされたフィールドを調べてください。キーの存在と目に見えるポピュレートされたコンテンツは異なる主張です。

Q: 広告は1つのランキングリストで有機的な結果の後に追加できますか？

それは測定単位を混合します。別のデータセットを保持し、関連するスキーマによって定義された意味を持つ位置のみを使用してください。

Q: インベントリは検索機能をカウントしますか？

いいえ。最上位のJSONタイプとコンテナサイズを記録します。機能固有の意味は、確認されたアダプターを必要とします。

Q: 除外されたフィールドは何を意味しますか？

それは、キーがキャプチャされたオブジェクトから存在しなかったことを意味します。それ自体では、対応する機能がレンダリングされた検索ページから欠如していたことを確立するものではありません。

Q: 広告と関連検索はサンプルに実装されていますか？

いいえ。それらのアダプターは、適切なフィールドと実際のアカウント出力の確認を待つ間、未構成のままです。この記事はそれらのマッピングを発明するものではありません。