Excelにおけるウェブスクレイピング：Power Query、VBA、およびAPIメソッド

let
    Endpoint = "https://api.scrapeless.com",
    TargetUrl = Excel.CurrentWorkbook(){[Name="AuthorizedTargetUrl"]}[Content]{0}[Column1],
    Payload = Json.FromValue([
        actor = "unlocker.webunlocker",
        proxy = [country = "ANY"],
        input = [
            url = TargetUrl,
            jsRender = [
                enabled = true,
                response = [type = "html", options = []]
            ]
        ]
    ]),
    Raw = Web.Contents(
        Endpoint,
        [
            RelativePath = "api/v2/unlocker/request",
            Headers = [
                #"Content-Type" = "application/json"
            ],
            Content = Payload,
            ApiKeyName = "x-api-token"
        ]
    ),
    Envelope = Json.Document(Raw),
    Checked = if Envelope[code] = 200 and Envelope[data] <> null
        then Envelope[data]
        else error "The acquisition response did not contain page data",
    Output = #table(
        {"source_url", "html"},
        {{TargetUrl, Checked}}
    )
in
    Output

Option Explicit

Public Sub ImportCsv()
    Dim endpoint As String
    Dim target As Worksheet
    Dim query As QueryTable

    endpoint = ThisWorkbook.Names("CsvEndpoint").RefersToRange.Value
    Set target = ThisWorkbook.Worksheets("ImportedData")

    target.Cells.ClearContents

    Set query = target.QueryTables.Add( _
        Connection:="TEXT;" & endpoint, _
        Destination:=target.Range("A1"))

    With query
        .TextFileParseType = xlDelimited
        .TextFileCommaDelimiter = True
        .TextFilePlatform = 65001
        .RefreshStyle = xlOverwriteCells
        .Refresh BackgroundQuery:=False
    End With
End Sub

2. **Excelで変換と分析を行う**: レスポンスを列に整形し、ルックアップテーブルを結合し、ピボットを作成し、チャートを公開します。

[Universal Scraping API](https://www.scrapeless.com/ja/product/universal-scraping-api?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel)は第一段階のために構築されています。Power Queryはワークブック向けのコネクタとして機能します。この境界により、チームはすべての数式やチャートを再構築せずに取得方法を変更することができます。

[Scrapelessの料金ページ](https://www.scrapeless.com/ja/pricing?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel)を使用して、サービスのコストをブラウザインフラを運用するために必要なエンジニアリング時間と比較してください。Excelパイプラインに適したレスポンス形式の広範なビューについては、[Universal Scraping APIレスポンス形式の更新](https://www.scrapeless.com/ja/blog/response-formats-update?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel)をご覧ください。

## 一般的な問題と解決策

### ナビゲーターにテーブルが表示されない

ページが初期レスポンスで安定したHTMLテーブルを公開していない可能性があります。許可されたJSONまたはCSVソースを探してください。値がJavaScriptの後にのみ表示される場合は、完了したコンテンツを返す取得層を使用してください。

### 更新時にプライバシーレベルエラーが発生する

Power Queryはプライバシー設定に応じてデータソースを隔離します。ワークブックのソース設定を確認し、ポリシーが許可しない限り、プライベートな組織データと公開ソースを組み合わせないでください。

### 一台のコンピュータではクエリが機能するが、別のコンピュータでは機能しない

Excelのエディション、認証設定、名前付き範囲、マクロポリシー、およびゲートウェイ要件を確認してください。資格情報は環境固有であり、ワークブックファイル内を移動するべきではありません。

### ワークブックがチャレンジページを読み込む

変換前にコンテンツレベルの検証を追加してください。期待されるJSONフィールド、CSVヘッダー、またはページマーカーを必要とします。その契約を満たさないレスポンスは拒否してください。

### 更新後に列の型が変わる

ソースステップの後にPower Queryで明示的なデータ型を適用してください。通貨シンボル、ロケール固有の区切り記号、および欠損値を数値列から除外してください。

### 更新に時間がかかりすぎる

データがExcelに到達する前に減らしてください。ソースで日付や識別子でフィルタリングし、必要なフィールドのみをリクエストし、ワークシートが必要でない場合は中間クエリを接続のみにしてロードしてください。

## ワークブックプロトタイプから本番フィードへ

有用な進行は以下の通りです：

1. 一つのURLと一行を手動で証明します。
2. 明示的な列名と型を持つPower Queryを作成します。
3. コンテンツ検証とエラーシートを追加します。
4. レンダリングとHTMLパースを取得サービスに移動させます。
5. バージョン管理されたスキーマでJSONまたはCSVを公開します。
6. Excelの外部で収集をスケジュールし、ワークブックの更新を分析に集中させます。

これにより、スプレッドシートは放置されたウェブブラウザにならずに便利に保たれます。ワークブックはクリーンデータの消費者となり、これはExcelが得意とする役割です。

## 結論: Excelに分析させ、ブラウザを模倣させない

Power Queryは、更新可能なHTMLテーブルやJSON APIのデフォルトの選択肢です。VBAは、制御されたユーザー起動のインポートに価値があります。許可されたソースがJavaScriptやトラフィック検証に依存する場合は、取得APIを使用してExcelに安定したデータ契約を与えてください。

その境界を構築するには、[Scrapelessアカウントを作成](https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel)し、一つの公開URLでUniversal Scraping APIをテストし、ワークブックが必要とするフィールドを定義し、それらのフィールドを更新契約にしてください。

## よくある質問

### Excelはコードなしでウェブサイトをスクレイピングできますか？

はい。Power QueryのWebからのコネクタは、グラフィカルなワークフローを通じて多くの可視HTMLテーブルをインポートできます。初期HTMLでテーブルを公開している安定した公共ページに最適です。

### なぜPower Queryは空のページを表示するのですか？

値が初期レスポンスの後にJavaScriptによってレンダリングされたり、別のエンドポイントから読み込まれたり、トラフィック検証ページに置き換えられたりする可能性があります。ソースの動作を確認し、それに応じた取得方法を選択してください。

### ウェブスクレイピングに対してPower QueryはVBAより優れていますか？

通常、Power Queryは更新可能なデータ変換や資格情報管理に優れています。VBAはワークブックのボタンや制御されたファイルインポートに役立ちますが、HTMLパースを維持するには脆弱な場所です。

### Power QueryはJSON APIを呼び出せますか？

はい。`Web.Contents`はレスポンスを取得でき、`Json.Document`はそれをレコード、リスト、テーブルにパースできます。MコードにAPIシークレットを保存するのではなく、資格情報ダイアログを使用してください。

### ワークブックはJavaScriptでレンダリングされたページをどのように処理できますか？

レンダリング能力のある取得サービスを使用してHTML、JSONまたはCSVを返し、その出力にPower Queryを接続します。これにより、ブラウザの動作がスプレッドシートの外に保たれます。

### Excelはスクレイピングしたデータをどれくらいの頻度で更新すべきでしょうか？
ビジネスニーズ、ソースの権限、サービス容量に応じて更新頻度を合わせます。定期的または大量のデータ収集の場合は、Excelの外で取得を実行し、ワークブックが準備されたデータセットから更新されるようにします。