Loading Light/Dark Toggle
Volver al blog

API de SERP de Google HTML sin procesar: Recuperar y validar rawUrl

Alex Johnson
Alex Johnson

Senior Web Scraping Engineer

12-Nov-2026

TL;DR:

  • metadata.rawUrl apunta al HTML de SERP de Google almacenado. Recupera esa URL después de que llegue la respuesta JSON completa.
  • La recuperación del HTML es una segunda solicitud HTTP. La respuesta de búsqueda no inserta ese documento descargado en el propio campo.
  • Las comprobaciones del documento aportan evidencia con límites. El estado, tipo de medio, conteo de bytes y estructura ayudan a detectar problemas, pero no demuestran que todas las características estén completas.
  • Conserva los bytes originales y un checksum. Una copia local sigue siendo inspeccionable de forma independiente de la disponibilidad del enlace de almacenamiento remoto.

Introducción: Guarda una página detrás del resultado procesado

Los datos de búsqueda estructurados son prácticos para el análisis, pero un campo JSON por sí solo no puede mostrar todo sobre la página de la que se extrajeron. Un documento HTML almacenado te ofrece otra superficie de inspección cuando un resultado necesita explicación.

Scrapeless Google Search API puede devolver metadata.rawUrl junto con los resultados estructurados. Este tutorial de Google SERP API raw HTML recupera ese documento y comprueba qué se descargó. El objetivo es un artefacto local auditable, no la afirmación de que el marcado guardado reproduce cada interacción de una página de navegador en vivo.

La respuesta de inicio rápido de Google Search muestra el campo bajo metadata. El modelo de solicitud de actor más amplio proporciona primero los datos de búsqueda; la descarga de HTML viene después.

Qué representa rawUrl

El valor rawUrl es una URL de un documento de página almacenado asociado con la respuesta. No es la URL de destino final de un resultado de búsqueda orgánico.

Mantén tres direcciones conceptualmente separadas: el endpoint de la API que aceptó la búsqueda, la dirección del HTML de SERP almacenado y un enlace de resultado que puede llevar a la página de un editor. Descargar el documento de SERP no recupera cada artículo, producto o página de negocios enlazados.

No construyas una ruta de almacenamiento a partir de la consulta o de un ID de tarea. Lee la URL exacta de la respuesta completada. La ubicación de almacenamiento es un valor de salida, y una dirección copiada de un ejemplo de documentación no es evidencia para tu propia solicitud.

Una rawUrl ausente debe convertirse en un estado explícito de “HTML no disponible” en tu flujo de trabajo. No debe sustituirse por una URL de búsqueda de Google recién construida, porque eso iniciaría una observación diferente.

Recupera el JSON antes de descargar el HTML

La tarea de búsqueda debe estar completa antes de que el programa que obtiene el HTML lea sus metadatos. Si la búsqueda devuelve HTTP 201, usa el flujo de resultados de tarea para obtener primero el objeto completado.

El script siguiente espera ese objeto guardado como serp.json. Sus otros prerrequisitos son Python y Requests, instalados con python -m pip install requests. Guárdalo como fetch_serp_html.py y ejecuta python fetch_serp_html.py junto al archivo de respuesta guardada.

La URL de almacenamiento observada usa HTTPS en api.scrapeless.com bajo /storage/. El programa limita las descargas a ese host y forma de ruta observados, no sigue redirecciones y no envía ningún encabezado de clave de API al almacenamiento. Un cambio futuro en el host de almacenamiento debería activar una revisión de la regla en lugar de una descarga sin restricciones.

Las comprobaciones de URL deben examinar componentes en lugar de subcadenas. La especificación de sintaxis de URI define el esquema, la autoridad, la ruta y otros componentes usados por esa comprobación.

python Copy
import hashlib
import json
from html.parser import HTMLParser
from pathlib import Path
from urllib.parse import urlsplit

import requests


class DocumentShape(HTMLParser):
    def __init__(self):
        super().__init__()
        self.opened = set()
        self.closed = set()
    def handle_starttag(self, tag, attrs):
        self.opened.add(tag)
    def handle_endtag(self, tag):
        self.closed.add(tag)


data = json.loads(Path("serp.json").read_text(encoding="utf-8"))
metadata = data.get("metadata")
raw_url = metadata.get("rawUrl") if isinstance(metadata, dict) else None
if not isinstance(raw_url, str) or not raw_url:
    raise ValueError("metadata.rawUrl is absent")
parts = urlsplit(raw_url)
if (parts.scheme != "https" or parts.hostname != "api.scrapeless.com"
        or parts.port not in (None, 443) or parts.username or parts.password
        or not parts.path.startswith("/storage/")):
    raise ValueError("Storage URL needs review before downloading")

# The storage fetch uses no API-key header and follows no redirects.
with requests.get(raw_url, timeout=(10, 60), stream=True, allow_redirects=False) as response:
    response.raise_for_status()
    if response.status_code != 200:
        raise ValueError(f"Unexpected storage status: {response.status_code}")
    media_type = response.headers.get("Content-Type", "").split(";")[0].lower()
    if media_type not in ("text/html", "application/xhtml+xml"):
        raise ValueError(f"Unexpected media type: {media_type}")
    chunks = []
    size = 0
    for chunk in response.iter_content(65536):
        size += len(chunk)
        if size > 10 * 1024 * 1024:
            raise ValueError("HTML exceeds this example's local size limit")
        chunks.append(chunk)
    html_bytes = b"".join(chunks)

if not html_bytes:
    raise ValueError("Empty HTML body")
Path("serp.html").write_bytes(html_bytes)
shape = DocumentShape()
shape.feed(html_bytes.decode("utf-8", errors="replace"))
report = {
    "bytes": len(html_bytes),
    "sha256": hashlib.sha256(html_bytes).hexdigest(),
    "has_html": "html" in shape.opened,
    "has_body": "body" in shape.opened,
    "has_closing_html": "html" in shape.closed,
    "source_url": raw_url,
}
Path("serp-html-check.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps({key: value for key, value in report.items() if key != "source_url"}))

El límite local de diez mebibytes es un ejemplo de salvaguarda del cliente, no el tamaño máximo de HTML de la API. Un documento más grande es un motivo para revisar la carga de trabajo esperada y ajustar la política local de forma deliberada. El programa escribe los bytes solo después de una descarga acotada y satisfactoria.

Comienza a hacer scraping con Scrapeless

Potencia tu flujo de trabajo de web scraping y automatización con Scrapeless.
Regístrate hoy y obtén 5 USD de crédito gratis — sin necesidad de tarjeta de crédito.

Reclama tu crédito gratuito ahora en el Scrapeless Dashboard.

Comprueba la descarga en varios niveles

Una comprobación de HTML útil registra el éxito del transporte, el tipo de documento, el tamaño de la carga útil, la estructura y la correspondencia con la búsqueda original. Ninguna comprobación por sí sola demuestra todos ellos.
La respuesta base coffee utilizada para este tutorial dio lugar a una segunda solicitud con HTTP 200 y Content-Type: text/html. La descarga contenía 1,938,204 bytes e incluía elementos de apertura html y body más un elemento de cierre html. Estas son observaciones de un documento almacenado, no requisitos de tamaño mínimo para respuestas posteriores.

Check Qué establece Qué no establece
Estado HTTP La solicitud de almacenamiento se completó según lo esperado El documento contiene los resultados previstos
Tipo de medio El servidor identificó la representación como HTML Cada función de búsqueda está presente
Bytes no vacíos Se descargó un cuerpo El cuerpo es la página correcta
Elementos del documento Existe una estructura básica de marcado Integridad semántica o fidelidad de renderizado
Suma de verificación Los bytes posteriores pueden compararse con la copia guardada Autenticidad de cada afirmación en la página
Inspección de consulta y resultado El documento corresponde a detalles seleccionados de la respuesta Integridad de todos los posibles módulos de búsqueda

El significado de los encabezados de respuesta y de las representaciones de contenido está definido por Semántica de representación HTTP. Trate una comprobación de tipo de contenido como una señal, no como un sustituto de leer el documento.

La interfaz HTMLParser de Python reconoce eventos de marcado. No es un renderizador de navegador ni un validador de conformidad completo. Por lo tanto, los campos de estructura booleana en el informe siguen siendo comprobaciones modestas.

Inspeccionar si el HTML coincide con la búsqueda

Las comprobaciones de correspondencia deben comparar el documento almacenado con la solicitud y los registros devueltos seleccionados. Comience con la consulta mostrada en la página y una pequeña muestra de títulos o enlaces que estén presentes en el JSON.

El texto puede estar codificado como entidad, dividido entre elementos o representado de forma diferente en datos incrustados. Un fallo de subcadena en bruto es un motivo para inspeccionar el documento, no una prueba inmediata de que un resultado esté ausente. Si renderiza el archivo localmente, es posible que los recursos externos y scripts no estén disponibles o que soliciten recursos actuales, por lo que el renderizado puede diferir de la recuperación original.

Use el documento guardado para responder a una pregunta específica. Por ejemplo, determine si un título aparece en el marcado, si está presente una forma de enlace inesperada o si el documento es realmente una página de búsqueda. Evite convertir estas observaciones en una afirmación de que se capturó toda expansión dinámica o módulo oculto.

Solucionar problemas de HTML faltante o inutilizable

Un problema de HTML debe clasificarse en el paso en que ocurre. Conserve el JSON de búsqueda completada incluso cuando falle la obtención de almacenamiento.

Síntoma Comprobación
Falta metadata Confirme que guardó el objeto de búsqueda completada
rawUrl falta o está vacío Registre el HTML como no disponible para esa respuesta
URL rechazada por el script Compare el origen de almacenamiento real con el origen aprobado
Respuesta de almacenamiento no 200 Conserve el estado y el contexto de la solicitud; no lo etiquete como documento
Tipo de medio inesperado Inspeccione la respuesta antes de tratarla como HTML
Límite de tamaño alcanzado Revise el límite local y el tamaño de documento esperado
Fallan las comprobaciones de estructura Inspeccione los bytes; el análisis válido por sí solo es insuficiente
Incongruencia entre consulta o resultado Compare el JSON y el HTML guardados de la misma solicitud

No suponga un período de retención permanente para una dirección de almacenamiento remoto. Descargue el documento mientras esté disponible si su proceso necesita un archivo. Almacene juntos el JSON, el HTML, la suma de verificación y el contexto de recopilación para que otro ingeniero pueda entender la relación.

Conclusión: conserve lo que realmente se descargó

El flujo de trabajo de HTML sin procesar tiene dos operaciones distintas: recuperar el JSON de búsqueda completada y luego descargar su URL HTML almacenada. Guarde el documento y registre comprobaciones que indiquen con precisión lo que se observó.

Utilice los parámetros de la API de Búsqueda de Google para controlar la consulta original, y consulte los precios actuales al planificar la carga de trabajo de búsqueda. Mantenga la disponibilidad de HTML separada de la disponibilidad de resultados orgánicos en sus propios informes.

Cree su flujo de trabajo de datos de búsqueda

Únase a los desarrolladores que trabajan con datos de búsqueda en nuestra comunidad: Discord · Telegram.

Cree una cuenta de Scrapeless y aplique este tutorial a un pequeño conjunto de consultas antes de programar una recopilación mayor.

Preguntas frecuentes

P: ¿rawUrl contiene el texto HTML?
No. Contiene una URL. Una segunda solicitud HTTP descarga el documento.

P: ¿Es rawUrl el destino final de un resultado orgánico?

No. Apunta al documento SERP almacenado asociado con la respuesta, no a cada sitio web listado en ese SERP.

P: ¿Una etiqueta html de cierre demuestra que todo el SERP está completo?

No. Es una señal estructural. La correspondencia de contenido y la integridad de las funciones dinámicas requieren una inspección adicional.

P: ¿La solicitud de almacenamiento debe incluir la clave de API?

La descarga de almacenamiento observada se realizó correctamente sin el encabezado de autenticación. Este ejemplo mantiene la clave confinada a la solicitud de API y no la reenvía al almacenamiento ni a los sitios web de resultados.

P: ¿Un enlace HTML almacenado es un archivo permanente?

No asuma una garantía de retención que no haya sido establecida. Mantenga una copia local y una suma de verificación cuando se necesite el documento más adelante.

P: ¿El HTML guardado puede sustituir la verificación de la página de destino?

No. El HTML del SERP registra la página de búsqueda. La verificación del contenido de una página enlazada es una tarea separada.

En Scrapeless, solo accedemos a datos disponibles públicamente y cumplimos estrictamente con las leyes, regulaciones y políticas de privacidad del sitio web aplicables. El contenido de este blog es sólo para fines de demostración y no implica ninguna actividad ilegal o infractora. No ofrecemos garantías y renunciamos a toda responsabilidad por el uso de la información de este blog o enlaces de terceros. Antes de realizar cualquier actividad de scraping, consulte a su asesor legal y revise los términos de servicio del sitio web de destino u obtenga los permisos necesarios.

Artículos más populares

Catalogar