Cómo construir un pipeline RAG agentivo con datos web en vivo

TL;DR:

• Agentic RAG permite que un agente decida cuándo y cómo recuperar evidencia. El bucle de recuperación puede reformular una consulta, inspeccionar otra fuente, calificar evidencia y detenerse bajo límites explícitos.
• Los datos web en vivo necesitan una capa de adquisición separada. La búsqueda encuentra fuentes candidatas, el renderizado del navegador expone páginas del lado del cliente, y la normalización convierte el contenido de la página en documentos trazables.
• El Servidor MCP Scrapeless proporciona a un cliente MCP una superficie de herramientas para búsqueda, extracción de páginas y acciones de navegador en la nube. El agente puede seleccionar esas herramientas de la tarea en lugar de codificar una ruta de recuperación fija.
• La evaluación pertenece a cada límite. Mide la relevancia de la fuente, la completitud de la extracción, el apoyo de citas, la calidad de la respuesta, la latencia y el costo de manera independiente.

Arquitectura Agentic RAG a Primera Vista

Una tubería RAG agentic coloca decisiones de recuperación dentro de un bucle de agente en lugar de ejecutar una secuencia fija de recuperar-luego-generar.

La arquitectura de generación aumentada por recuperación combina un generador con memoria externa recuperada. Agentic RAG añade planificación y uso de herramientas alrededor de esa base:

Pregunta → Plan → Buscar → Renderizar o recuperar → Normalizar → Calificar → Almacenar o responder → Citar

Cada flecha es un contrato. La búsqueda devuelve candidatos, no verdad. El renderizado devuelve el estado de la página, no un registro limpio. Un almacenamiento vectorial devuelve fragmentos similares, no necesariamente evidencia suficiente. El agente debe avanzar solo cuando el artefacto actual supere las verificaciones de la siguiente etapa.

Cuándo Agentic RAG Supera una Tubería Fija

Agentic RAG es útil cuando las necesidades de recuperación difieren de pregunta a pregunta.

Una tubería fija suele ser más sencilla para un corpus conocido con fragmentación estable y una estrategia de recuperación. El control agentic justifica su costo cuando una pregunta puede requerir varias búsquedas, comparación de fuentes, una página renderizada por JavaScript, una verificación de frescura o un segundo pase después de evidencia débil.

El patrón de investigación ReAct entrelaza trazas de razonamiento con acciones y observaciones. En un sistema de recuperación, ese patrón se convierte en un bucle acotado: decidir sobre una herramienta, inspeccionar su salida, actualizar el estado de la evidencia y continuar o detenerse.

No añadas un agente solo para renombrar una secuencia determinista. Si cada solicitud utiliza la misma consulta, recuperador, cantidad de fragmentos y aviso de respuesta, una tubería RAG ordinaria es más fácil de probar y operar.

Prerrequisitos

Una construcción RAG agentic necesita una capa de herramienta de recuperación funcional antes de necesitar un bucle de modelo.

• Node.js y un proyecto que pueda ejecutar módulos ECMAScript.
• @modelcontextprotocol/sdk y scrapeless-mcp-server instalados en el proyecto.
• Una cuenta de Scrapeless y la variable de entorno SCRAPELESS_KEY.
• Una clave de proveedor de modelo para el bucle final de planificación y generación de respuestas.
• Un almacén de documentos que preserve la URL canónica, el título, el tiempo de recuperación, el hash de contenido y los desplazamientos de fragmentos.

Nota: El apretón de manos del cliente MCP a continuación requiere SCRAPELESS_KEY. La instalación del paquete se ejecutó, mientras que el apretón de manos autenticado y la llamada a la herramienta en vivo siguen siendo un requisito cuando esa clave de producto no está presente en el tiempo de ejecución.

Conectar el Servidor MCP Scrapeless

El Servidor MCP Scrapeless se conecta a cualquier cliente MCP compatible con estándares a través de un proceso local de stdio o el punto final HTTP transmisible alojado.

Instala el SDK del cliente exacto y el paquete del servidor:

pnpm add @modelcontextprotocol/sdk scrapeless-mcp-server

Crea un cliente, conéctate a través de stdio, inspecciona la superficie de la herramienta y cierra el transporte de manera limpia:

import { Client } from "@modelcontextprotocol/sdk/client/index.js";
import { StdioClientTransport } from "@modelcontextprotocol/sdk/client/stdio.js";

const transport = new StdioClientTransport({
  command: "pnpm",
  args: ["exec", "scrapeless-mcp-server"],
  env: {
    ...process.env,
    SCRAPELESS_KEY: process.env.SCRAPELESS_KEY,
  },
});

const client = new Client(
  { name: "agentic-rag-client", version: "1.0.0" },
  { capabilities: {} },
);

await client.connect(transport);
const { tools } = await client.listTools();
console.log(tools.map((tool) => tool.name));

// Attach `tools` to the tool adapter used by your agent framework.

await client.close();

La especificación del ciclo de vida de MCP define la inicialización y la negociación de capacidades antes de las operaciones normales. Listar herramientas es, por lo tanto, la prueba de humo correcta: prueba que el cliente y el servidor completaron el apretón de manos del protocolo antes de que un agente dependa de ellos.

El artículo de lanzamiento de Scrapeless MCP cubre el papel del servidor, mientras que la integración de Mastra muestra la misma superficie de herramienta adjunta a un marco de agente específico.

Cómo Usar Esto Realmente: Indicar al Agente de Recuperación

El agente debe recibir un objetivo, un contrato de evidencia y una regla de detención.

Un aviso útil es concreto:

Encuentra fuentes primarias actuales que respondan a la pregunta. Busca primero, renderiza una página solo cuando el contenido requerido esté ausente de la respuesta recuperada, conserva la URL canónica para cada reclamo, rechaza fuentes que no apoyen directamente la respuesta y detente después de que la evidencia sea suficiente o el presupuesto de recuperación se agote.
La instrucción separa el descubrimiento de fuentes de la aceptación de evidencia. También previene un bucle de navegación sin fin.

Avisos que puedes adaptar

Comienza a extraer datos con Scrapeless

Potencia tu raspado web y flujo de trabajo de automatización con Scrapeless!
Regístrate hoy y obtén $5 de crédito gratis — sin necesidad de tarjeta de crédito.

Reclama tu crédito gratis ahora en el Tablero de Scrapeless.

Buscar y Renderizar Fuentes Frescas

La recuperación web en vivo debe escalar desde la fuente confiable menos costosa hasta la más rica.

Comienza con la búsqueda para recopilar URLs candidatas y fragmentos. Recupera contenido de página limpio cuando el HTML de respuesta contenga la respuesta. Usa renderizado en el navegador solo cuando la ejecución del lado del cliente controle el estado relevante de la página. Esto mantiene la capa de adquisición rápida sin pretender que cada página sea estática.

Registra un sobre de recuperación por cada documento aceptado:

{
  "canonicalUrl": "https://example.com/primary-source",
  "title": "Primary source title",
  "retrievedAt": "illustrative timestamp",
  "contentHash": "illustrative hash",
  "retrievalMethod": "search_then_render",
  "text": "Illustrative normalized page text"
}

Los valores anteriores son una muestra ilustrativa; los campos son el contrato. Conservar la URL original incluso cuando el texto normalizado se traslade a otro almacén.

Normalizar, Trocear y Almacenar

La normalización convierte el contenido de la página en documentos estables sin borrar la procedencia.

Elimina la duplicación de navegación, la interfaz de usuario invisible y el material irrelevante. Mantén encabezados, listas, tablas y límites de código porque llevan significado. Desduplicar por URL canónica y hash de contenido antes de trocear.

Trocear primero en la estructura del documento, luego hacer cumplir las restricciones de contexto del modelo. Cada trozo debe retener el identificador del documento, la URL canónica, la ruta del encabezado, los offsets de caracteres y el tiempo de recuperación. La investigación de Self-RAG demuestra por qué las señales de recuperación y crítica pertenecen al proceso de generación en lugar de ser tratadas como un paso de preprocesamiento invisible.

Almacena documentos normalizados sin procesar por separado de las incrustaciones. Esa separación permite al equipo cambiar el modelo de incrustación o la política de troceo sin volver a recuperar cada fuente.

Recuperar, Calificar y Responder

El paso de calificación decide si la evidencia recuperada puede apoyar la respuesta solicitada.

Califica cada candidato en base a su directividad, autoridad de la fuente, frescura, acuerdo con otra evidencia y completitud de extracción. Una alta puntuación de similaridad vectorial no prueba que el texto responda a la pregunta.

El nodo de respuesta debe recibir solo evidencia aceptada, con identificadores de fuente adjuntos a cada pasaje. Si la evidencia es insuficiente, el agente reformula la consulta o selecciona otra herramienta de adquisición. Si se agota el presupuesto de recuperación, devuelve un resultado limitado de "evidencia insuficiente" en lugar de llenar el vacío desde la memoria del modelo no soportada.

Diseño de un Solo Agente vs Multi-Agente

Un solo agente de recuperación es el predeterminado porque una máquina de estados es más fácil de rastrear.

Divide el flujo de trabajo solo cuando los roles tengan herramientas, políticas o criterios de evaluación genuinamente diferentes. Un agente puede encargarse de la adquisición de fuentes, otro de la calificación de la evidencia, y un agente final de la síntesis de respuestas. Un diseño multi-agente añade estado de coordinación, contexto duplicado y más límites de fallo, por lo que cada traspaso necesita un esquema explícito.

Usa Agente de IA Scrapeless como la superficie del producto cuando el flujo de trabajo necesita un agente que pueda operar herramientas web. Usa el punto final MCP alojado cuando un marco de agente existente ya tiene la planificación y solo necesita capacidades web en vivo.

Evaluación y Observabilidad

La evaluación de RAG agentiva debería aislar la calidad de adquisición, recuperación y respuesta.

Rastrea si la búsqueda encontró la fuente primaria esperada, si el renderizado expuso el contenido necesario, si la normalización preservó el pasaje de apoyo, si la calificación aceptó la evidencia correcta y si la afirmación final está respaldada por esa evidencia.

También registra la elección de herramientas, reformulaciones de consultas, URLs de fuentes, hashes de documentos, identificadores de trozos, razón de detención, tiempo transcurrido y costo. Este rastro hace que una respuesta débil sea diagnosable. Sin él, cada problema parece un problema del modelo.
Revisar precios de Scrapeless en relación con la mezcla esperada de búsqueda, obtención y renderizado, y mantener la configuración del cliente MCP alineada con la actual documentación de Scrapeless.

Conclusión: Hacer de la Evidencia un Artefacto de Primera Clase

Un pipeline RAG agentic es útil cuando la recuperación debe adaptarse, pero el bucle del agente no elimina la necesidad de contratos.

La búsqueda, el renderizado, la normalización, la calificación y la generación deberían producir artefactos inspeccionables. Conéctese primero a la capa de herramientas MCP, verifique el apretón de manos y luego agregue el bucle del modelo con un presupuesto de recuperación y una regla de detención basada en evidencia.

¿Listo para construir un pipeline RAG agentic?

Únase a nuestra comunidad para reclamar un plan gratuito y conectarse con desarrolladores que construyen sistemas de recuperación de la web en vivo: Discord · Telegram.

Regístrese en app.scrapeless.com y conecte la capa de herramientas MCP de Scrapeless antes de agregar el bucle de planificación impulsado por el modelo.

FAQ

P: ¿Qué es RAG agentic?

RAG agentic es un diseño de generación aumentada por recuperación en el que un agente elige acciones de recuperación, evalúa evidencia y decide si continuar o responder. El bucle opera bajo límites explícitos de herramientas, tiempo y costo.

P: ¿Cómo se diferencia RAG agentic de RAG estándar?

RAG estándar suele ejecutar un paso fijo de recuperación antes de la generación, mientras que RAG agentic puede reformular consultas, seleccionar diferentes herramientas, calificar resultados y realizar otro paso de recuperación limitado.

P: ¿RAG agentic requiere una base de datos vectorial?

RAG agentic no requiere una base de datos vectorial. El agente puede utilizar búsqueda por palabras clave, bases de datos estructuradas, herramientas de web en vivo o un recuperador híbrido siempre que el contrato de evidencia sea explícito.

P: ¿Por qué utilizar datos de la web en vivo en un pipeline RAG?

Los datos de la web en vivo son útiles cuando la respuesta depende de información que cambia después del corte de entrenamiento del modelo o fuera de un corpus interno estático. El pipeline debe preservar las URLs de origen y los metadatos de recuperación para que la frescura sea auditada.

P: ¿Qué añade MCP a un sistema RAG agentic?

MCP le da al cliente un ciclo de vida estándar para descubrir y llamar a las herramientas del servidor. Scrapeless MCP Server expone búsqueda, extracción de páginas y acciones del navegador a través de ese límite de herramientas.

P: ¿Debería un agente renderizar cada fuente en un navegador?

No. El agente debería renderizar una fuente solo cuando el contenido de la respuesta no exponga la información requerida o si es necesaria una interacción. La recuperación priorizando HTTP mantiene el pipeline más rápido y fácil de operar.

P: ¿Cómo se previenen los bucles de recuperación infinitos?

Establezca límites en las llamadas a herramientas, el tiempo transcurrido, las fuentes aceptadas, las reformulaciones de consultas y el costo total. La política de detención debería permitir un resultado de “evidencia insuficiente”.

P: ¿Es un diseño de múltiples agentes mejor para RAG agentic?

Un diseño de múltiples agentes es mejor solo cuando diferentes roles necesitan herramientas, políticas o criterios de evaluación distintos. Comience con un agente y divida roles después de que las huellas muestren un límite claro.