¿Qué es llms.txt?

Scrapeless Agent Browser proporciona un navegador en la nube para automatización web y agentes de IA.

llms.txt es un archivo Markdown propuesto que ofrece a los agentes de IA una introducción concisa a un sitio web y enlaces a recursos útiles. Un editor puede usar el archivo para identificar documentación, explicar contexto importante y dirigir a los clientes hacia representaciones más limpias de las páginas.

El archivo es una ayuda de descubrimiento. Publicarlo no otorga acceso a contenido protegido, no obliga a un rastreador a seguir sus enlaces ni garantiza que un motor de respuestas citará el sitio. Su valor práctico depende de contenido exacto y de un cliente que decida utilizarlo.

Lo que la propuesta realmente define

La propuesta de llms.txt describe un documento Markdown conciso que contiene contexto del sitio web, orientación y enlaces a recursos. La propuesta actual de llms.txt también analiza representaciones de páginas limpias en Markdown y enlaces de descubrimiento. Estas son convenciones propuestas, más que un sistema de control de acceso implementado por el propio archivo.

Un sitio puede colocar un índice en la raíz o bajo una ruta relevante. Un índice específico de documentación puede, por tanto, describir el área de documentación sin pretender resumir toda la empresa. El alcance debe quedar claro para el lector: la documentación de producto, una base de conocimientos y un sitio web de marketing contienen diferentes tipos de información y necesitan criterios de selección distintos.

Mantén un índice lo bastante pequeño como para ayudar a un cliente a elegir. Copiar cada página en un único archivo no estructurado hace perder el trabajo editorial que el formato pretende aportar. Una breve explicación de qué recurso responde a qué pregunta suele ser más útil que una larga lista de enlaces casi idénticos.

Cómo puede usar el archivo un agente

Un agente puede usar llms.txt para descubrir recursos relevantes antes de abrir páginas individuales. El archivo proporciona candidatos; el agente aún debe decidir qué páginas responden a la pregunta del usuario y verificar el contenido que recupera.

Por ejemplo, un agente que investiga autenticación podría encontrar en el índice una descripción general, una página de gestión de claves y un ejemplo de solicitud. Debería abrir el material de autenticación y comprobar los encabezados requeridos, los endpoints actuales y el alcance de la cuenta. Leer una etiqueta de índice que dice “Autenticación” no equivale a validar una solicitud autenticada.

Un cliente también puede ignorar el archivo o usar otro mecanismo de descubrimiento. Evita diseñar un sistema de documentación que se vuelva inutilizable sin llms.txt. La navegación humana, las páginas canónicas estables y los hipervínculos ordinarios siguen siendo útiles para personas, rastreadores y agentes que no implementan la propuesta.

llms.txt, robots.txt y Sitemaps

llms.txt ofrece contexto y selección de recursos, robots.txt expresa reglas para rastreadores y un sitemap enumera URLs para descubrimiento. Sus responsabilidades se superponen en torno a la navegación pero difieren en su significado.

El Robots Exclusion Protocol separa explícitamente las reglas para robots de la autorización. El mismo límite práctico importa para llms.txt: nunca se debe tratar un archivo de texto de lectura pública como permiso para entrar en un área restringida o divulgar información privada.

Estos recursos pueden coexistir. Un sitemap puede cubrir un amplio inventario de URLs, mientras que llms.txt selecciona las páginas más útiles para una audiencia concreta. El sitio debería mantener ambos a partir de los mismos registros de contenido subyacente siempre que sea posible, de modo que las páginas renombradas no dejen rutas de descubrimiento contradictorias.

Qué poner en un índice útil

Un índice llms.txt útil explica el propósito del sitio y dirige a los lectores a páginas autorizadas con suficiente contexto para elegir entre ellas. Escribe las descripciones para alguien que no ha visto la navegación y que puede recuperar solo un recurso.

Comienza con el nombre del sitio web o la documentación y un resumen compacto. Organiza los enlaces por tareas reales: primeros pasos, autenticación, material de referencia y limitaciones. Agrega una breve descripción cuando dos destinos tengan títulos similares. “Introducción” por sí sola es ambigua en un sitio con varios productos.

Prefiere los destinos canónicos. Si una ruta de documentación heredada redirige a una vista general genérica, sustitúyela por la página de tarea actual correcta. Un estado limpio no es suficiente para establecer que el destino es útil. Revisa el encabezado y el contenido relevante después de las redirecciones, especialmente después de una migración de documentación.

Mantén las credenciales e instrucciones internas fuera de los archivos públicos. Un ejemplo de API puede explicar cómo funciona la autenticación sin exponer una clave real. Evita publicar ejemplos privados de clientes simplemente porque son un contexto útil para un agente. La selección de documentación pública debe seguir los mismos límites de contenido que el sitio web.

Las copias en Markdown deben preservar el significado

Una representación en Markdown debe preservar el significado técnico de la página correspondiente. Eliminar la navegación puede reducir el desorden, pero perder prerrequisitos, textos de advertencia, encabezados de tablas o anotaciones de código puede cambiar lo que un cliente cree que la documentación permite.

Revisa las conversiones que contienen tablas. Un valor de parámetro separado de su encabezado de columna puede parecer un valor predeterminado cuando en realidad era un ejemplo. Los ejemplos de código deben conservar el contexto del lenguaje y los marcadores de posición claros. Si la página original describe diferentes versiones, la representación en Markdown debe mantener visibles esos límites.

Mantén una identidad canónica coherente entre representaciones. La representación HTTP y el modelo de negociación de contenido ayudan a explicar por qué un recurso puede tener diferentes representaciones. Una representación más limpia aún debe describir el recurso previsto, en lugar de una página no relacionada que simplemente sea más fácil de analizar.

Mantenimiento y verificaciones de aceptación

Mantener llms.txt significa comprobar su utilidad después de los cambios de contenido, no solo comprobar que el archivo existe. Asigna la propiedad al equipo responsable de la documentación subyacente e incluye el índice en las revisiones de lanzamiento cuando las páginas se muevan o cambien las interfaces.

1. Confirma que el índice sea legible en la ruta prevista y que su respuesta contenga texto en lugar de una página de error de aplicación.
2. Abre cada destino enlazado y confirma su URL final, encabezado y tema.
3. Compara una muestra de instrucciones técnicas con la documentación para humanos.
4. Comprueba que los recursos obsoletos estén identificados o eliminados y que las nuevas páginas canónicas sean detectables.
5. Prueba una pregunta de investigación acotada e inspecciona si el material recuperado respalda la respuesta resultante.

Mide los resultados por separado. Los registros del servidor pueden mostrar solicitudes al archivo, pero una solicitud no demuestra que el cliente lo haya usado en una respuesta. El tráfico de referencia no demuestra que el archivo haya causado la visita. Mantén las observaciones precisas: descubrimiento, recuperación, apoyo a la respuesta y cita son eventos diferentes.

Reconocer la estructura de archivo propuesta

La estructura propuesta comienza con un H1 que nombra el sitio o proyecto. Puede incluir un breve resumen en cita, texto explicativo y secciones H2 que contengan listas de enlaces de recursos con descripciones opcionales. Una sección Optional es una convención para material secundario que un cliente puede omitir cuando necesita menos contexto.

Elige nombres de secciones que expliquen los recursos en lugar de reproducir un organigrama interno. Una persona que pregunte sobre autenticación debería poder distinguir una visión conceptual general de la referencia para encabezados de solicitud. Los marcadores estructurales hacen que el índice sea más fácil de procesar; las etiquetas útiles y los destinos mantenidos hacen que valga la pena leerlo.

Usar la recuperación con navegador junto con contexto curado

La recuperación con navegador sigue siendo útil cuando un índice de documentación no contiene la respuesta o cuando la tarea requiere el estado renderizado de la página. Scrapeless Agent Browser puede aportar la parte de navegador de ese flujo de trabajo; no determina si un agente de terceros respeta llms.txt.

La documentación de Agent Browser proporciona el contexto del producto. La ingeniería de contexto web para agentes de IA aborda la tarea más amplia de seleccionar evidencia web útil. Revisa Scrapeless pricing en función de la carga de trabajo del navegador en lugar de tratar un formato de índice como una razón para agregar infraestructura.

Conclusión

llms.txt es útil cuando ayuda a un agente a encontrar documentación actual y relevante con menos ambigüedad. Mantén el archivo curado, preserva el significado en las representaciones alternativas y valida sus destinos después de los cambios. Evalúa directamente la recuperación y la calidad de las respuestas; la presencia de un archivo de texto por sí sola no establece ninguna de las dos.