A Web Está Recebendo uma Camada de Acesso: llms.txt, Agentes Assinados e Pagamento Por Crawl

A web passou trinta anos funcionando em um único arquivo de sistema de honra. O robots.txt pede educadamente, não identifica ninguém e não impõe nada — e, por grande parte desse tempo, foi o suficiente, porque a coisa que lia suas páginas era um mecanismo de busca que enviava tráfego de volta.

Essa troca quebrou, e quatro esforços separados estão agora tentando substituí-la. Eles não são versões concorrentes da mesma ideia. Eles respondem a três perguntas diferentes — o que ler, quem está perguntando e quanto custa — e apenas um deles é um padrão concluído.

A Camada Que Realmente Falta É A Identidade

Comece com o que o robots.txt pode e não pode fazer. O padrão do Protocolo de Exclusão de Robôs dá aos editores uma maneira de expressar preferências por string de agente do usuário. A fraqueza está na última frase: uma string de agente do usuário é uma alegação, não uma credencial. Qualquer um pode enviar qualquer string, e listas de permissão de IP envelhecem mal à medida que a infraestrutura muda.

Assim, um editor que deseja tratar dois rastreadores de forma diferente não tem uma maneira confiável de distingui-los. Cada proposta abaixo está na sequência desse intervalo. A mecânica prática do próprio arquivo — sintaxe, diretivas e como os coletores devem lê-lo — são abordadas no guia de robots.txt para web scraping.

O llms.txt Responde "O Que Devo Ler?"

A proposta llms.txt coloca um arquivo Markdown em /llms.txt contendo um resumo curado e links para versões em texto limpo das páginas importantes de um site. A proposta llms.txt foi publicada por Jeremy Howard em setembro de 2024, e o problema declarado é as janelas de contexto: modelos não podem ingerir um site inteiro, e converter HTML em texto utilizável é com perda.

Vale a pena ser preciso sobre seu status, pois muitas vezes é descrito como um padrão. O próprio site o chama de "uma proposta para padronizar". Não há RFC, não há grupo de trabalho e não há requisito de que alguém a honre.

O que ele é genuinamente bom é curadoria. Um editor que escreve um diz aqui está a boa versão do meu conteúdo, o que ajuda um leitor bem-comportado e não custa nada a um mal-comportado. Ele expressa preferência, não permissão — a mesma limitação que o robots.txt possui.

Web Bot Auth Responde "Quem Está Perguntando?"

Esta é a parte que realmente aborda a lacuna de identidade. A abordagem: cada solicitação de um cliente automatizado carrega uma assinatura criptográfica feita com uma chave privada pertencente ao seu operador, para que o servidor de origem possa verificar quem está chamando em vez de confiar em um cabeçalho.

A especificação atual é o rascunho de assinaturas de mensagens HTTP do Web Bot Auth, um rascunho individual de Internet ativo construído sobre Assinaturas de Mensagens HTTP. Sua própria estrutura é que a lista de permissões IP e strings de User-Agent não são identificações adequadas.

Duas ressalvas são importantes. É uma submissão individual e não o resultado de um grupo de trabalho, e um rascunho de arquitetura anterior dos mesmos autores já expirou e foi substituído — normal para trabalhos de padrões, mas um sinal de que isso é prematuro. E assinar prova quem você é, não que você é permitido. Isso dá aos editores algo para tomar decisões; não faz a decisão.

Pay-Per-Crawl e RSL Respondem "Quanto Custa?"

Dois esforços abordam compensação, de direções opostas.

O pay-per-crawl da Cloudflare usa o HTTP 402, o código de status reservado para pagamento na especificação semântica do HTTP e deixado sem uso por décadas. Os editores definem um preço por solicitação e marcam cada rastreador como permitido, cobrado ou bloqueado; os rastreadores sinalizam intenção através de cabeçalhos de preço e são identificados por assinaturas de Web Bot Auth. Foi anunciado em julho de 2025 e permanece em beta privada — um experimento ao vivo, não uma infraestrutura que você pode construir.

A RSL toma a rota de licenciamento. O padrão Really Simple Licensing define termos de licenciamento legíveis por máquina — atribuição, pagamento por crawl, pagamento por inferência — como XML que pode ser referenciado a partir de robots.txt, HTML, cabeçalhos HTTP, feeds RSS ou arquivos de mídia. O RSL 1.0 foi lançado em 2025 com apoio da Akamai, Cloudflare, Creative Commons, Fastly, Reddit, O'Reilly Media, Vox Media, Yahoo e Ziff Davis.

Dos quatro, a RSL é a mais avançada como uma especificação publicada com adoção nomeada da indústria. Isso não a torna estabelecida — uma gramática de licenciamento ainda precisa de alguém disposto a aplicá-la, e a aplicação te leva de volta à identidade.

A Pilha Que Eles Implicam

Lidos juntos, essas são camadas em vez de alternativas:

• Preferência — robots.txt e llms.txt dizem o que um editor gostaria.
• Identidade — Web Bot Auth diz quem está perguntando, criptograficamente.
• Termos — RSL diz para o que o conteúdo pode ser usado e a que preço.
• Liquidação — fluxos de 402 estilo pay-per-crawl dizem como o dinheiro realmente se move.

A ordem importa. Termos sem identidade são inexequíveis, e liquidação sem termos é um posto de pedágio sem tarifa anunciada. Identidade é a camada suportante, e é a menos finalizada.

Onde Isso Provavelmente Não Funciona

A objeção óbvia a tudo isso: nada aqui obriga alguém que escolhe não participar. Um cliente que ignora llms.txt, não envia assinatura e nunca lê um arquivo RSL está exatamente na posição em que os clientes sempre estiveram. Esses mecanismos funcionam em operadores que querem ser identificáveis — que são a maioria dos grandes e responsáveis, e nenhum dos demais.

O segundo problema é a consolidação. A identidade baseada em assinatura favorece operadores grandes o suficiente para administrar infraestrutura essencial e ter suas chaves reconhecidas. Um pesquisador, uma startup ou um arquivo de interesse público pode achar a nova camada de acesso mais difícil de entrar do que o sistema de honra que ela substitui. Esse é um custo real e vale a pena ser mencionado, em vez de tratado como um erro de arredondamento em uma web mais limpa.

Em terceiro lugar, nada disso aborda a assimetria que causou a quebra. O rastreamento da era da busca trocou acesso por tráfego. Um modelo que lê sua página e responde à pergunta por si só não retorna nada, e uma via de pagamento não restaura o relacionamento — ela precifica a sua ausência.

O Que Fazer

Se você publica: escreva um llms.txt — é barato e expressa a curadoria que você controla. Observe o RSL, porque uma licença legível por máquina é o artefato em que uma disputa futura se baseará. Considere o pay-per-crawl como um experimento a seguir em vez de um plano.

Se você coleta dados: o movimento durável é se tornar o tipo de cliente que esses sistemas estão projetados para acomodar. Identifique-se honestamente, permaneça em dados públicos, respeite as diretrizes que existem hoje, mantenha o volume proporcional e registre o que você coletou e de onde. Cada proposta acima recompensa operadores que podem responder "quem é você e o que você pegou" — e isso vale a pena fazer agora, enquanto a resposta ainda é voluntária.

O sistema de honra está acabando. O que o substitui está inacabado, e a postura útil não é esperar por isso nem ignorá-lo, mas se comportar agora da maneira que a versão final exigirá.

Comece no plano gratuito Scrapeless para ver como o Agente AI Scrapeless lida com dados da web pública e revise os preços do Scrapeless quando planejar um programa de coleta.

FAQ

Q: O llms.txt é um padrão oficial?

Não. É explicitamente apresentado como uma proposta de padronização, publicada em setembro de 2024. Não há um RFC e nenhum grupo de trabalho por trás disso, e nenhuma exigência de que qualquer cliente o respeite. Os sites o adotam porque a curadoria ajuda leitores bem-comportados, não porque algo o obriga.

Q: O llms.txt substitui o robots.txt?

Não — eles respondem a perguntas diferentes. robots.txt, padronizado no RFC 9309, expressa quais caminhos um cliente não deve buscar. llms.txt aponta para o conteúdo que um editor considera mais útil e oferece versões de texto mais limpas dele. Um restringe, o outro cura, e nenhum autentica o cliente.

Q: Que problema o Web Bot Auth realmente resolve?

Ele torna a identidade de um rastreador verificável. Hoje, um cliente se identifica com uma string User-Agent que qualquer um pode copiar, então os editores não podem distinguir de forma confiável entre rastreadores. O Web Bot Auth faz com que cada solicitação seja assinada com a chave privada do operador usando Assinaturas de Mensagens HTTP, para que a origem possa verificar quem está chamando. É um rascunho individual ativo da Internet, não um padrão finalizado.

Q: Os editores podem cobrar de rastreadores de IA hoje?

Somente experimentalmente. O pay-per-crawl da Cloudflare usa HTTP 402 com preços por solicitação e foi anunciado em julho de 2025, mas ainda está em beta privado. O RSL, publicado em 2025 com apoio de um grupo de empresas de infraestrutura e editores, define termos de licenciamento legíveis por máquinas, incluindo pay-per-crawl e pay-per-inference — mas uma licença ainda depende de alguém se identificar e fazer cumprir contra o cliente.

Q: O que uma equipe de coleta de dados deve fazer enquanto isso se resolve?
Comporte-se como se a identidade e os termos já estivessem em vigor. Colete apenas dados públicos, respeite as diretrizes atuais, mantenha o volume de solicitações proporcional ao que um site pode oferecer e registre o que foi coletado e de onde. Cada proposta em discussão recompensa os operadores que conseguem responder a essa pergunta, portanto, o trabalho não é desperdiçado independentemente de qual delas vença.