llms.txt là gì?

Scrapeless Agent Browser cung cấp một trình duyệt đám mây cho tự động hóa web và các tác nhân AI.

llms.txt là một tệp Markdown được đề xuất, cung cấp cho các tác nhân AI phần giới thiệu súc tích về một trang web và liên kết tới các tài nguyên hữu ích. Nhà xuất bản có thể dùng tệp này để xác định tài liệu, giải thích bối cảnh quan trọng và hướng khách hàng tới các dạng thể hiện trang gọn gàng hơn.

Tệp này là một công cụ hỗ trợ khám phá. Việc xuất bản nó không cấp quyền truy cập nội dung được bảo vệ, không buộc trình thu thập dữ liệu phải theo các liên kết của nó, và cũng không đảm bảo rằng một công cụ trả lời sẽ trích dẫn trang web. Giá trị thực tế của nó phụ thuộc vào nội dung chính xác và một client lựa chọn sử dụng nó.

Đề xuất này thực sự định nghĩa điều gì

Đề xuất llms.txt mô tả một tài liệu Markdown súc tích chứa bối cảnh trang web, hướng dẫn và các liên kết tài nguyên. Phiên bản hiện tại của đề xuất llms.txt cũng thảo luận về các dạng thể hiện trang Markdown gọn gàng và các liên kết khám phá. Đây là các quy ước được đề xuất, chứ không phải một hệ thống kiểm soát truy cập được triển khai bởi chính tệp này.

Một trang web có thể đặt một mục lục tại thư mục gốc hoặc dưới một đường dẫn liên quan. Do đó, một mục lục dành riêng cho tài liệu có thể mô tả khu vực tài liệu mà không cần giả vờ tóm tắt toàn bộ công ty. Phạm vi nên rõ ràng với người đọc: tài liệu sản phẩm, cơ sở tri thức và trang web marketing chứa các loại thông tin khác nhau và cần tiêu chí lựa chọn khác nhau.

Giữ cho một mục lục đủ nhỏ để giúp client lựa chọn. Sao chép mọi trang vào một tệp đơn lẻ không có cấu trúc sẽ làm mất đi công việc biên tập mà định dạng này nhằm mang lại. Một giải thích ngắn về tài nguyên nào trả lời câu hỏi nào thường hữu ích hơn một danh sách dài các liên kết gần như giống hệt nhau.

Cách một tác nhân có thể sử dụng tệp

Một tác nhân có thể dùng llms.txt để khám phá các tài nguyên liên quan trước khi mở từng trang riêng lẻ. Tệp cung cấp các ứng viên; tác nhân vẫn phải quyết định trang nào trả lời câu hỏi của người dùng và xác minh nội dung mà nó truy xuất.

Ví dụ, một tác nhân đang tìm hiểu về xác thực có thể tìm thấy một bản tổng quan, một trang quản lý khóa và một ví dụ yêu cầu trong mục lục. Nó nên mở tài liệu về xác thực và kiểm tra các header bắt buộc, các endpoint hiện tại và phạm vi tài khoản. Đọc một nhãn mục lục ghi “Authentication” không tương đương với việc xác thực một yêu cầu đã được xác thực.

Một client cũng có thể bỏ qua tệp này hoặc dùng một cơ chế khám phá khác. Tránh thiết kế hệ thống tài liệu trở nên không thể dùng được nếu không có llms.txt. Điều hướng cho con người, các trang chuẩn ổn định và các siêu liên kết thông thường vẫn hữu ích cho con người, crawler và các tác nhân không triển khai đề xuất này.

llms.txt, robots.txt, và Sitemaps

llms.txt cung cấp ngữ cảnh và lựa chọn tài nguyên, robots.txt thể hiện các quy tắc cho crawler, và một sitemap liệt kê các URL để khám phá. Trách nhiệm của chúng giao thoa quanh điều hướng nhưng khác nhau về ý nghĩa.

Robots Exclusion Protocol cố ý tách các quy tắc cho robot khỏi ủy quyền. Cùng một ranh giới thực tế đó cũng quan trọng với llms.txt: một tệp văn bản có thể đọc công khai không bao giờ nên được coi là giấy phép để vào khu vực hạn chế hoặc tiết lộ thông tin riêng tư.

Các tài nguyên này có thể cùng tồn tại. Một sitemap có thể bao phủ một danh mục URL rộng, trong khi llms.txt chọn ra các trang hữu ích nhất cho một nhóm đối tượng cụ thể. Trang web nên duy trì cả hai từ cùng một hồ sơ nội dung nền tảng khi có thể, để các trang được đổi tên không để lại những đường dẫn khám phá mâu thuẫn.

Nên đưa gì vào một mục lục hữu ích

Một mục lục llms.txt hữu ích giải thích mục đích của trang web và hướng người đọc đến các trang có thẩm quyền với đủ ngữ cảnh để chọn giữa chúng. Viết phần mô tả cho người chưa xem điều hướng và có thể chỉ truy xuất một tài nguyên.

Bắt đầu với tên website hoặc tài liệu và phần tóm tắt ngắn gọn. Tổ chức các liên kết theo nhiệm vụ thực tế: bắt đầu, xác thực, tài liệu tham khảo và các giới hạn. Thêm mô tả ngắn khi hai đích đến có tiêu đề tương tự. “Giới thiệu” một mình sẽ mơ hồ trên một trang web với nhiều sản phẩm.

Ưu tiên các đích đến chuẩn tắc. Nếu một đường dẫn tài liệu cũ chuyển hướng đến một trang tổng quan chung, hãy thay thế nó bằng trang nhiệm vụ phù hợp hiện tại. Trạng thái sạch là chưa đủ để khẳng định rằng đích đến hữu ích. Xem lại tiêu đề và nội dung liên quan sau chuyển hướng, đặc biệt sau một lần di chuyển tài liệu.

Giữ thông tin xác thực và hướng dẫn nội bộ ngoài các tệp công khai. Một ví dụ API có thể giải thích cách hoạt động xác thực mà không lộ khóa thật. Tránh xuất bản ví dụ khách hàng riêng tư chỉ vì chúng là ngữ cảnh hữu ích cho một agent. Việc chọn tài liệu công khai nên tuân theo cùng ranh giới nội dung như website.

Bản sao Markdown phải giữ nguyên ý nghĩa

Một bản thể hiện Markdown nên giữ nguyên ý nghĩa kỹ thuật của trang tương ứng. Việc loại bỏ điều hướng có thể giảm lộn xộn, nhưng mất phần điều kiện tiên quyết, văn bản cảnh báo, tiêu đề bảng hoặc chú thích mã có thể làm thay đổi điều mà khách hàng tin rằng tài liệu cho phép.

Kiểm tra các chuyển đổi chứa bảng. Một giá trị tham số bị tách khỏi tiêu đề cột của nó có thể trông giống giá trị mặc định trong khi thực ra chỉ là ví dụ. Mẫu mã nên giữ ngữ cảnh ngôn ngữ và các chỗ điền rõ ràng. Nếu trang gốc mô tả các phiên bản khác nhau, bản thể hiện Markdown phải giữ cho các ranh giới đó hiển thị rõ.

Duy trì danh tính chuẩn tắc nhất quán giữa các bản thể hiện. Mô hình biểu diễn HTTP và thương lượng nội dung giúp giải thích lý do một tài nguyên có thể có các bản thể hiện khác nhau. Một bản thể hiện gọn gàng hơn vẫn phải mô tả tài nguyên dự định, thay vì một trang không liên quan chỉ là dễ phân tích hơn.

Bảo trì và kiểm tra chấp nhận

Việc bảo trì llms.txt nghĩa là kiểm tra tính hữu ích sau khi nội dung thay đổi, không chỉ kiểm tra rằng tệp tồn tại. Giao quyền sở hữu cho nhóm chịu trách nhiệm về tài liệu nền tảng và đưa mục lục vào quy trình rà soát phát hành khi các trang di chuyển hoặc giao diện thay đổi.

1. Xác nhận rằng mục lục có thể đọc được tại đường dẫn dự định và phản hồi của nó chứa văn bản chứ không phải trang lỗi ứng dụng.
2. Mở từng đích được liên kết và xác nhận URL cuối cùng, tiêu đề và chủ đề của nó.
3. So sánh một mẫu hướng dẫn kỹ thuật với tài liệu dành cho con người.
4. Kiểm tra rằng các tài nguyên ngừng hỗ trợ được đánh dấu hoặc loại bỏ và các trang chuẩn tắc mới có thể được phát hiện.
5. Kiểm tra một câu hỏi nghiên cứu có phạm vi giới hạn và xem liệu tài liệu truy xuất có hỗ trợ câu trả lời thu được hay không.

Đo lường kết quả một cách tách biệt. Nhật ký máy chủ có thể cho thấy các yêu cầu tới tệp, nhưng một yêu cầu không chứng minh rằng client đã dùng nó trong câu trả lời. Lưu lượng truy cập giới thiệu không chứng minh rằng tệp là nguyên nhân dẫn đến lượt truy cập. Giữ cho quan sát chính xác: phát hiện, truy xuất, hỗ trợ câu trả lời và trích dẫn là các sự kiện khác nhau.

Nhận biết cấu trúc tệp được đề xuất

Cấu trúc được đề xuất bắt đầu với một H1 nêu tên trang web hoặc dự án. Nó có thể bao gồm một đoạn trích dẫn tóm tắt ngắn, văn bản giải thích và các phần H2 chứa danh sách liên kết tài nguyên với mô tả tùy chọn. Một phần Optional là quy ước cho tài liệu thứ cấp mà một client có thể bỏ qua khi cần ít ngữ cảnh hơn.

Chọn tên phần giải thích tài nguyên thay vì sao chép sơ đồ phòng ban nội bộ. Một người hỏi về xác thực nên có thể phân biệt phần tổng quan khái niệm với phần tham chiếu cho các header yêu cầu. Các dấu mốc cấu trúc giúp mục lục dễ xử lý hơn; nhãn hữu ích và đích đến được bảo trì khiến nó đáng đọc.

Sử dụng truy xuất bằng trình duyệt song song với ngữ cảnh được chọn lọc

Truy xuất bằng trình duyệt vẫn hữu ích khi mục lục tài liệu không chứa câu trả lời hoặc khi nhiệm vụ cần trạng thái trang đã render. Scrapeless Agent Browser có thể cung cấp phần trình duyệt của quy trình đó; nó không quyết định liệu một agent bên thứ ba có tuân theo llms.txt hay không.

Tài liệu Agent Browser cung cấp ngữ cảnh sản phẩm. Kỹ thuật ngữ cảnh web cho AI agent đề cập đến nhiệm vụ rộng hơn là chọn bằng chứng web hữu ích. Xem xét lại Scrapeless pricing so với khối lượng công việc của trình duyệt thay vì coi định dạng mục lục như một lý do để bổ sung hạ tầng.

Kết luận

llms.txt hữu ích khi nó giúp một agent tìm được tài liệu hiện thời, phù hợp với ít mơ hồ hơn. Giữ tệp được chọn lọc, bảo toàn ý nghĩa trong các bản thể hiện thay thế và xác thực các đích đến của nó sau khi có thay đổi. Đánh giá trực tiếp việc truy xuất và chất lượng câu trả lời; sự hiện diện của một tệp văn bản đơn lẻ không khẳng định được điều nào trong số đó.