llms.txt là gì?

API Qu scraping Universal không chứa rác có thể lấy định dạng phản hồi Markdown và các định dạng khác từ các trang công khai mà các nhóm có thể tổ chức thông qua tài nguyên llms.txt.

llms.txt Được định nghĩa

llms.txt là một đề xuất mở để công bố tổng quan ngắn gọn, thân thiện với LLM của một trang web. Trang web đặt một tệp Markdown tại đường dẫn gốc, thường là /llms.txt, và sử dụng các tiêu đề, văn bản giải thích và các liên kết mô tả để chỉ ra material mà một trợ lý có thể cần vào thời điểm suy diễn. Có thẩm quyền đề xuất llms.txt mô tả động lực và hình dạng tài liệu.

Đề xuất giải quyết một vấn đề trích xuất thực tiễn. Nhiều trang web chứa các thành phần điều hướng, kịch bản, quảng cáo, mẫu lặp lại và các trang dài mà rất tốn kém để diễn giải trong ngữ cảnh mô hình. Một bản đồ ngắn gọn, được biên soạn có thể cho biết trang web là gì, xác định tài liệu có thẩm quyền và hướng một công cụ tới các đại diện sạch hơn mà không cần mô hình suy diễn kiến trúc thông tin từ đầu.

Tệp được viết bằng Markdown vì vậy nó vẫn dễ đọc bởi con người và dễ cho phần mềm thông thường phân tích. Nó có thể chứa tên dự án cấp cao, tóm tắt, văn bản ngữ cảnh, các phần và danh sách các liên kết với mô tả. Một mô tả tốt cho biết lý do một trang quan trọng đối với một hệ thống trích xuất; một danh sách URL thô chỉ phục hồi vấn đề phát hiện trong một tệp khác.

llms.txt vẫn là một đề xuất chứ không phải tiêu chuẩn web toàn cầu được thực thi bởi trình duyệt hoặc công cụ tìm kiếm. Thực hiện khác nhau, và hỗ trợ phải được kiểm tra trên công cụ hoặc dịch vụ cụ thể. Xuất bản tệp có thể cải thiện định hướng cho các hệ thống lựa chọn đọc nó, nhưng nó không tạo ra bất kỳ lời hứa nào rằng bất kỳ mô hình nào sẽ hấp thụ, trích dẫn, xếp hạng hoặc nhớ nội dung đã liên kết.

Cách một tệp llms.txt hoạt động

Một khách hàng trước tiên yêu cầu đường dẫn gốc dự đoán. Nếu tệp tồn tại, nó đọc cấu trúc Markdown và sử dụng các mô tả để quyết định trang liên kết nào là phù hợp với nhiệm vụ hiện tại. Tệp có thể chỉ đến các trang HTML thông thường hoặc các lựa chọn thay thế Markdown sạch hơn. Hệ thống trích xuất vẫn cần lấy, xác minh và trích dẫn nguồn đã chọn.

Đề xuất ưu tiên hệ thống phân cấp được biên soạn. Một trang web tài liệu có thể tách biệt các khởi đầu nhanh, khái niệm, tham chiếu API, ví dụ và chính sách. Các phần tùy chọn có thể chứa tài liệu thứ cấp hữu ích nhưng không cần thiết cho một nhiệm vụ điển hình. Điều này cho phép một khách hàng tiêu tốn ngân sách ngữ cảnh hạn chế vào các trang có khả năng trả lời câu hỏi nhất.

Một số trang cũng tiết lộ llms-full.txt, một tài liệu lớn hơn kết hợp nội dung đáng kể để đọc trực tiếp. Bản đồ llms.txt nhỏ hơn và tập hợp đầy đủ hơn giải quyết các vấn đề khác nhau: một hỗ trợ phát hiện, trong khi cái kia có thể giảm yêu cầu theo sau cho các bộ tài liệu hạn chế. Các trang lớn hoặc thường xuyên thay đổi cần chính sách phát sinh và kích thước để tệp đầy đủ hơn không trở nên lỗi thời hoặc cồng kềnh.

Tham chiếu kho lưu trữ llms.txt chứa nguồn đề xuất và tài nguyên thực hiện. Các nhóm nên xem xét các trình phân tích và trình tạo giống như các phụ thuộc phần mềm thông thường: cố định hành vi, kiểm tra đầu ra, bảo tồn mô tả, và tránh giả định mọi người tiêu dùng thực hiện các tính năng tùy chọn theo cách giống nhau.

llms.txt so với robots.txt và sitemap.xml

Những tệp này có thể tồn tại đồng thời vì chúng trả lời những câu hỏi khác nhau cho những người tiêu dùng khác nhau.

Nơi llms.txt Hữu Ích

Đề xuất phù hợp với các trang mà một bộ tài nguyên chính xác nhỏ có thể định hướng một trợ lý nhanh hơn so với việc thu thập không có điểm dừng.

Cách Tạo llms.txt Hữu Ích

Bắt đầu với khán giả và các nhiệm vụ phổ biến. Một trợ lý tài liệu có thể cần cài đặt, xác thực, khái niệm cốt lõi, tài liệu tham khảo API, giới hạn và xử lý sự cố. Một trang tiếp thị có thể cần định nghĩa sản phẩm, giá cả, bảo mật, và thông tin liên hệ. Chọn các trang trả lời những nhiệm vụ đó thay vì sao chép sơ đồ trang.

Viết các mô tả phân biệt các liên kết liền kề. “Hướng dẫn xác thực—tạo khóa API, lưu trữ, và tiêu đề yêu cầu” hữu ích hơn “Xác thực.” Tránh các tính từ quảng cáo và các tuyên bố không được hỗ trợ. Tệp nên giúp một hệ thống thu thập chọn bằng chứng, vì vậy độ chính xác quan trọng hơn ngôn ngữ thương hiệu.

Chọn một nguồn sự thật cho nội dung. Nếu các tùy chọn Markdown được tạo ra từ các trang chuẩn, hãy ghi lại bộ sinh và xác minh tiêu đề, mã, bảng, liên kết, và thời gian cập nhật. Nếu các biên tập viên duy trì cả hai bằng tay, hãy thêm một quy trình đánh giá mà phát hiện sự khác biệt. Các bản sao mâu thuẫn làm yếu giá trị định hướng mà tệp dự định cung cấp.

Xác nhận hiện vật đã triển khai. Xác nhận đường dẫn gốc trả về phản hồi văn bản thuần túy hoặc Markdown thành công mà không có tường xác thực, chuyển hướng bất ngờ, hoặc trang lỗi đã được xử lý. Kiểm tra từng URL được liệt kê cho nội dung dự định của nó, không chỉ trạng thái HTTP. Trang phát triển của OpenAI phơi bày mục lục tài liệu theo dạng llms.txt, cung cấp một ví dụ cụ thể về một bản đồ tài liệu có thể đọc bằng máy.

Giới hạn và Hiểu Lầm Thường Gặp

llms.txt không kiểm soát việc thu thập hoặc đào tạo. Những chính sách đó thuộc về tài liệu cụ thể cho trình thu thập, robots.txt, hợp đồng, kiểm soát nền tảng, và luật áp dụng. Một liên kết trong llms.txt không nên được hiểu như một giấy phép hoặc như sự đồng ý cho mọi sử dụng phía dưới. Quyền truy cập và sử dụng là những câu hỏi tách biệt.

Tệp không thay thế các nguyên tắc cơ bản của công cụ tìm kiếm. Các trang vẫn cần URL ổn định, tiêu đề hữu ích, liên kết nội bộ, xử lý chuẩn, nội dung dễ đọc, và các kiểm soát lập chỉ mục phù hợp. Một công cụ AI có thể đến qua tìm kiếm, yêu cầu của người dùng trực tiếp, hành động của trình duyệt, hoặc một chỉ mục riêng mà không cần tham khảo llms.txt.

Sự lỗi thời có thể biến một bản đồ hữu ích thành nguồn lỗi. Các sản phẩm đã đổi tên, các điểm kết thúc đã bị loại bỏ, các trang đã chuyển, và các chính sách đã thay đổi cần cập nhật kịp thời. Tạo từ một đăng ký nội dung được duy trì nơi phù hợp, nhưng giữ việc xem xét của con người cho các mô tả và ưu tiên. Một bộ sinh có thể xác nhận sự tồn tại; nó không thể quyết định trang nào tốt nhất trả lời một nhiệm vụ của người dùng.

Kích thước bối cảnh vẫn quan trọng. Tệp llms-full.txt gộp toàn bộ trang web có thể quá lớn cho một khách hàng, lặp lại văn bản điều hướng, hoặc kết hợp các phiên bản không liên quan. Cung cấp các trang Markdown mô-đun và một bản đồ ngắn gọn trước. Để hệ thống thu thập chỉ chọn tài liệu cần thiết cho câu hỏi đang hoạt động.

Cách Đánh Giá một Triển Khai llms.txt

Kiểm tra việc hoàn thành nhiệm vụ, chứ không chỉ là sự hiện diện của tệp. Đưa cho một đại lý thu thập các câu hỏi đại diện và ghi lại các liên kết llms.txt mà nó chọn, liệu những trang đó có trả lời câu hỏi hay không, và liệu phản hồi cuối cùng có duy trì các trích dẫn hay không. So sánh cùng những nhiệm vụ với điều hướng thông thường hoặc việc khám phá sơ đồ trang.

Đo lường sức khỏe liên kết và độ chính xác mô tả. Theo dõi các URL hỏng, các chuyển hướng, các điểm đến trùng lắp, các chủ đề chuẩn bị thiếu, và các mô tả có thể áp dụng cho vài trang. Xem xét các phần tùy chọn riêng biệt để tài liệu thứ cấp không làm chật chội con đường tối thiểu cho người dùng mới.

Kiểm toán tính nhất quán giữa các biểu diễn HTML và Markdown. So sánh tiêu đề, các tiêu đề chính, mẫu mã, cảnh báo, và thông tin cập nhật lần cuối. Nơi các biểu diễn khác nhau cố ý, tài liệu quy tắc. Một bản sao Markdown sạch nên loại bỏ tiếng ồn trình bày mà không thay đổi âm nghĩa kỹ thuật.

Ghi lại hỗ trợ của người tiêu dùng một cách công khai. Một bài kiểm tra thành công với một trợ lý hoặc phân tích không chứng minh sự áp dụng chung. Ghi chú sản phẩm, phiên bản, chế độ thu thập, đường dẫn yêu cầu, và hành vi quan sát được. Điều này giữ cho thử nghiệm llms.txt không biến thành một tuyên bố rộng về tất cả các mô hình ngôn ngữ.

Kết luận

llms.txt là một bản đồ Markdown được đề xuất giúp các công cụ định hướng LLM tìm thấy nội dung hữu ích nhất của một trang web. Điểm mạnh của nó là sự chọn lọc: một tệp gốc dự đoán có thể giải thích trang web và hướng dẫn một khách hàng đến các trang cụ thể cho nhiệm vụ với ít chi phí khám phá hơn.

Tệp hoạt động song song với ngăn xếp web hiện tại. robots.txt thể hiện sở thích của trình thu thập, sơ đồ trang định danh các URL, HTML phục vụ người dùng, và các kiểm soát truy cập bảo vệ tài nguyên hạn chế. Duy trì llms.txt như một hiện vật điều hướng đã được thử nghiệm, và mô tả lợi ích của nó như hỗ trợ quan sát được thay vì điều trị AI được đảm bảo.