Cái gì là định hướng trong AI?

Trình duyệt thu thập không cần scrap có thể thu thập nội dung web hiện tại được hiển thị cho các quy trình định hướng AI cần bằng chứng công khai có thể kiểm tra.

Tóm tắt

Định hướng kết nối đầu ra của AI với bằng chứng bên ngoài cụ thể hoặc một môi trường quan sát được. Bằng chứng có thể đến từ tài liệu, cơ sở dữ liệu, công cụ, cảm biến hoặc trang web hiện tại.
Định hướng xảy ra vào thời gian ứng dụng, không chỉ trong quá trình đào tạo mô hình. Hệ thống có thể cung cấp ngữ cảnh mới mà không làm thay đổi các tham số đã học của mô hình.
Truy xuất là một phương pháp định hướng, không phải là đảm bảo được hỗ trợ. Tài liệu được truy xuất phải có liên quan, đáng tin cậy, hiện tại và được diễn giải đúng.
Định hướng tốt bảo tồn tính nguồn gốc. Người đánh giá cần nguồn gốc, phiên bản, thời gian và đoạn văn đã sử dụng để biện minh cho một tuyên bố.
Các hệ thống có nguồn gốc vẫn cần sự thận trọng và đánh giá. Một mô hình không nên lấp đầy bằng chứng bị thiếu bằng một sự tiếp diễn hợp lý.

Định nghĩa về định hướng trong AI

Định hướng trong AI là thực hành kết nối ngôn ngữ hoặc hành động của một mô hình với thông tin bên ngoài các tham số đã học của nó. Một câu trả lời có nguồn gốc được hỗ trợ bởi một nguồn đã xác định, một bản ghi cơ sở dữ liệu, một kết quả công cụ, một tệp do người dùng cung cấp hoặc một môi trường quan sát trực tiếp. Sự kết nối là quan trọng vì một mô hình ngôn ngữ có thể tạo ra văn bản trôi chảy mà không cần kiểm tra xem từng câu có tương ứng với thực tế hay không.

Định hướng có hai ý nghĩa hữu ích. Định hướng kiến thức liên kết các tuyên bố với bằng chứng, chẳng hạn như tài liệu chính sách hoặc trang sản phẩm hiện tại. Định hướng môi trường liên kết các quyết định của một tác nhân với những gì nó có thể quan sát và hành động, chẳng hạn như trạng thái trình duyệt, màn hình ứng dụng hoặc đọc cảm biến. Cả hai ý nghĩa thay thế giả thuyết bằng ngữ cảnh mà ứng dụng có thể kiểm tra.

Mục tiêu không phải là làm cho mỗi câu trả lời dài hơn hoặc nặng trĩu tài liệu tham khảo. Mục tiêu là làm cho nguồn của sự thật trở nên rõ ràng. Một câu trả lời hỗ trợ khách hàng có nguồn gốc nên dựa vào phiên bản chính sách hiện tại. Một trợ lý nghiên cứu có nguồn gốc nên chỉ ra các tài liệu nào hỗ trợ tóm tắt. Một tác nhân trình duyệt có nguồn gốc nên xác nhận những gì hiển thị trước khi nhấp hoặc gửi biểu mẫu.

Cách Định Hướng Hoạt Động

Định hướng hoạt động bằng cách thu thập bằng chứng, lựa chọn phần liên quan đến yêu cầu, đặt nó vào ngữ cảnh của mô hình, và hạn chế đầu ra cho tài liệu đó. Trong việc tạo ra được tăng cường bằng truy xuất, một quy trình nhập liệu phân tích tài liệu thành các phần nhỏ, tạo ra một đại diện có thể tìm kiếm và truy xuất các kết quả khả thi. Người tạo sau đó trả lời sử dụng các đoạn văn được truy xuất.

Định hướng công cụ theo một mẫu tương tự nhưng thu thập bằng chứng theo yêu cầu. Một mô hình có thể gọi công cụ tìm kiếm, truy vấn cơ sở dữ liệu, tính toán tổng, hoặc mở một trang trong trình duyệt. Kết quả công cụ trở thành một phần của bước trả lời tiếp theo. Hướng dẫn của OpenAI về cung cấp cho các mô hình thông tin hiện tại mô tả tìm kiếm web và tìm kiếm tệp như những cách để thu hẹp khoảng cách giữa kiến thức đào tạo đã lưu trữ và dữ liệu hiện tại hoặc riêng tư.

Ứng dụng nên mang theo nguồn gốc qua mọi giai đoạn. Nguồn gốc hữu ích bao gồm định danh nguồn chính, phiên bản tài liệu, thời gian ghi lại, phần hoặc hàng, phương pháp trích xuất, và bất kỳ chuyển đổi nào được áp dụng trước khi mô hình nhìn thấy nội dung. Thiếu dấu vết đó, một câu có thể xuất hiện được định hướng trong khi đoạn hỗ trợ là không thể kiểm tra.

So sánh Các Phương Pháp Định Hướng

Phương pháp	Tốt nhất cho	Giới hạn chính
Ngữ cảnh nhắc nhở	Bằng chứng nhỏ, đã biết được cung cấp trực tiếp bởi người dùng hoặc ứng dụng.	Ngữ cảnh có thể không đầy đủ hoặc quá dài.
Truy xuất tài liệu	Cơ sở dữ liệu lớn về kiến thức, chính sách, hướng dẫn và bộ sưu tập nghiên cứu.	Xếp hạng có thể trả về các đoạn có liên quan nhưng không hỗ trợ.
Công cụ cơ sở dữ liệu hoặc API	Các sự kiện có cấu trúc như hàng tồn kho, cân bằng, lịch trình hoặc số liệu.	Các sơ đồ và quyền phải được thực thi bên ngoài mô hình.
Tìm kiếm web và duyệt	Thông tin công khai hiện tại và các nguồn được hiển thị bằng JavaScript.	Các trang có thể thay đổi, biến mất, hoặc xung đột.
Quan sát môi trường	Các tác nhân điều hành phần mềm, trình duyệt, robot hoặc thiết bị.	Các quan sát có thể không đầy đủ và hành động có thể có hậu quả.

Một hệ thống sản xuất thường kết hợp các phương pháp. Một tác viên hỗ trợ có thể truy xuất văn bản chính sách, truy hỏi cơ sở dữ liệu tài khoản, và kiểm tra một trang trạng thái hiện tại. Lớp điều phối nên xác định nguồn nào điều chỉnh mỗi tuyên bố thay vì pha trộn mọi kết quả thành một nhắc nhở không phân biệt.

Nơi Định Hướng Tạo Giá Trị

Câu trả lời sự kiện hiện tại

Bằng chứng web hoặc tìm kiếm mới cho phép hệ thống phân biệt các sự kiện gần đây với tài liệu đã được học trong quá trình đào tạo.

Kiến thức doanh nghiệp

Các tài liệu được phê duyệt và hồ sơ cơ sở dữ liệu cung cấp cho nhân viên câu trả lời phản ánh chính sách nội bộ và các quy tắc truy cập.

Tổng hợp nghiên cứu

Chứng thực cấp đoạn cho phép người đánh giá lần theo một tóm tắt trở lại tài liệu chính và xem xét các bất đồng.

Các tác nhân hoạt động trên web

Các quan sát trình duyệt xác nhận trạng thái trang trước khi một tác nhân chọn một bộ chọn, điền một trường, hoặc theo một liên kết.

Cơ sở là đặc biệt hữu ích khi chi phí của một lỗi có thể xảy ra vượt quá chi phí của việc yêu cầu làm rõ. C Khung quản lý rủi ro AI của NIST coi AI đáng tin cậy là một vấn đề quản lý rủi ro liên quan đến ngữ cảnh, đo lường và quản trị. Cơ sở hỗ trợ công việc đó bằng cách làm cho các con đường bằng chứng trở nên rõ ràng, nhưng nó không thay thế các kiểm soát tổ chức.

Xây dựng một Đường ống Câu trả lời Dựa vào Cơ sở

Một đường ống câu trả lời dựa trên cơ sở bắt đầu với một chính sách nguồn. Xác định các kho lưu trữ, miền, bảng cơ sở dữ liệu và đầu ra công cụ nào là chính thức cho từng chủ đề. Sau đó xác định các quy tắc độ mới. Một chính sách pháp lý có thể có hiệu lực cho đến khi bị supersede, trong khi một trang khả năng sản phẩm có thể cần một lần ghi lại mới cho mỗi câu hỏi.

Chuẩn hóa câu hỏi thành các tuyên bố rõ ràng, thực thể, ngày tháng, và quyền tài phán.
Chọn kênh bằng chứng phù hợp với tuyên bố: chỉ mục tài liệu, API có cấu trúc, công cụ tính toán, hoặc trình duyệt trực tiếp.
Thu hồi một cách chặt chẽ và giữ đủ ngữ cảnh xung quanh để bảo tồn các điều kiện và ngoại lệ.
Từ chối các kết quả yếu bằng cách sử dụng bộ lọc siêu dữ liệu, ngưỡng liên quan, hoặc xác nhận xác định.
Tạo một câu trả lời mà quy cho mỗi tuyên bố quan trọng đến bằng chứng đã cung cấp.
Kiểm tra rằng mọi tài liệu tham khảo hỗ trợ câu và rằng câu trả lời không thêm các chi tiết không được hỗ trợ.
Lưu trữ gói bằng chứng cùng với phản hồi để xem xét và đánh giá sau này.

Đối với các trang trực tiếp, một lớp trình duyệt quan trọng khi văn bản mong muốn chỉ xuất hiện sau khi JavaScript chạy. Trình duyệt Chấp nhận Không Rác có thể kết xuất trang và làm lộ nội dung kết quả cho quy trình thu thập hoặc tác nhân. Ứng dụng vẫn nên ghi lại URL và thời gian ghi lại và nên tôn trọng các quy tắc truy cập, điều khoản và luật pháp áp dụng.

Các Chỉ số Chất lượng Cơ sở

Chất lượng cơ sở được đo ở nhiều cấp độ. Lưu ý thu hồi hỏi liệu tập hợp bằng chứng có chứa tài liệu cần thiết để trả lời không. Độ chính xác thu hồi hỏi mức độ phần ngữ cảnh được chọn thực sự là liên quan. Độ chính xác của trích dẫn hỏi liệu mỗi đoạn liên kết có hỗ trợ tuyên bố không. Độ trung thực của câu trả lời hỏi liệu phản hồi có giữ trong bằng chứng đã cung cấp hay không.

Các chỉ số này có thể kéo theo các hướng khác nhau. Việc thu hồi nhiều đoạn có thể cải thiện độ nhớ nhưng làm quá tải lời nhắc với các kết quả gần giống. Một quy tắc độ trung thực nghiêm ngặt có thể tạo ra nhiều sự từ chối. Đánh giá do đó cần một tập hợp câu hỏi đại diện và các quy tắc chấm điểm rõ ràng cho các câu trả lời được hỗ trợ, câu trả lời một phần, xung đột, và từ chối hợp lý.

Chạy các đánh giá bất cứ khi nào kho nguồn, chiến lược phân tách, mô hình nhúng, lời nhắc, hoặc bộ tạo thay đổi. Một hệ thống dựa trên cơ sở là một đường ống, vì vậy bất kỳ sự thay đổi nào trong giai đoạn nào cũng có thể làm thay đổi câu trả lời cuối cùng ngay cả khi mô hình vẫn giữ nguyên. Tài liệu gốc bài báo tạo ra tăng cường tìm kiếm cung cấp bối cảnh hữu ích về việc đánh giá việc thu hồi và tạo ra như các thành phần kết nối.

Giới hạn và Chế độ Thất bại

Cơ sở không thể làm cho một nguồn yếu trở nên đúng. Một trang hiện tại có thể chứa một lỗi, một chính sách được thu hồi có thể không còn hiệu lực, và hai hồ sơ chính thức có thể không đồng ý. Hệ thống cần thứ bậc nguồn và quy tắc xung đột thay vì giả định rằng việc thu hồi giải quyết vấn đề.

Cơ sở cũng có thể tạo ra cảm giác chắc chắn sai lầm. Một huy hiệu trích dẫn có thể được coi là bằng chứng ngay cả khi nó liên kết đến một trang rộng không hỗ trợ số chính xác. An ninh cũng quan trọng: các trang và tập tin được thu hồi có thể chứa các hướng dẫn được thiết kế để chuyển hướng một tác nhân. Các ứng dụng nên tách biệt dữ liệu khỏi các hướng dẫn, hạn chế quyền truy cập công cụ, và xác nhận các hành động ngoài mô hình.

Kết luận

Cơ sở trong AI kết nối ngôn ngữ được tạo ra hoặc hành vi tác nhân với bằng chứng mà một ứng dụng có thể kiểm tra. Cơ sở mạnh kết hợp chính sách nguồn, thu thập cẩn thận, thu hồi liên quan, chứng thực, tạo ra có giới hạn, và xác thực ở cấp độ tuyên bố. Nó giảm thiểu các câu trả lời không được hỗ trợ và khiến lỗi dễ dàng chẩn đoán hơn, nhưng nó không thể sửa chữa một nguồn xấu hoặc loại bỏ sự cần thiết phải đánh giá của con người trong các quyết định có tác động lớn.

Sẵn sàng để Cơ sở AI với Dữ liệu Web Hiện tại?

Xây dựng một lớp thu thập có thể theo dõi cho RAG, trợ lý nghiên cứu, và các tác nhân hoạt động trình duyệt.

Đăng ký ngay hôm nay và nhận $5 trong tín dụng miễn phí — không yêu cầu thẻ tín dụng.

Nhận Tín dụng $5 của bạn →

Câu hỏi Thường gặp

Cơ sở có phải là giống như tạo ra tăng cường thu hồi không?

Không. Tạo ra tăng cường thu hồi là một kiến trúc cho việc cơ sở hóa các câu trả lời trong các tài liệu thu hồi. Cơ sở cũng bao gồm các truy vấn cơ sở dữ liệu, tính toán, duyệt web, tập tin do người dùng cung cấp, và các quan sát từ môi trường. Ý tưởng rộng hơn là đầu ra nên được kết nối với bằng chứng bên ngoài các tham số của mô hình.

Cơ sở có cập nhật mô hình không?

Cơ sở thường không thay đổi các tham số mô hình. Nó cung cấp ngữ cảnh hoặc kết quả công cụ trong thời gian diễn giải, vì vậy cùng một mô hình cơ bản có thể trả lời từ các nguồn hiện tại hoặc riêng tư khác nhau. Tinh chỉnh fine-tuning thay đổi hành vi mô hình thông qua đào tạo và phục vụ một mục đích khác.

Điều gì làm cho một nguồn phù hợp cho cơ sở?

Một nguồn phù hợp là có thẩm quyền cho tuyên bố, đủ hiện tại cho quyết định, có thể truy cập dưới quyền của ứng dụng, và đủ cụ thể để hỗ trợ câu trả lời. Hệ thống cũng nên bảo tồn danh tính và phiên bản của nó để người đánh giá có thể tái tạo con đường bằng chứng.

Câu trả lời dựa trên nguồn có thể vẫn sai không?

Có. Việc thu hồi có thể chọn đoạn sai, nguồn có thể chứa lỗi, hoặc mô hình có thể đọc sai bằng chứng. Các hệ thống có cơ sở vẫn cần kiểm tra trích dẫn, xử lý xung đột, xác thực xác định cho số lượng, và phản hồi an toàn khi bằng chứng không đủ.

Làm thế nào trình duyệt web hỗ trợ gốc?

Trình duyệt web có thể cung cấp thông tin công cộng hiện tại mà không có trong quá trình đào tạo mô hình. Một trình duyệt cũng có thể diễn giải các trang phụ thuộc vào JavaScript và phơi bày trạng thái hiển thị cho một tác nhân. Ứng dụng nên ghi lại nguồn gốc và xác minh rằng trang hỗ trợ mỗi tuyên bố trước khi trình bày câu trả lời.