Hallucination trong AI là gì?

Định nghĩa về Hallucination trong AI

Hallucination trong AI là nội dung được tạo ra mà trình bày một tuyên bố, trích dẫn, sự kiện, phép tính, hoặc mối quan hệ như là đúng mặc dù tuyên bố đó không có bằng chứng đáng tin cậy hỗ trợ. Lỗi có thể mâu thuẫn với một tài liệu đã cung cấp, sai lệch khỏi các sự thật đã được thiết lập chung, hoặc thêm chi tiết mà không nguồn nào chứa đựng. OpenAI mô tả hành vi này là đầu ra không chính xác về mặt thực tế trong hướng dẫn về tính trung thực của mô hình.

Thuật ngữ này có nghĩa tóm tắt hữu ích, nhưng nó có thể mời gọi mô hình tâm trí sai. Một mô hình ngôn ngữ thường không truy xuất một sự thật hoàn chỉnh và sau đó quyết định chỉnh sửa nó. Nó ước lượng sự tiếp nối từ lời nhắc, các tham số đã học, và bất kỳ bối cảnh nào được cung cấp trong thời gian suy luận. Cùng một cơ chế tạo ra một giải thích rõ ràng cũng có thể tạo ra một tên, ngày, trích dẫn, hoặc URL đáng tin cậy khi lời nhắc mạnh mẽ ngụ ý rằng một cái nào đó nên tồn tại.

Hallucinations dao động từ các lỗi nhỏ đến các câu chuyện hoàn toàn hư cấu. Một tóm tắt có thể giữ lại ý nghĩa tổng thể nhưng gán sai số cho một nguồn. Một câu trả lời nghiên cứu có thể trích dẫn một bài báo với tiêu đề khả thi mà chưa bao giờ được xuất bản. Một trợ lý hỗ trợ có thể bịa ra một chính sách tài khoản. Đặc điểm chung không phải là kích thước của lỗi; đó là khoảng cách giữa tuyên bố và bằng chứng có sẵn để hỗ trợ cho nó.

Tại sao các mô hình AI lại có hallucination

Các mô hình AI có hallucination vì dự đoán token tiếp theo thưởng cho sự tiếp nối khả thi, trong khi sự không chắc chắn về thực tế không phải lúc nào cũng được biểu thị là một “không biết” rõ ràng. Dữ liệu huấn luyện cũng chứa các mâu thuẫn, các đoạn văn cũ, hồ sơ không đầy đủ, châm biếm, và các lỗi lặp lại. Ngay cả một tập dữ liệu huấn luyện sạch cũng không thể bao gồm mọi tài liệu riêng tư, sự kiện gần đây, hoặc quy tắc miền hẹp mà người dùng có thể hỏi.

Hình dạng của lời nhắc có ý nghĩa. Một câu hỏi mà giả định một sự kiện sai có thể dẫn một mô hình hoàn thành câu chuyện yêu cầu thay vì thách thức tiền đề. Các cuộc hội thoại dài có thể chôn vùi giới hạn liên quan. Đầu ra của công cụ cũng có thể dẫn đến lỗi khi kết quả tìm kiếm không đúng chủ đề, một bộ phân tích loại bỏ bối cảnh, hoặc văn bản được lấy sử dụng cùng một thuật ngữ trong ý nghĩa khác.

Sau huấn luyện có thể nâng cao khả năng từ chối, hiệu chuẩn và theo dõi hướng dẫn, nhưng không có phương pháp huấn luyện nào biến việc tạo ra mở thành một cơ sở dữ liệu hoàn toàn đáng tin cậy. Bài nghiên cứu của OpenAI về lý do tại sao các mô hình ngôn ngữ có hallucination kết nối vấn đề với các động lực đánh giá thưởng cho việc đoán nhiều hơn là thừa nhận sự không chắc chắn. Quan sát đó giải thích tại sao sự kiêng khem phải được thiết kế và đo lường, không chỉ yêu cầu trong một lời nhắc.

Các loại hallucination AI phổ biến

Các loại này chồng chéo lên nhau. Một trích dẫn giả có thể cũng hỗ trợ một lỗi lý luận, và một sự thật lỗi thời có thể trở thành một mâu thuẫn nguồn khi một tài liệu hiện tại có mặt. Việc phân loại vẫn hữu ích vì mỗi lỗi yêu cầu một kiểm soát khác nhau. Các kiểm tra trích dẫn sẽ không phát hiện được phép toán sai, trong khi một máy tính sẽ không tiết lộ rằng nguồn tài liệu đó đã lỗi thời.

Cách phát hiện đầu ra có hallucination

Đánh giá mạnh mẽ nhất sử dụng các câu hỏi đã biết và các câu trả lời dự kiến đã được tài liệu hóa. Đánh giá của con người vẫn cần thiết cho các tuyên bố mơ hồ, nhưng một bộ kiểm tra có thể lặp lại tiết lộ liệu một yêu cầu, mô hình, thay đổi thu hồi hoặc nguồn dữ liệu mới có cải thiện hệ thống hay không. Bộ khung NIST AI Risk Management Framework cung cấp một cấu trúc rộng hơn để lập bản đồ, đo lường và quản lý rủi ro thay vì coi một điểm số mô hình như bằng chứng của sự an toàn.

Cách Căn Cứ Giảm Rủi Ro Ảo Tưởng

Căn cứ giảm rủi ro ảo tưởng bằng cách đặt chứng cứ liên quan, có thể kiểm tra trong ngữ cảnh làm việc của mô hình và yêu cầu phản ứng giữ nguyên trong những chứng cứ đó. Sinh ra gia tăng thu hồi là một thiết kế phổ biến: thu thập tài liệu, chia chúng thành các đơn vị có thể tìm kiếm, thu hồi các đơn vị phù hợp với một câu hỏi và tạo ra một câu trả lời với các trích dẫn hoặc hỗ trợ trích dẫn.

Chứng cứ web mới là hữu ích khi câu hỏi liên quan đến các trang thay đổi, thông tin sản phẩm hiện tại, thông báo công cộng hoặc nghiên cứu gần đây. Một lớp thu thập hỗ trợ trình duyệt có thể hiển thị các trang JavaScript trước khi trích xuất, trong khi ứng dụng lưu trữ URL của trang, thời gian thu thập và văn bản được sử dụng cho câu trả lời. Scrapeless Scraping Browser có thể phục vụ lớp thu thập đó; mô hình và chính sách xác minh vẫn là các phần riêng biệt của hệ thống.

Căn cứ thất bại khi thu hồi thất bại. Chỉ mục có thể bỏ qua tài liệu liên quan, tìm kiếm ngữ nghĩa có thể trả về một khái niệm lân cận, hoặc một đoạn dài có thể chứa những đoạn mâu thuẫn. Một quy trình an toàn kiểm tra danh tính nguồn, tuổi tài liệu, phạm vi truy cập và sự liên quan của thu hồi trước khi sinh ra. Nó cũng bảo tồn các liên kết để một người đánh giá có thể kiểm tra tài liệu gốc thay vì tin tưởng vào một đoạn trích rời rạc. Gốc rễ nghiên cứu sinh ra gia tăng thu hồi khung liên kết thu hồi và sinh ra như những phần liên kết của một hệ thống.

Một Quy Trình Kiểm Soát Ảo Tưởng Thực Tế

Một quy trình kiểm soát thực tế bắt đầu trước khi yêu cầu đến tay mô hình. Định nghĩa các tuyên bố mà ứng dụng được phép thực hiện, các nguồn nào là đáng tin cậy, và các quyết định nào cần sự phê duyệt của con người. Sau đó thu thập chứng cứ với siêu dữ liệu nguồn, thu hồi một cách hẹp, hướng dẫn mô hình trích dẫn hỗ trợ và xác minh đầu ra trước khi nó đến với người dùng.

1. Phân loại yêu cầu theo rủi ro và độ mới. Các quyết định y tế, pháp lý, tài chính, an ninh và tài khoản cần các biện pháp kiểm soát chặt chẽ hơn so với ý tưởng.
2. Thu thập chứng cứ hiện tại hoặc cụ thể theo miền từ các nguồn đã được phê duyệt. Giữ nguyên các URL chuẩn và thu thập đủ văn bản xung quanh để giữ nguyên nghĩa.
3. Thu hồi chứng cứ bằng cách sử dụng cả sự liên quan ngữ nghĩa và bộ lọc siêu dữ liệu như ngày tháng, quyền tài phán, sản phẩm hoặc phiên bản tài liệu.
4. Tạo ra với hướng dẫn giới hạn: trả lời từ chứng cứ đã cung cấp, xác định xung đột và kiêng kỵ khi hỗ trợ còn thiếu.
5. Xác minh các trích dẫn, số lượng, tên và các ràng buộc cần thiết bằng cách kiểm tra xác định khi có thể.
6. Ghi lại câu hỏi, chứng cứ đã thu hồi, câu trả lời và kết quả đánh giá để các mô hình lỗi lặp lại trở thành các trường hợp thử nghiệm.

Trình tự đó coi ảo tưởng như một rủi ro kỹ thuật với các giai đoạn có thể quan sát. Nó không hứa hẹn không có lỗi. Nó làm cho các tuyên bố không hỗ trợ dễ dàng hơn để ngăn chặn, phát hiện, điều tra và sửa chữa.

Giới hạn của Giảm Thiểu Ảo Tưởng

Không có một biện pháp kiểm soát nào loại bỏ hoàn toàn ảo tưởng. Các yêu cầu dài hơn có thể thêm chứng cứ nhưng cũng có thể giới thiệu các yếu tố gây mất tập trung. Nhiều tài liệu được thu hồi có thể cải thiện khả năng nhớ trong khi giảm độ chính xác. Các trích dẫn có thể trông đáng tin cậy ngay cả khi chúng chỉ đến những nguồn yếu. Một mô hình thứ hai có thể phát hiện một số sai sót nhưng vẫn lặp lại cùng một nhận thức sai lầm vì cả hai hệ thống đều học các mẫu tương tự.

Các nhóm nên đo lường sự thất bại quan trọng đối với ứng dụng của họ: tỷ lệ tuyên bố không hỗ trợ, độ chính xác của trích dẫn, chất lượng kiêng kỵ, thời gian sửa chữa hoặc tỷ lệ các câu trả lời rủi ro cao được xem xét trước khi hành động. Một hệ thống từ chối mỗi câu hỏi có thể ghi điểm tốt về độ factual nhưng không phục vụ người dùng của nó. Một mục tiêu hữu ích cân bằng độ bao phủ được hỗ trợ với hành vi thận trọng khi chứng cứ còn mỏng.

Kết luận

Ảo tưởng trong AI là một vấn đề đầu ra không được hỗ trợ, không phải là vấn đề về phong cách. Câu trả lời có thể lưu loát, chi tiết và sai cùng một lúc. Các hệ thống đáng tin cậy tách biệt tạo ra từ việc tiếp thu chứng cứ, kiểm tra các tuyên bố ở cấp độ phù hợp, phơi bày sự không chắc chắn và giữ con người kiểm soát các quyết định quan trọng. Căn cứ với các nguồn hiện tại giảm rủi ro, trong khi kiểm tra trích dẫn và đánh giá cụ thể ứng dụng cho thấy liệu kiểm soát có thực sự hoạt động hay không.

Tài liệu tham khảo

• Tài liệu hướng dẫn bắt đầu của Trình duyệt Thu thập Không có Tàn tích
• Tổng quan về sản phẩm Trình duyệt Thu thập Không có Tàn tích
• Hướng dẫn Thu thập Gia tăng Tạo thành Không có Tàn tích
• Các dự án mã nguồn mở của Scrapeless trên GitHub