Một Pipeline Truy xuất là gì?

Trình duyệt Tác nhân Scrapeless hỗ trợ thu thập nội dung web dựa trên trình duyệt.

Một pipeline truy xuất là một chuỗi các giai đoạn xử lý dùng để tìm và chuẩn bị thông tin liên quan đến một yêu cầu. Nó có thể nạp dữ liệu tài liệu, xây dựng chỉ mục, diễn giải truy vấn, truy xuất các ứng viên, xếp hạng chúng và trả về các bằng chứng đã được chọn. Giai đoạn sinh (generation) có thể diễn ra sau truy xuất, nhưng một pipeline truy xuất cũng có thể cung cấp kết quả tìm kiếm trực tiếp mà không cần mô hình ngôn ngữ.

Đối với một ứng dụng AI, nhiệm vụ của pipeline là cung cấp thông tin có thể hỗ trợ cho câu trả lời được yêu cầu. Văn bản tương tự không phải lúc nào cũng là bằng chứng đủ. Hãy thiết kế từng giai đoạn dựa trên những gì giai đoạn tiếp theo cần, và giữ lại đủ thông tin nguồn để có thể kiểm tra lý do tại sao một tài liệu được chọn.

Các đường dẫn Ngoại tuyến và Thời điểm Yêu cầu

Một pipeline truy xuất thường có một tuyến tiếp nhận dùng để chuẩn bị nội dung có thể tìm kiếm được và một tuyến tại thời điểm yêu cầu dùng để chọn thông tin cho một truy vấn. Tiếp nhận có thể bao gồm thu thập, trích xuất văn bản, chuẩn hóa, chia đoạn và lập chỉ mục. Công việc tại thời điểm yêu cầu có thể bao gồm xử lý truy vấn, lọc quyền truy cập, truy xuất ứng viên, xếp hạng và lắp ráp ngữ cảnh.

Sự tách biệt này rất quan trọng vì những lỗi khác nhau xảy ra trong mỗi giai đoạn. Một tài liệu bị thiếu không thể được khôi phục bằng việc xếp hạng tốt hơn nếu nó chưa bao giờ được đưa vào chỉ mục. Một tài liệu liên quan đã được lập chỉ mục vẫn có thể bị bỏ sót bởi một truy vấn yếu hoặc một bộ lọc quá nghiêm ngặt. Giữ lại các quan sát ở cấp độ từng giai đoạn để những trường hợp đó không bị gộp lại thành một nhãn mơ hồ như RAG kém.

Bản gốc nghiên cứu tạo sinh tăng cường truy xuất kết hợp một bộ tạo với thông tin đã được truy xuất. Trong một ứng dụng, mối quan hệ đó tạo ra một hợp đồng rõ ràng: truy xuất cung cấp bằng chứng ứng viên, trong khi bộ tạo sử dụng chúng để tạo ra một câu trả lời. Hãy đánh giá cả hai giai đoạn vì một bộ tạo giỏi không thể bù đắp một cách đáng tin cậy cho nguồn tài liệu bị thiếu.

Việc Tiếp Nhận Bắt Đầu với Một Bản Ghi Nguồn

Việc tiếp nhận tài liệu phải giữ nguyên danh tính và nguồn gốc của từng nguồn trước khi văn bản được chuyển đổi. Hãy lưu giữ một mã định danh chuẩn, vị trí nguồn, thời điểm thu thập và thông tin phiên bản liên quan. Gắn kết các trường này với văn bản đã trích xuất thay vì chỉ nhúng chúng trong tên tệp, vốn có thể bị mất trong quá trình xử lý.

Các nguồn web có thể yêu cầu tương tác trình duyệt trước khi nội dung liên quan của chúng khả dụng. Quy trình làm việc của Trình duyệt Agent thuộc về giai đoạn thu thập đó. Sau khi thu thập, ứng dụng của bạn vẫn quyết định phần văn bản nào là hữu ích, liệu nguồn đó có nằm trong phạm vi hay không, và bản ghi đó nên được lập chỉ mục như thế nào.

Đối với một bộ tài liệu hỗ trợ sản phẩm giả định, hãy lưu mỗi trang cấu hình dưới dạng một nguồn kèm theo phiên bản sản phẩm của nó. Loại bỏ điều hướng lặp lại mà không được xóa các cảnh báo hoặc điều kiện áp dụng. Nếu một bảng chứa câu trả lời, hãy giữ nguyên mối quan hệ giữa các nhãn hàng và các giá trị của chúng. Việc làm phẳng mọi ô thành một dòng văn bản không có cấu trúc có thể khiến việc truy xuất sau này gây hiểu lầm ngay cả khi tất cả các từ vẫn còn hiện diện.

Việc chia nhỏ phải giữ nguyên các đơn vị có thể trả lời được

Chia nhỏ tài liệu thành các đơn vị mà một bộ truy xuất có thể chọn và một bộ đọc phía sau có thể diễn giải. Đơn vị phù hợp phụ thuộc vào cấu trúc tài liệu và các câu hỏi mà người dùng đặt ra. Một định nghĩa ngắn có thể phù hợp trong một đoạn văn; một câu trả lời theo quy trình có thể cần nhiều bước và một cảnh báo đi kèm.

Tránh chọn kích thước đoạn chỉ vì nó phổ biến trong các ví dụ. Hãy kiểm tra các tài liệu tiêu biểu và đo lường xem các đoạn được truy xuất có chứa đầy đủ thông tin hỗ trợ hay không. Giữ nguyên các tiêu đề, mã định danh nguồn, và các độ lệch (offset) hoặc một cách khác để định vị đoạn văn trong tài liệu gốc. Nếu một đoạn bắt đầu từ giữa một điều kiện, bộ tạo câu trả lời có thể bỏ sót nội dung mà hướng dẫn đó áp dụng.

Các khối chồng lấn có thể duy trì tính liên tục, nhưng phần chồng lấn cũng có thể tạo ra bằng chứng lặp lại. Loại bỏ trùng lặp trong quá trình tổng hợp ngữ cảnh và giữ liên kết quay lại nguồn đầy đủ. Kết quả truy xuất nên cho giai đoạn tiếp theo biết đoạn văn đó có ý nghĩa gì và nó đến từ đâu, chứ không chỉ cung cấp một điểm số độ tương đồng cao.

Truy xuất ứng viên và xếp hạng giải quyết những vấn đề khác nhau

Giai đoạn truy xuất ứng viên tìm ra một tập hợp có thể quản lý được các bản ghi có khả năng liên quan, trong khi xếp hạng quyết định bản ghi nào trong số đó đáp ứng yêu cầu tốt nhất. Truy xuất theo từ khóa có thể hữu ích với tên và định danh chính xác. Truy xuất đặc dày sử dụng các biểu diễn đã được học để so sánh truy vấn và đoạn văn. Thiết kế lai có thể kết hợp các tín hiệu khi tác vụ hưởng lợi từ cả hai cách.

The kiến trúc truy xuất đoạn văn dày đặc minh họa việc truy xuất với các câu hỏi và đoạn văn được mã hóa riêng biệt. Cơ chế đó không khiến cho sự tương đồng ngữ nghĩa tương đương với việc hỗ trợ về mặt sự kiện. Một đoạn văn về lần phát hành trước của một sản phẩm có thể giống với một câu hỏi về phiên bản hiện tại trong khi lại trả lời cho phiên bản sai.

Áp dụng các bộ lọc cho phạm vi nguồn, quyền truy cập, phiên bản hoặc thời gian khi những ràng buộc đó là một phần của tác vụ. Sau đó đánh giá mức độ liên quan trong tập hợp hợp lệ đó. Không truy xuất nội dung bị cấm vào ngữ cảnh của mô hình rồi mong đợi bộ sinh sửa chữa lỗi kiểm soát truy cập sau đó. Kiểm tra quyền phải được thực hiện trước khi công bố bằng chứng.

Tập hợp ngữ cảnh mà không làm mất nguồn gốc

Việc tổng hợp ngữ cảnh sẽ chọn lọc và tổ chức bằng chứng được truy xuất cho thành phần tiêu thụ tiếp theo. Trong một ứng dụng RAG, thành phần tiêu thụ đó thường là một mô hình. Bao gồm các mã định danh nguồn và các thông tin bổ sung liên quan để câu trả lời có thể được truy xuất nguồn gốc. Loại bỏ các bản trùng lặp và nội dung không liên quan mà không loại bỏ các điều kiện làm cho một mệnh đề trở nên đúng.

Một đoạn văn chứa một con số có thể cần đơn vị, tiêu đề bảng và ngày hiệu lực của nó. Nếu việc nén loại bỏ những chi tiết đó, một ngữ cảnh ngắn có thể trở nên kém hữu ích hơn một ngữ cảnh dài hơn. Nghiên cứu về vị trí thông tin trong các ngữ cảnh dài cũng cho thấy lý do vì sao chỉ năng lực thôi là chưa đủ. Hãy đánh giá ngữ cảnh mà mô hình thực sự nhận được thay vì chỉ danh sách ứng viên thô của bộ truy xuất.

Quy trình làm việc retrieval web trực tiếp kiểu agentic thêm các quyết định về thời điểm cần một lần tìm kiếm hoặc kiểm tra khác. Một pipeline cố định có thể phù hợp hơn khi những quyết định đó có thể dự đoán được. Dù theo cách nào, việc lắp ráp ngữ cảnh cũng nên ghi lại những nguồn nào đã được chọn và những khẳng định nào vẫn còn thiếu bằng chứng.

Đo lường Khả năng Truy xuất Trước Khi Đánh giá Câu trả Lời

Đánh giá truy xuất đặt câu hỏi liệu pipeline có trả về bằng chứng cần thiết cho một tập câu hỏi được xác định hay không. Xây dựng các ví dụ với những nguồn liên quan đã biết hoặc nhãn mức độ liên quan đã được rà soát. Kiểm tra xem sự thiếu hỗ trợ bắt nguồn từ khâu nạp dữ liệu, truy xuất ứng viên, lọc, xếp hạng hay lắp ráp ngữ cảnh.

Đo lường mức độ liên quan và độ bao phủ một cách riêng biệt. Một danh sách kết quả có thể hầu hết đều liên quan nhưng lại bỏ sót đúng đoạn văn cần thiết để trả lời một câu hỏi phụ bắt buộc. Một pipeline cũng có thể truy xuất đúng nguồn nhưng chỉ đưa ra một phần mảnh không đầy đủ. Hãy đánh giá ở cấp độ được bước trả lời sử dụng, bao gồm gói bằng chứng đã lắp ráp cuối cùng.

Giữ việc đánh giá câu trả lời tách biệt. Bộ sinh có thể bỏ qua bằng chứng hữu ích hoặc trích dẫn một nguồn không hỗ trợ cho câu của nó. Một bài kiểm tra đầu-cuối nên đánh giá sự hỗ trợ cho từng khẳng định, tính đầy đủ và mức độ bất định phù hợp. Tránh dùng độ trôi chảy của câu trả lời làm đại diện cho chất lượng truy xuất; văn bản mượt mà có thể che giấu một tài liệu bị thiếu hoặc nguồn đã lỗi thời.

Tính Mới Đòi Hỏi Một Chính Sách Cập Nhật

Một pipeline truy xuất cần có chính sách làm mới, thay thế và xóa các nguồn đã được lập chỉ mục. Dấu thời gian thu thập cho biết khi nào hệ thống của bạn quan sát một trang; nó không nhất thiết xác định khi nào trang được xuất bản hoặc khi nào sự kiện được mô tả đã xảy ra. Hãy giữ rõ những phân biệt này khi có thể.

Đối với một tập tài liệu giả định về hướng dẫn phát hành, một phiên bản trang mới có thể làm mất hiệu lực các khuyến nghị cấu hình cũ hơn. Cập nhật bản ghi nguồn và loại bỏ các mảnh đã lỗi thời khỏi truy xuất đang hoạt động theo chính sách phiên bản. Giữ cả hai mà không có siêu dữ liệu rõ ràng có thể khiến hệ thống trình bày các hướng dẫn mâu thuẫn như thể chúng đều hiện hành.

Việc xóa cũng cần sự cẩn trọng tương tự. Xóa một tệp nguồn là chưa đầy đủ nếu các mảnh của nó vẫn còn trong chỉ mục hoặc trong gói bằng chứng được lưu trong bộ nhớ đệm. Theo dõi các phụ thuộc để việc cập nhật tác động đến cả biểu diễn có thể tìm kiếm cũng như nơi lưu trữ. Xác định cách ứng dụng phản hồi khi bằng chứng từng được trích dẫn không còn khả dụng, thay vì lặng lẽ thay thế nó bằng một nguồn không liên quan.

Chẩn đoán Một Pipeline Bằng Các Kiểm Tra Ranh Giới

Các kiểm tra ranh giới kiểm tra các hiện vật được trao đổi giữa những giai đoạn truy xuất. Sau bước trích xuất, hãy kiểm tra xem nội dung liên quan có tồn tại không. Sau bước chia mảnh, kiểm tra xem các đơn vị hoàn chỉnh có còn nguyên vẹn không. Sau bước truy xuất, kiểm tra xem đơn vị liên quan có nằm trong tập ứng viên không. Sau bước lắp ráp, kiểm tra xem nó có đến được mô hình với các điều kiện cần thiết hay không.

Bắt đầu với một tập tài liệu nhỏ và một bộ câu hỏi đã được rà soát trước khi tối ưu hóa thông lượng. Giữ cấu hình xử lý và phiên bản tập tài liệu gắn liền với kết quả đánh giá. Nếu sau này bạn thay đổi mô hình embedding hoặc quy tắc trích xuất, hãy chạy lại cùng các trường hợp đó để xem những ranh giới nào đã thay đổi. Một phép đánh giá nhỏ nhưng có thể truy vết hữu ích hơn nhiều so với một điểm số lớn mà không thể khôi phục lại nguồn.

Tách riêng hạ tầng thu thập khỏi chi phí lập chỉ mục và suy luận. Các tùy chọn định giá Scrapeless liên quan đến các dịch vụ thu thập được dùng trong thiết kế của bạn. Lưu trữ chỉ mục, xếp hạng và các lần gọi mô hình có hệ thống tính chi phí riêng. Giữ nguyên những phân loại này giúp dễ cải thiện giai đoạn thực sự chi phối chi phí hoặc độ trễ.

Thông Điệp Chính

Một pipeline truy xuất biến một yêu cầu thành các bằng chứng đã chọn thông qua những giai đoạn xử lý rõ ràng. Giữ nguyên danh tính nguồn, truy xuất trong phạm vi hợp lệ và đánh giá chính xác những đoạn văn được chuyển xuống phía dưới. Khi một câu trả lời thất bại, hãy kiểm tra các ranh giới giai đoạn trước khi cho rằng mô hình cần một prompt khác.