Chunking là gì?

Tại sao cần chia nhỏ tài liệu trước khi truy xuất?

Tài liệu thường chứa nhiều chủ đề, trong khi người dùng chỉ hỏi về một vấn đề cụ thể. Việc tách nhỏ có thể giúp hệ thống truy xuất chọn được phần liên quan mà không cần cung cấp toàn bộ nguồn cho mô hình trả lời. Nó cũng giúp chỉ mục có biểu diễn tập trung hơn. Cả một hướng dẫn được nhúng thành một bản ghi duy nhất có thể làm mờ ranh giới giữa các phần không liên quan.

The kiến trúc tạo sinh tăng cường truy xuất sử dụng thông tin bên ngoài đã được truy xuất để hỗ trợ việc sinh nội dung. Việc chia khối (chunking) giúp xác định thông tin bên ngoài đó trông như thế nào trong một corpus thực tế. Nó không tạo ra bằng chứng bị thiếu. Nếu trang gốc không bao giờ chứa câu trả lời hoặc quá trình trích xuất đã loại bỏ nó, thì thay đổi bộ chia không thể khôi phục nội dung đã mất.

Các Phân Tách Cố Định và Nhận Biết Cấu Trúc Khác Nhau Như Thế Nào?

Một bộ chia kích thước cố định chia văn bản theo một độ dài được cấu hình sẵn. Một bộ chia nhận biết cấu trúc sử dụng các ranh giới như tiêu đề, đoạn văn, danh sách, bảng hoặc khối mã, thường kèm theo một giới hạn kích thước. Một chiến lược đệ quy có thể ưu tiên các ranh giới cấu trúc lớn hơn và quay lại dùng các ranh giới nhỏ hơn khi một phần vượt quá kích thước đầu vào cho phép.

Đối với một chính sách hoàn trả giả định, hãy giữ nguyên tuyên bố về điều kiện đủ điều kiện cùng với ngoại lệ theo sau nó. Tách các câu đó ra có thể khiến một đoạn văn được truy xuất có vẻ cho phép điều gì đó mà toàn bộ chính sách lại loại trừ. Đối với một bảng, hãy giữ nguyên các nhãn hàng và cột giải thích cho từng giá trị. Đơn vị đúng sẽ đi sau bằng chứng mà người đọc cần, thay vì coi mọi chuỗi token đều tự thân có ý nghĩa như nhau.

Phân Cụm Ngữ Nghĩa Mang Lại Điều Gì?

Phân đoạn theo ngữ nghĩa sử dụng một biểu diễn của nội dung để chọn ranh giới dựa trên sự thay đổi về chủ đề hoặc ý nghĩa. Một thiết kế phổ biến so sánh các biểu diễn câu liền kề và bắt đầu một nhóm mới khi mối quan hệ giữa chúng thay đổi đủ nhiều. Hành vi của nó phụ thuộc vào mô hình embedding, phương pháp phân đoạn và quy tắc xác định ranh giới.

Việc tách theo ngữ nghĩa làm tăng xử lý và có thể tạo ra các ranh giới khác với cấu trúc tài liệu của tác giả. Hãy so sánh nó với một đường cơ sở đơn giản hơn trước khi áp dụng. Một trang với các tiêu đề rõ ràng có thể chỉ cần tách theo cấu trúc, trong khi một bản ghi dài, không có cấu trúc có thể hưởng lợi từ một phương pháp khác. Đừng cho rằng từ “ngữ nghĩa” đảm bảo các đoạn văn mạch lạc hơn hoặc câu trả lời tốt hơn. Bằng chứng được truy xuất phải cho thấy rõ sự cải thiện đối với các câu hỏi và tập tài liệu của bạn.

Bạn Nên Chọn Kích Thước Chunk và Mức Độ Chồng Lặp Như Thế Nào?

Kích thước đoạn văn phải phù hợp với các giới hạn đầu vào và lượng bằng chứng cần thiết để trả lời các câu hỏi mục tiêu. Phần chồng lấn lặp lại một số nội dung trên các đơn vị liền kề để thông tin gần ranh giới vẫn có thể truy cập được. Phần chồng lấn lớn hơn cũng có thể trả về các đoạn bị lặp lại và tiêu tốn ngữ cảnh trả lời mà không thêm bằng chứng mới.

Chọn ứng viên, rồi đánh giá họ bằng các câu hỏi tiêu biểu. Bao gồm một câu hỏi được trả lời bằng một đoạn văn ngắn, một câu hỏi yêu cầu một ngoại lệ liền kề, và một câu hỏi yêu cầu nhiều phần. Không có một số lượng token duy nhất phù hợp với mọi loại nguồn và mọi mô hình. Nghiên cứu về Thực tiễn cấu hình RAG củng cố nhu cầu xem xét pipeline như một tập hợp các lựa chọn tương tác với nhau thay vì coi một tham số là tối ưu trong mọi trường hợp.

Những Việc Cần Diễn Ra Trước Khi Chia Khối (Chunking) Nội Dung Web?

Nội dung web cần được thu thập và chuẩn hóa trước khi được phân tách. Loại bỏ điều hướng không liên quan và các phần khung trang trùng lặp, đồng thời giữ nguyên các tiêu đề, danh sách, mối quan hệ trong bảng và các cấu trúc mang ý nghĩa khác. Giữ lại nguồn thô khi được cho phép để người xem có thể xác định nơi thông tin bị mất hoặc bị thay đổi.

The Bước thu thập nội dung của Web Unlocker cung cấp tài liệu cho bước xử lý tiếp theo. Ứng dụng của bạn vẫn chịu trách nhiệm trích xuất và phân tách. quy trình semantic chunking phát triển sự tách biệt đó. Một phản hồi thành công có thể chứa một tài liệu ngoài dự kiến, vì vậy hãy kiểm tra định danh trang và nội dung chính trước khi coi nó là đầu vào hợp lệ. Nếu không, bộ chia có thể tạo ra các đoạn hoàn hảo của một trang lỗi.

Những Metadata Nào Nên Đi Kèm Với Một Chunk?

Một chunk nên giữ được liên kết tới phiên bản nguồn của nó và vị trí của nó trong phiên bản đó. Metadata hữu ích gồm có định danh nguồn, đường dẫn tiêu đề, vị trí đoạn, phiên bản nội dung, ngữ cảnh bộ sưu tập và phạm vi truy cập. Văn bản có thể mang một tiền tố tiêu đề ngắn gọn khi cần để diễn giải đoạn văn ngoài trang gốc.

The mô hình dữ liệu provenance cung cấp một bộ từ vựng cho thông tin dẫn xuất và các hoạt động nguồn của nó. Trong một chỉ mục thực tế, cùng nguyên tắc đó có nghĩa là một trích dẫn phải trỏ tới tài liệu thực sự đã tạo ra đoạn được truy xuất. Không tái sử dụng một định danh đoạn cho văn bản không liên quan nếu không có ranh giới phiên bản. Tài liệu đã thay đổi hoặc bị xóa phải cập nhật các chunk dẫn xuất của chúng tương ứng.

Làm Thế Nào Để Kiểm Tra Các Ranh Giới Có Hoạt Động Tốt Không?

Kiểm tra chunking bằng các câu hỏi có đoạn hỗ trợ đã được rà soát. Xem liệu truy xuất có trả về bằng chứng đầy đủ không, liệu các ràng buộc quan trọng có vẫn được đính kèm không, và liệu phần trùng lặp có lấn át thông tin khác biệt không. Sau đó đánh giá liệu câu trả lời có sử dụng chính xác văn bản được truy xuất hay không. Một chunk trông gọn gàng về mặt thị giác là chưa đủ.

The nghiên cứu khung đánh giá RAG phân biệt các mối quan tâm về truy xuất và sinh. Áp dụng sự tách biệt đó trong quá trình rà soát. Nếu thiếu chunk đúng, hãy điều tra việc chia nhỏ và truy xuất. Nếu bằng chứng đúng có mặt nhưng câu trả lời bỏ qua một giới hạn, hãy điều tra việc lắp ghép ngữ cảnh hoặc quá trình sinh. Giữ cố định corpus và bộ câu hỏi khi so sánh các bộ chia để kết quả đo được sự thay đổi ranh giới.

Khi Nào Nên Truy Xuất Hơn Một Chunk?

Truy xuất tài liệu liên quan khi một câu hỏi cần ngữ cảnh vượt ra ngoài một đơn vị được lập chỉ mục đơn lẻ. Một hệ thống có thể tìm kiếm các đoạn nhỏ hơn và mở rộng tới một phần cha, khôi phục các đoạn liền kề, hoặc kết hợp nhiều nguồn riêng biệt. Việc mở rộng phải bổ sung bằng chứng liên quan và tôn trọng ngân sách ngữ cảnh của mô hình trả lời.

Với một câu hỏi tích hợp giả định, một đoạn có thể định nghĩa xác thực trong khi một đoạn khác giải thích các điều kiện tiên quyết của thao tác. Câu trả lời cần cả hai, nhưng không cần mọi mô tả endpoint không liên quan. Giữ lại các mối quan hệ tài liệu để việc mở rộng có thể có chủ đích. Đồng thời kiểm tra mâu thuẫn giữa các phiên bản trước khi hợp nhất văn bản. Một câu trả lời được lắp ghép từ các chunk riêng lẻ có vẻ liên quan vẫn có thể sai nếu một đoạn mô tả cấu hình cũ còn đoạn khác mô tả cấu hình hiện tại.

Một Bản Ghi Thay Đổi Chunking Nên Bao Gồm Những Gì?

Một bản ghi thay đổi chunking nên xác định corpus nguồn, cấu hình bộ chia, các phiên bản đoạn thu được, và phương pháp đánh giá dùng để so sánh chúng. Giữ lại cấu hình trước đủ lâu để giải thích một hồi quy. Việc thay đổi ranh giới có thể làm thay đổi định danh, vùng chồng lắp và thứ hạng truy xuất ngay cả khi bản thân tài liệu nguồn không hề thay đổi.

Với một hướng dẫn giả định có bảng, một bộ chia được cải tiến có thể giữ nhãn cột cùng mỗi hàng liên quan. Bước chấp nhận nên hỏi liệu các câu hỏi về bảng giờ đây có truy xuất được bằng chứng có thể diễn giải hay không. Tổng số lượng chunk không thể trả lời câu hỏi đó. Nó có thể giúp giải thích chi phí xử lý, nhưng rà soát vẫn cần các đoạn được trả về và các câu trả lời thu được.

Lên kế hoạch chuyển đổi sao cho các đơn vị cũ và mới có thể phân biệt được. Nếu cả hai phiên bản đều có thể tìm kiếm cùng lúc, bằng chứng trùng lặp có thể chiếm ưu thế trong tập kết quả hoặc tạo ra trích dẫn gây hiểu lầm. Xây dựng bộ sưu tập thay thế riêng hoặc dùng một bộ lọc phiên bản rõ ràng, sau đó so sánh cùng một bộ câu hỏi đã được chấm. Khi bản thay thế được chấp nhận, loại bỏ các đơn vị bị thay thế theo vòng đời đã định. Mục đích là ranh giới bằng chứng rõ ràng hơn và thay đổi truy xuất đo lường được, chứ không chỉ là một phân bố độ dài đoạn khác đi.

Kết luận

Chunking quyết định các đơn vị bằng chứng mà hệ thống truy xuất của bạn có thể trả về. Bảo toàn ý nghĩa nguồn trước khi điều chỉnh kích thước, so sánh chiến lược trên cùng các câu hỏi, và kiểm tra cả sự hỗ trợ đầy đủ lẫn ngữ cảnh trùng lặp. Giữ mọi đoạn được nối với phiên bản nguồn của nó để các cập nhật trong tương lai và trích dẫn vẫn đáng tin cậy.

Thu thập trang bằng Scrapeless Web Unlocker, so sánh các bộ chia trên chính corpus của bạn, và dùng Scrapeless pricing để lập ngân sách cho giai đoạn thu thập nguồn.

Tài liệu tham khảo

• Khả năng của Scrapeless Web Unlocker
• Tổng quan sản phẩm Web Unlocker
• Đánh giá ranh giới ngữ nghĩa cho dữ liệu web