Một Khối Ngữ Nghĩa Là Gì?

Trình duyệt Scrapeless Scraping có thể thu thập các tài liệu web đã được hiển thị mà cấu trúc và siêu dữ liệu nguồn của chúng được bảo tồn trước khi phân đoạn ngữ nghĩa để lấy lại.

Tóm tắt

Một khối ngữ nghĩa là một đơn vị văn bản có thể truy xuất được, được tổ chức xung quanh một chủ đề hoặc đề xuất hợp lý. Ranh giới của nó theo nghĩa hơn là chỉ một số ký tự hoặc token cố định.
Phân đoạn ngữ nghĩa nhằm cải thiện độ chính xác khi truy xuất. Một truy vấn nên khôi phục ý tưởng liên quan mà không mang theo các văn bản không liên quan xung quanh.
Nhỏ hơn không phải lúc nào cũng tốt hơn. Rất nhỏ các phần có thể mất định nghĩa, điều kiện, tài liệu tham khảo và ngữ cảnh cần thiết để trả lời.
Cấu trúc tài liệu là bằng chứng quý giá. Các tiêu đề, đoạn văn, danh sách, bảng và mối quan hệ giữa các phần thường tạo ra ranh giới tốt hơn so với chỉ việc nhúng các thay đổi.
Chunking phải được đánh giá với các câu hỏi thực tế. Không có kích thước hay phương pháp phổ quát nào chiến thắng trên mọi tập hợp và bộ tìm kiếm.

Khối Nghĩa Được Định Nghĩa

Một khối ngữ nghĩa là một đoạn nội dung duy trì một đơn vị ý nghĩa nhất quán cho việc tìm kiếm, truy xuất hoặc bối cảnh mô hình ngôn ngữ. Đoạn này có thể chứa một mệnh đề, một giải thích ngắn, một bước quy trình, một hàng bảng với các tiêu đề của nó, hoặc vài đoạn văn đề cập đến cùng một tiểu đề. Đặc điểm định nghĩa là sự thống nhất khái niệm, không phải độ dài cố định.

Semantic chunking cố gắng đặt ranh giới ở nơi chủ đề thay đổi. Một số phương pháp so sánh các embedding của các câu liền kề và chia tách khi độ tương đồng giảm. Những phương pháp khác sử dụng một mô hình ngôn ngữ, phân tích diễn ngôn, tiêu đề hoặc bố cục tài liệu. Nhiều hệ thống sản xuất kết hợp các quy tắc cấu trúc với tín hiệu ngữ nghĩa vì bố cục thường mang ý nghĩa mà các embedding câu thông thường bỏ lỡ.

Thuật ngữ này phổ biến trong việc tạo ra nội dung tăng cường từ việc truy xuất, nơi mà các đoạn trở thành các đơn vị có thể tìm kiếm. Bộ truy xuất chọn các đoạn liên quan đến một câu hỏi, và bộ tạo nội dung đọc chúng như bằng chứng. Một ranh giới kém có thể che giấu sự thật cần thiết hoặc tách nó ra khỏi một tiêu chuẩn.

Tại sao Ranh Giới Chunk Quan Trọng

Ranh giới đoạn xác định những gì bộ thu hồi có thể trả về. Nếu một đoạn chứa nhiều chủ đề không liên quan, sự tương đồng ngữ nghĩa có thể khớp nó vì lý do sai và bộ tạo nhận được văn bản gây phân tâm. Nếu một đoạn quá hẹp, một đại từ có thể mất tham chiếu của nó, một số có thể mất đơn vị của nó, hoặc một quy tắc có thể mất ngoại lệ trong đoạn tiếp theo.

Nghiên cứu phân đoạn tài liệu cho thấy rằng các phân chia dựa trên quy tắc thường được sử dụng có thể tạo ra các đơn vị quá rộng hoặc quá bị phân mảnh. Các Bài viết về phát hiện ACL về phân đoạn tài liệu cho RAG đánh giá phân đoạn như một vấn đề truy xuất cơ bản thay vì coi nó như là một bước xử lý trung lập.

Chunking cũng ảnh hưởng đến chi phí. Nhiều chunk nhỏ hơn làm tăng số lượng mục chỉ mục và có thể cần phải truy xuất nhiều đơn vị hơn để tái tạo ngữ cảnh. Các chunk lớn giảm số lượng mục nhưng tiêu tốn nhiều ngữ cảnh mô hình hơn cho mỗi kết quả. Sự cân bằng hữu ích phụ thuộc vào độ chi tiết của câu hỏi, cấu trúc tài liệu, hành vi nhúng, sắp xếp lại và giới hạn ngữ cảnh của bộ sinh.

So sánh các chiến lược phân đoạn

Chiến lược	Sức mạnh	Sự yếu đuối phổ biến
Kích thước cố định	Đơn giản, nhanh chóng và dễ dàng tái tạo.	Ranh giới có thể cắt qua ý tưởng hoặc bảng.
Phân tách cấu trúc đệ quy	Sử dụng các đoạn văn, dòng, và các bộ phân tách khác trước khi quay lại kích thước.	I'm sorry, but I need the specific text that you would like me to translate to Vietnamese. Please provide the text, and I'll be happy to assist you!
Chia tách nhận thức tài liệu	Sure! Please provide the text you want me to translate.	Sure, please provide the text you'd like to have translated.
Phân tách ngữ nghĩa dựa trên nhúng	Phát hiện sự thay đổi về nghĩa giữa các đơn vị lân cận.	Ngưỡng là nhạy cảm với tập hợp và thêm tính toán.
Mô hình hỗ trợ phân tách	Có thể xác định các đề xuất và ranh giới diễn ngôn.	Thêm độ trễ, chi phí và sự biến đổi đầu ra.
Hybrid split	Kết hợp cấu trúc, giới hạn kích thước và kiểm tra ngữ nghĩa.	Có nhiều tham số hơn để đánh giá và duy trì.

Các khối kích thước cố định vẫn là một tiêu chuẩn hữu ích. Một phương pháp phức tạp hơn nên chứng minh rằng nó cải thiện khả năng tìm kiếm hoặc chất lượng câu trả lời trên tập hợp dữ liệu mục tiêu. Sự tinh vi ngữ nghĩa không phải là một lợi ích nếu nó khiến các ranh giới trở nên khó tái tạo hơn mà không cải thiện chỉ số ứng dụng.

Các Ví Dụ Về Đơn Vị Ngữ Nghĩa Tốt

Điều khoản chính sách có ngoại lệ

Giữ quy tắc, phạm vi và các ngoại lệ rõ ràng của nó cùng nhau để việc lấy thông tin không thể trình bày quy tắc như là phổ quát.

Bước quy trình có các yêu cầu tiên quyết

Bao gồm hành động, trạng thái cần thiết và kết quả mong đợi khi mỗi phần cần thiết để thực hiện bước một cách an toàn.

Hàng bảng có tiêu đề

Lặp lại hoặc đính kèm tiêu đề cột và ngữ cảnh bảng để các giá trị riêng lẻ giữ nguyên ý nghĩa và đơn vị của chúng.

Định nghĩa với giải thích địa phương

Giữ thuật ngữ đã được đặt tên và các câu phân biệt nó với các khái niệm lân cận.

Siêu dữ liệu nên mang thông tin không cần phải nằm trong văn bản của từng đoạn: URL nguồn, ID tài liệu, đường dẫn phần, phiên bản xuất bản, ngôn ngữ, quyền pháp lý và phạm vi truy cập. Việc lấy thông tin có thể lọc theo các trường đó trước khi xếp hạng ngữ nghĩa.

Một ống dẫn phân đoạn ngữ nghĩa thực tế

Một ống dẫn thực tế phân tích cấu trúc trước và áp dụng logic ngữ nghĩa sau. Giữ lại tiêu đề, danh sách, bảng, khối mã và vị trí nguồn. Chuẩn hóa khoảng trắng và tiếng ồn điều hướng mà không làm phẳng nội dung thành một chuỗi. Tạo các khối ứng cử từ các đơn vị tài liệu tự nhiên, sau đó hợp nhất hoặc tách các ứng cử viên theo kích thước và ràng buộc tính nhất quán.

Định nghĩa các câu hỏi mà bộ sưu tập phải trả lời và độ chi tiết của bằng chứng mà chúng cần.
Phân tích cấu trúc nguồn và gán các định danh tài liệu và phần ổn định.
Tạo các ứng cử viên câu hoặc khối mà không tách nhãn khỏi giá trị.
Hợp nhất các ứng cử viên liền kề trong khi chúng chia sẻ một chủ đề và phù hợp với ngân sách ngữ cảnh mục tiêu.
Tách các đơn vị quá lớn tại ranh giới cấu trúc hoặc ngữ nghĩa mạnh mẽ nhất.
Chỉ thêm một chút chồng chéo nơi các tham chiếu chéo giữa các ranh giới biện minh cho điều đó.
Lập chỉ mục các đoạn với siêu dữ liệu và giữ lại một đường dẫn trở về nguồn đầy đủ.
Đánh giá việc lấy thông tin trước khi điều chỉnh lời nhắc đáp án.

Đối với các nguồn web, nội dung đã được hiện ra có thể khác với HTML ban đầu. Trình duyệt Lấy thông tin không có Scrapeless có thể lưu lại tài liệu đã được tạo bởi JavaScript. Ống dẫn phải bảo tồn tiêu đề và URL chuẩn trước khi tách đoạn để đơn vị được lấy vẫn giữ được khả năng truy tìm.

Làm thế nào để đánh giá các khối ngữ nghĩa

Đánh giá các khối với các câu hỏi tiêu biểu và các đoạn nội dung có liên quan đã biết. Nhớ lấy thông tin hỏi liệu bằng chứng có xuất hiện trong số các ứng cử viên không. Độ chính xác hỏi bao nhiêu văn bản được lấy là có liên quan. Chất lượng ranh giới hỏi liệu khối có chứa ngữ cảnh cần thiết để diễn giải câu trả lời hay không. Chất lượng trích dẫn hỏi liệu một người đánh giá có thể theo dõi khối quay trở lại vị trí nguồn chính xác hay không.

Bao gồm các loại câu hỏi khác nhau: sự thật chính xác, định nghĩa, quy trình nhiều bước, so sánh giữa các phần, tra cứu bảng và các câu hỏi không có câu trả lời trong tập hợp. Nhóm cuối cùng kiểm tra liệu việc lấy thông tin có trả về một kết quả gần đúng gây hiểu lầm hay không. So sánh phân đoạn ngữ nghĩa với một tiêu chuẩn cố định hoặc đệ quy dưới cùng một trình lấy và cài đặt top-k.

Điểm số phản hồi end-to-end là hữu ích nhưng có thể che giấu các khuyết điểm trong việc lấy thông tin vì một mô hình có thể trả lời từ kiến thức trước đó. Kiểm tra văn bản đã được lấy trực tiếp và sử dụng các câu hỏi mà câu trả lời phụ thuộc vào tập hợp. Bài nghiên cứu tăng cường việc lấy thông tin giải thích lý do tại sao bằng chứng đã được lấy và kiến thức tham số phải được đánh giá cùng nhau. Khung Quản lý Rủi ro AI của NIST giúp kết nối những đo lường đó với rủi ro ứng dụng.

Các chế độ thất bại phổ biến

Ngưỡng chuyển chủ đề có thể phân đoạn quá mức các câu ngắn hoặc không phân đoạn đầy đủ các phần dày đặc. Các nhúng có thể coi thuật ngữ lặp lại là một chủ đề ngay cả khi tài liệu chuyển từ một quy tắc sang một ngoại lệ. Các tiêu đề có thể trở thành các đoạn riêng biệt. Các bảng có thể bị làm phẳng thành các chuỗi giá trị vô nghĩa. Nội dung mẫu có thể chiếm ưu thế trong sự tương đồng.

Lấy thông tin cha-con có thể hữu ích: tìm kiếm các đoạn con nhỏ để độ chính xác, sau đó trả về một phần cha lớn hơn để cung cấp ngữ cảnh. Mở rộng ngữ cảnh cũng có thể gắn kèm các câu lân cận sau khi lấy thông tin. Những phương pháp này giảm thiểu thiệt hại ranh giới nhưng tăng kích thước ngữ cảnh, do đó chúng cần kỷ luật đánh giá tương tự.

Kết luận

Một khối ngữ nghĩa là một đơn vị lấy thông tin đồng nhất mà các ranh giới của nó theo nghĩa. Các khối tốt bảo tồn ngữ cảnh cần thiết để hiểu một sự thật trong khi loại bỏ các tài liệu không liên quan. Bắt đầu với cấu trúc tài liệu, sử dụng các tín hiệu ngữ nghĩa khi chúng cải thiện các ranh giới, giữ lại nguồn gốc, và so sánh mọi chiến lược phức tạp với một tiêu chuẩn đơn giản trên các câu hỏi thực tế.

Giữ địa chỉ tài liệu gốc có thể truy cập được sau khi lập chỉ mục. Các đơn vị lấy thông tin là các góc nhìn tối ưu hóa của bằng chứng, không thể thay thế cho nguồn mà người đánh giá phải xem xét.

Sẵn sàng xây dựng một cơ sở kiến thức web sạch hơn?

Thu thập các trang đã được hiện ra với cấu trúc nguyên vẹn trước khi phân tích, tách đoạn, lập chỉ mục và lấy thông tin.

Đăng ký ngay hôm nay và nhận $5 tín dụng miễn phí — không yêu cầu thẻ tín dụng.

Nhận tín dụng $5 của bạn →

Câu hỏi thường gặp

Sự khác biệt giữa một khối và một khối ngữ nghĩa là gì?

Một khối là bất kỳ đoạn nào được tạo ra để xử lý hoặc lấy thông tin. Một khối ngữ nghĩa được dự định chứa một chủ đề hoặc đề xuất đồng nhất, vì vậy ranh giới của nó theo nghĩa chứ không chỉ là một kích thước cố định.

Các khối ngữ nghĩa có luôn tốt hơn các khối kích thước cố định không?

Không. Các phương pháp ngữ nghĩa thêm tính toán và các tham số, và chúng có thể không cải thiện mọi tập hợp. Chia tách theo kích thước cố định hoặc đệ quy là một tiêu chuẩn quý giá. Chọn phương pháp nào cải thiện việc lấy thông tin và các chỉ số đáp án trên các câu hỏi tiêu biểu.

Có nên để các phần ngữ nghĩa chồng chéo lên nhau không?

Sự chồng chéo hạn chế có thể bảo tồn ngữ cảnh qua một ranh giới, nhưng sự chồng chéo lớn thì sao chép bằng chứng, mở rộng chỉ mục và có thể làm đông đúc kết quả truy xuất với văn bản gần giống nhau. Chỉ sử dụng sự chồng chéo khi việc đánh giá cho thấy rằng các tham chiếu qua ranh giới cần thiết.

Kích thước của một phần ngữ nghĩa nên lớn như thế nào?

Không có kích thước phổ quát nào. Phạm vi hữu ích phụ thuộc vào cấu trúc tài liệu, độ chi tiết của câu hỏi, hành vi nhúng, số lượng truy xuất và ngữ cảnh mô hình. Giữ cho một đơn vị mạch lạc lại với nhau, thực thi một mức tối đa thực tế, và đo lường chất lượng ranh giới với các câu hỏi thực tế.

Các bảng nên được phân chia như thế nào?

Giữ cho bản sắc bảng, tiêu đề cột, nhãn hàng, giá trị và đơn vị lại với nhau. Đối với các bảng lớn, tạo ra các phần hàng hoặc nhóm hàng mà lặp lại các tiêu đề cần thiết và giữ siêu dữ liệu liên kết trở lại với bảng đầy đủ và tài liệu nguồn.