LlamaIndex là gì?

LlamaIndex được định nghĩa

LlamaIndex là một khuôn khổ để xây dựng các ứng dụng mô hình ngôn ngữ trên dữ liệu mà mô hình cơ sở không đã chứa sẵn. Tài liệu chính thức Tài liệu LlamaIndex mô tả việc tăng cường ngữ cảnh là làm cho dữ liệu riêng tư hoặc cụ thể cho vấn đề có sẵn cho mô hình thông qua các kết nối, chỉ mục, giao diện truy vấn, đại lý, và quy trình làm việc.

Khuôn khổ bắt đầu với trọng tâm mạnh mẽ vào việc tạo ra nội dung tăng cường và lập chỉ mục dữ liệu. Phạm vi hiện tại rộng hơn. Các nhà phát triển có thể nạp tệp và API, phân tích tài liệu, xây dựng hệ thống truy xuất, phơi bày động cơ truy vấn và trò chuyện, tạo đại lý sử dụng công cụ, và điều phối quy trình làm việc dựa trên sự kiện. Các dịch vụ LlamaCloud được quản lý ngồi bên cạnh khuôn khổ mã nguồn mở nhưng không giống nhau.

LlamaIndex hữu ích khi quyền truy cập dữ liệu là trung tâm của ứng dụng. Một mô hình có thể hiểu ngôn ngữ tốt trong khi thiếu chính sách công ty, danh mục sản phẩm, lưu trữ nghiên cứu, hoặc các trang web vừa được xuất bản. LlamaIndex cung cấp các cấu trúc để chuyển các nguồn đó vào một con đường ngữ cảnh có thể tìm kiếm.

Đường Dữ liệu LlamaIndex

Một quy trình LlamaIndex điển hình bắt đầu với một nguồn tài liệu và kết thúc với ngữ cảnh đã chọn cho một mô hình. Một trình đọc hoặc kết nối tải nội dung nguồn. Một bộ phân tích biến tài liệu thành các nút. Một mô hình nhúng hoặc phương pháp chỉ mục khác biến những nút đó thành có thể tìm kiếm. Một trình lấy dữ liệu chọn ứng viên, các bộ xử lý sau tùy chọn lọc hoặc xếp hạng lại chúng, và một bộ tổng hợp phản hồi yêu cầu một mô hình trả lời từ bằng chứng đã chọn.

Mỗi giai đoạn có thể thay đổi câu trả lời cuối cùng. Một bộ phân tích bỏ qua các tiêu đề bảng có thể tách giá trị ra khỏi ý nghĩa của chúng. Một ranh giới phần có thể tách một quy tắc ra khỏi ngoại lệ của nó. Siêu dữ liệu yếu có thể trộn lẫn các khu vực pháp lý hoặc các phiên bản tài liệu. Do đó, việc đánh giá truy xuất thuộc gần với việc nạp dữ liệu, trước khi nhóm dành thời gian điều chỉnh lời nhắc cuối cùng.

Các Thành phần Chính của LlamaIndex

Các thành phần có thể kết hợp, điều này giúp thử nghiệm. Sự linh hoạt đó cũng có thể che giấu nguyên nhân thực sự của một câu trả lời kém. Giữ một dấu vết của các nút đã phân tích, điểm truy xuất, xử lý sau, các lời nhắc, và các ID nguồn đã trích dẫn để mỗi lớp có thể được kiểm tra độc lập.

Các trường hợp sử dụng LlamaIndex phổ biến

Nội dung web có thể đi vào cùng một con đường. Khi các trang hiển thị văn bản chính của chúng bằng JavaScript, một công cụ thu thập hỗ trợ trình duyệt có thể nắm bắt nội dung hiển thị trước khi LlamaIndex phân tích nó. Scrapeless xử lý thực thi trình duyệt; ứng dụng LlamaIndex xử lý đại diện, truy xuất và tổng hợp câu trả lời.

Thiết kế một Dòng Ingestion

Ingestion nên bảo tồn ý nghĩa trước khi tối ưu hóa cho tốc độ. Bắt đầu bằng việc xác định các đơn vị mà độc giả thực sự tham chiếu: các phần, điều khoản, hàng bảng, bản ghi sản phẩm hoặc lượt trò chuyện. Chuẩn hóa tiếng ồn rõ ràng, nhưng không loại bỏ tiêu đề, nhãn, thời gian, và các định danh nguồn mà việc truy xuất hoặc trích dẫn cần trong tương lai.

1. Danh sách các loại nguồn, sở hữu, tần suất cập nhật và quy tắc truy cập.
2. Chọn các bộ phân tích giữ nguyên cấu trúc cần thiết cho các câu hỏi và trích dẫn.
3. Tạo các nút với ID nguồn ổn định và siêu dữ liệu cho phiên bản, phần, ngày và quyền tài phán.
4. Chọn ranh giới phân mảnh dựa trên cấu trúc tài liệu, sau đó so sánh chúng với một tiêu chuẩn cơ sở.
5. Xây dựng chỉ mục và xác định bộ lọc truy xuất trước khi thêm tạo ra.
6. Kiểm tra truy xuất với các câu hỏi thực và đoạn văn có liên quan đã biết.
7. Thêm tổng hợp phản hồi chỉ sau khi đường dẫn chứng cứ hoạt động tốt.

Thứ tự này ngăn chặn một câu trả lời mẫu lưu loát làm mờ đi một vấn đề truy xuất. Nếu nút đúng không bao giờ đến được lời nhắc, một bộ tạo tốt hơn không thể phục hồi một cách đáng tin cậy sự thật bị thiếu.

Chỉ mục, Truy xuất và Công cụ Truy vấn

Một chỉ mục tổ chức các nút để chúng có thể được tìm thấy. Một chỉ mục vector sử dụng nhúng để khớp độ tương đồng ngữ nghĩa, trong khi các cấu trúc khác có thể sử dụng từ khóa, tài liệu, danh sách hoặc đồ thị thuộc tính. Bộ truy xuất chuyển đổi một truy vấn thành các nút ứng cử viên. Các bộ xử lý sau có thể áp dụng bộ lọc siêu dữ liệu, ngưỡng tương đồng, tái xếp hạng, hoặc mở rộng ngữ cảnh.

Một công cụ truy vấn kết nối truy xuất với tổng hợp phản hồi. Một công cụ trò chuyện thêm trạng thái trò chuyện và có thể viết lại các câu hỏi theo sau trước khi truy xuất. Lịch sử cuộc trò chuyện không nên im lặng ghi đè bằng chứng nguồn. Lưu lại câu hỏi đã giải quyết và các nút đã truy xuất cho mỗi lượt để người đánh giá có thể thấy lý do câu trả lời đã thay đổi.

Đánh giá nên tách biệt truy xuất khỏi tạo ra. Đo lường xem nguồn mong đợi có xuất hiện trong tập ứng viên hay không, sau đó đo lường xem câu trả lời cuối cùng có trung thực với nguồn đó hay không. Các điểm số kết hợp đầu cuối hữu ích, nhưng chúng không tiết lộ giai đoạn nào cần sửa chữa. Tài liệu gốc bài báo về tạo ra có gia tăng truy xuất cung cấp nền tảng hữu ích về việc kết hợp kiến thức tham số và kiến thức được truy xuất.

Các đại lý và quy trình làm việc LlamaIndex

Các đại lý LlamaIndex sử dụng các mô hình để chọn công cụ, bao gồm các công cụ truy vấn, chức năng và dịch vụ bên ngoài. Các quy trình làm việc phối hợp các sự kiện và trạng thái qua nhiều bước. Sử dụng các đại lý nơi con đường phụ thuộc vào yêu cầu; giữ phân tích xác định, ủy quyền, xác thực, và tác dụng phụ trong mã bình thường hoặc các nút quy trình làm việc rõ ràng.

Các công cụ cần mô tả và sơ đồ hẹp. Một công cụ “tìm kiếm mọi thứ” tạo ra các lựa chọn không rõ ràng, trong khi các công cụ riêng biệt cho bộ chính sách, cơ sở dữ liệu sản phẩm, và web công khai hiện tại rõ ràng về ranh giới nguồn. Quyền hạn nên đi kèm với mỗi công cụ. Một hướng dẫn mô hình không phải là một sự thay thế cho kiểm soát truy cập.

Tổng quan về thành phần LlamaCloud phân biệt phân tích quản lý, trích xuất, lập chỉ mục, phân loại, và dịch vụ đại lý. Các đội so sánh các con đường nguồn mở và quản lý nên đánh giá cư trú dữ liệu, chi phí, quyền sở hữu hoạt động và mức độ tùy chỉnh mà mỗi khối lượng công việc cần.

Thương lượng và Đánh giá

LlamaIndex cung cấp nhiều điểm mở rộng, điều này có thể tăng số lượng lựa chọn mà một đội phải sở hữu. Các mặc định hữu ích cho các nguyên mẫu nhưng nên được coi là giả thuyết. Cấu trúc tài liệu, phong cách truy vấn, ngôn ngữ, và từ vựng miền có thể thay đổi bộ phân tích tốt nhất, kích thước phân mảnh, nhúng, hoặc phương pháp truy xuất.

Xây dựng một bộ đánh giá nhỏ trước khi mở rộng ingestion. Bao gồm các câu hỏi tìm kiếm chính xác, câu hỏi đa đoạn văn, cách diễn đạt mơ hồ, trường hợp thiếu câu trả lời, và xung đột phiên bản. Xem xét việc trích dẫn nguồn và bỏ phiếu, không chỉ sự tương đồng ngôn ngữ tự nhiên. Mục tiêu là một hệ thống lấy được bằng chứng quản lý và nói rõ khi bộ sưu tập không thể trả lời.

Kết luận

LlamaIndex là một khuôn khổ để kết nối các mô hình ngôn ngữ với dữ liệu bên ngoài thông qua ingestion, các nút, chỉ mục, truy xuất, công cụ truy vấn, đại lý, và quy trình làm việc. Sự phù hợp mạnh nhất của nó là một ứng dụng mà chất lượng dữ liệu và quyền truy cập bằng chứng thúc đẩy thiết kế. Bắt đầu với cấu trúc nguồn và đánh giá truy xuất, bảo tồn nguồn gốc, và thêm hành vi đại lý chỉ khi lựa chọn công cụ có hướng dẫn mô hình tạo ra giá trị đo lường được.

Tài liệu tham khảo

• Tài liệu hướng dẫn bắt đầu sử dụng Trình duyệt Lọc Rác
• Tổng quan về sản phẩm Trình duyệt Lọc Rác
• Hướng dẫn không có rác về tạo ra thông tin bổ sung từ việc truy xuất
• Các dự án mã nguồn mở không có rác trên GitHub