LLM là gì?

Scrapeless Web Unlocker lấy lại nội dung web mà một ứng dụng LLM có thể sử dụng như bối cảnh bên ngoài.

Một LLM, hay mô hình ngôn ngữ lớn, là một mô hình máy học được đào tạo trên lượng lớn dữ liệu ngôn ngữ để học các mẫu hỗ trợ các nhiệm vụ như tạo văn bản, tóm tắt, và phân loại. Nhiều LLM hiện tại sử dụng kiến trúc transformer. Chúng xử lý văn bản dưới dạng mã thông báo và tạo ra kết quả dựa trên các tham số đã học và bối cảnh được cung cấp cho một yêu cầu cụ thể.

Một LLM là một thành phần của một ứng dụng. Giao diện trò chuyện, lưu trữ cuộc hội thoại, kết nối tìm kiếm, quyền tài liệu, và các công cụ xung quanh nó là các hệ thống riêng biệt. Sự phân biệt đó giải thích tại sao hai sản phẩm được xây dựng xung quanh cùng một mô hình có thể hành xử rất khác nhau. Một có thể chỉ trả lời từ yêu cầu; một cái khác có thể lấy tài liệu hiện tại hoặc thực hiện một nhiệm vụ được ủy quyền.

Mã thông báo và nhiệm vụ dự đoán

Mã thông báo là các đơn vị được sản xuất bởi một bộ phân tách, và chúng không nhất thiết phải tương ứng với các từ hoàn chỉnh. Một tên, dấu câu, hoặc mảnh của một từ có thể chiếm một mã thông báo của chính nó. Các bộ phân tách khác nhau chia nhỏ cùng một văn bản theo cách khác nhau. Điều này ảnh hưởng đến chiều dài đầu vào và cách một ứng dụng ước lượng lượng bối cảnh mà nó có thể cung cấp.

Trong một mô hình ngôn ngữ tự hồi quy, quá trình tạo ra tiến hành bằng cách dự đoán một mã thông báo tiếp theo từ chuỗi có sẵn và sau đó tiếp tục với chuỗi đã mở rộng. Kết quả có thể trông giống như một đoạn văn hoàn chỉnh, mặc dù việc tạo ra là tăng dần. Ứng dụng có thể phát trực tuyến đầu ra đó đến người dùng khi nó đến.

Một sự tiếp tục có thể không nhất thiết là một tuyên bố đúng. Một mô hình có thể tạo ra một trích dẫn hợp lý hoặc một lời giải thích nghe quen thuộc mà không có quyền truy cập vào bằng chứng hỗ trợ nó. Đối với công việc phụ thuộc vào sự thật chính xác, hãy thiết kế ứng dụng để lấy nguồn và kiểm tra đầu ra thay vì coi sự tự tin ngữ pháp là sự tự tin về sự thật.

Tại sao Transformers quan trọng

Transformers sử dụng các cơ chế chú ý để tính toán các mối quan hệ giữa các đại diện mã thông báo. Chú ý giúp mô hình sử dụng bối cảnh khi xử lý ngôn ngữ: ý nghĩa của một từ có thể phụ thuộc vào các từ xung quanh nó và những gì nhiệm vụ yêu cầu. Kiến trúc transformer gốc thiết lập một cách tiếp cận dựa trên chú ý đã trở thành trung tâm của việc mô hình hóa ngôn ngữ hiện đại.

Một sự phân biệt hữu ích là giữa kiến trúc mô hình và một mô hình hoàn chỉnh. Kiến trúc mô tả cấu trúc tính toán. Dữ liệu đào tạo, tối ưu hóa, giá trị tham số, và sự thích nghi sau này xác định phần lớn hành vi của hệ thống hoàn chỉnh. Biết rằng một mô hình là một transformer không cho bạn biết nhiều về độ chính xác của nó trên tài liệu cụ thể của bạn.

Từ “lớn” không có ngưỡng đơn lẻ nào khiến mọi mô hình ở trên nó trở thành LLM và mọi mô hình ở dưới nó trở thành cái khác. Số lượng tham số là một đặc điểm, nhưng hiệu suất nhiệm vụ cũng phụ thuộc vào lựa chọn đào tạo và điều kiện đánh giá. Tránh chọn một hệ thống chỉ từ kích thước. Một mô hình nhỏ hơn có thể là đủ cho một nhiệm vụ trích xuất hẹp với một sơ đồ rõ ràng.

Đào tạo trước, Thích nghi và Suy diễn

Đào tạo trước điều chỉnh các tham số mô hình bằng cách sử dụng một bộ sưu tập đào tạo lớn. Thích nghi sau đó có thể định hình cách làm theo chỉ dẫn, phong cách phản hồi ưa thích, hoặc hiệu suất trên các nhiệm vụ chuyên biệt. Suy diễn là việc sử dụng mô hình kết quả để xử lý đầu vào mới và tạo ra đầu ra. Những giai đoạn này có chi phí và hiệu ứng khác nhau trên hệ thống.

Cung cấp một tài liệu trong một yêu cầu là một thao tác trong thời gian suy diễn; nó không tự mình có nghĩa là trọng số của mô hình đã được cập nhật. Tương tự, lịch sử hội thoại do một ứng dụng cung cấp có thể giúp mô hình duy trì bối cảnh mà không dạy vĩnh viễn mô hình cơ sở thông tin đó. Việc lưu giữ dữ liệu và sử dụng đào tạo trong tương lai phụ thuộc vào dịch vụ và cấu hình, vì vậy chúng nên được kiểm tra riêng.

Nghiên cứu về hành vi mô hình ngôn ngữ few-shot khám phá cách mà các ví dụ trong bối cảnh có thể hướng dẫn một nhiệm vụ mà không cần cập nhật tham số cụ thể của nhiệm vụ. Đối với thiết kế ứng dụng, điều này gợi ý một thí nghiệm ban đầu thực tiễn: cung cấp hướng dẫn rõ ràng và các ví dụ đại diện trước khi quyết định rằng một dự án đào tạo tùy chỉnh là cần thiết.

Cửa sổ bối cảnh hoạt động như thế nào

Một cửa sổ bối cảnh giới hạn lượng tài liệu đã được mã thông báo mà mô hình có thể xem xét trong một yêu cầu, tùy thuộc vào mô hình và cấu hình phục vụ. Hướng dẫn, nội dung của người dùng, tin nhắn trước đó, đoạn văn đã lấy lại, và kết quả công cụ có thể đều tranh giành không gian đó. Một cửa sổ quảng cáo lớn không có nghĩa là mọi chi tiết được bao gồm sẽ được sử dụng một cách bình đẳng.

Các nghiên cứu về việc đặt thông tin trong các bối cảnh dài cho thấy tại sao chiều dài bối cảnh và việc sử dụng hiệu quả bối cảnh cần được đánh giá riêng biệt. Đừng giả định rằng việc đặt toàn bộ kho tài liệu trong một yêu cầu là tương đương với việc lựa chọn cẩn thận các đoạn văn trả lời câu hỏi.

Đối với một trợ lý chính sách, hãy giữ câu hỏi, phiên bản chính sách áp dụng, và ngoại lệ liên quan gần đủ để được xem xét cùng nhau. Loại bỏ văn bản điều hướng trùng lặp và các bản sao lỗi thời. Nếu tài liệu nguồn xung đột, hãy bảo tồn xung đột đó một cách rõ ràng thay vì chọn một đoạn văn chỉ vì nó chứa từ khóa của câu hỏi.

Lấy dữ liệu cung cấp chứng cứ bên ngoài cho một ứng dụng

Lấy dữ liệu cung cấp tài liệu từ bên ngoài các tham số mô hình tại thời điểm yêu cầu. Một hệ thống lấy dữ liệu có thể tìm kiếm một cơ sở dữ liệu, truy vấn một chỉ mục, hoặc thu thập một trang web. Ứng dụng sau đó trình bày nội dung đã chọn cho LLM. Điều này giúp hệ thống làm việc với thông tin thay đổi độc lập với việc đào tạo mô hình.

Đối với một trợ lý tài liệu minh họa, pipeline nguồn có thể thu thập tài liệu công cộng được phê duyệt, trích xuất các phần, giữ lại URL của chúng và lập chỉ mục cho tìm kiếm. Khi một độc giả hỏi về một tính năng, hệ thống sẽ truy xuất phần phù hợp và yêu cầu mô hình trả lời dựa trên chứng cứ đó. Liên kết nguồn nên vẫn có sẵn để kiểm tra phản hồi.

Công cụ cho phép Mô hình Tham gia vào Quy trình làm việc

Công cụ phơi bày các hành động hoặc nguồn thông tin mà ứng dụng xung quanh có thể gọi. Một mô hình có thể đề xuất một cuộc gọi công cụ, nhưng ứng dụng chủ quản kiểm soát liệu cuộc gọi có được phép và cách mà kết quả của nó được trả lại. Một trợ lý được kích hoạt bởi công cụ do đó có thể thực hiện nhiều hơn là tạo ra văn bản trong khi vẫn phụ thuộc vào phần mềm thông thường để thực thi.

Tách biệt các hoạt động đọc với các hành động thay đổi trạng thái bên ngoài. Đọc một danh mục và gửi đơn hàng có thể liên quan đến cùng một trang web, nhưng chúng cần các quyền xác thực khác nhau. Mô tả công cụ nên nêu rõ đầu vào, đầu ra và tác dụng phụ đủ rõ ràng để cả mô hình và người điều hành có thể hiểu được lựa chọn.

Đối xử với nội dung web đã trả lại như dữ liệu. Một tài liệu mà yêu cầu một trợ lý bỏ qua hướng dẫn hoặc gửi thông tin đến nơi khác không phải là một yêu cầu hợp lệ từ người dùng. Giữ ranh giới giữa các hướng dẫn nhiệm vụ và tài liệu đang được phân tích. Quy trình truy xuất mở rộng những gì ứng dụng có thể đọc, điều này làm cho ranh giới này trở nên quan trọng hơn.

Mô hình LLM, Nhúng, và Hệ thống Tìm kiếm

Một mô hình nhúng sản xuất các đại diện hữu ích cho so sánh, trong khi một LLM tạo ra một dãy như một câu trả lời hoặc tóm tắt. Một công cụ tìm kiếm truy xuất tài liệu ứng viên. Một ứng dụng tác nhân có thể kết hợp tất cả những điều này với các công cụ và một vòng điều khiển. Tên gọi ám chỉ các chức năng khác nhau ngay cả khi một sản phẩm gộp chúng lại với nhau.

Chọn quy trình làm việc nhỏ nhất đáp ứng nhiệm vụ. Nếu yêu cầu là tìm một định danh sản phẩm chính xác, một câu truy vấn cơ sở dữ liệu có thể đủ. Nếu là nhóm các mô tả tương tự về ngữ nghĩa, nhúng có thể giúp. Nếu là giải thích một chính sách đã được truy xuất bằng ngôn ngữ đơn giản, một mô hình tạo ra có thể đóng góp sau khi việc chọn nguồn là chính xác.

Đối với việc trích xuất có thể lặp lại, xác định các trường đầu ra và xác thực chúng bên ngoài mô hình. Một câu trả lời có vẻ được hình thành tốt vẫn có thể chứa giá với đồng tiền sai hoặc một ngày được sao chép từ phần trang không liên quan. Sử dụng quy tắc giá trị thiếu rõ ràng và bảo tồn chứng cứ sau mỗi trường quan trọng.

Đánh giá Ứng dụng LLM

Một ứng dụng LLM nên được đánh giá dựa trên nhiệm vụ mà người dùng cần hoàn thành, không chỉ dựa trên độ trôi chảy của các phản hồi của nó. Thu thập các câu hỏi đại diện và chứng cứ mong đợi, bao gồm các trường hợp mà hệ thống nên kiêng. Giữ các ví dụ về tài liệu mâu thuẫn, hướng dẫn mơ hồ và thông tin nguồn bị thiếu.

Đánh giá các giai đoạn riêng biệt. Việc thu thập có trả lại trang dự kiến không? Việc truy xuất có chọn phần đúng không? Mô hình có theo định dạng yêu cầu không? Câu trả lời cuối có giữ trong chứng cứ không? Một xếp hạng tổng thể có thể giấu đi bộ phận nào đã gây ra sự cố và dẫn đến các thay đổi tốn kém mà không khắc phục được vấn đề.

Theo dõi chi phí và độ trễ theo giai đoạn nữa. Cơ sở hạ tầng thu thập có giá riêng của nó giá cả, và suy diễn mô hình có một ngân sách riêng. Giảm văn bản không liên quan có thể cải thiện cả chi phí và chất lượng câu trả lời. Việc thay thế một mô hình nên được kiểm tra trên cùng một nhiệm vụ đã giữ lại để so sánh phản ánh sự khác biệt thật sự.

Kết luận

Một LLM học các mẫu trong ngôn ngữ và sử dụng ngữ cảnh để sản xuất đầu ra hữu ích, nhưng một ứng dụng phải cung cấp chứng cứ, quyền và kiểm soát chất lượng. Bắt đầu bằng cách xác định nhiệm vụ và các nguồn có thể hỗ trợ nó. Sau đó quyết định xem mô hình có cần truy xuất, một công cụ bên ngoài, hoặc chỉ là một lời nhắc rõ ràng hơn. Cách tiếp cận đó làm cho việc cải thiện dễ đo lường và thất bại dễ giải thích hơn.