Dữ liệu đào tạo là gì?

API Thu thập Quốc tế Không Có Rác thu thập nội dung web có thể truy cập công khai cho quy trình dữ liệu yêu cầu các trang đã được trình bày hoặc định dạng phản hồi có cấu trúc.

Dữ liệu đào tạo được định nghĩa

Dữ liệu đào tạo là tập hợp các ví dụ được trình bày cho một thuật toán học khi nó điều chỉnh các tham số hoặc quy tắc quyết định của mô hình. Trong học có giám sát, một ví dụ thường ghép đôi một đầu vào với một nhãn mục tiêu. Trong học không giám sát hoặc tự giám sát, cấu trúc có thể được suy ra từ chính đầu vào. Học tăng cường có thể sử dụng các quan sát, hành động, và phần thưởng. Học sở thích có thể sử dụng các phản hồi được xếp hạng hoặc chọn. Hình thức ghi chép chính xác theo mục tiêu học.

NIST máy học từ điển định nghĩa máy học theo hệ thống thích ứng và học từ dữ liệu để cải thiện độ chính xác. Dữ liệu đào tạo là bằng chứng từ đó sự thích ứng được tính toán. Nó không giống như một cơ sở dữ liệu chỉ được sử dụng cho việc truy xuất, và nó không giống như các ví dụ được đưa vào một lời nhắc trong thời gian suy luận.

Đối với một bộ phân loại văn bản, các ví dụ đào tạo có thể là các tài liệu ghép đôi với các loại. Đối với một bộ phát hiện hình ảnh, mỗi hình ảnh có thể mang theo các hộp và nhãn đối tượng. Đối với một mô hình ngôn ngữ, tài liệu có thể bao gồm các chuỗi văn bản được dùng để dự đoán token tiếp theo, cặp hướng dẫn-phản hồi, so sánh sở thích, hoặc các ví dụ cụ thể cho nhiệm vụ. Một mô hình đơn lẻ có thể trải qua nhiều giai đoạn đào tạo, mỗi giai đoạn với một tập dữ liệu và mục tiêu khác nhau.

Thuật ngữ cũng bao gồm siêu dữ liệu cần thiết để diễn giải các ví dụ. Nguồn gốc, phương pháp thu thập, giấy phép, cơ sở đồng ý, dấu thời gian, ngôn ngữ, địa lý, lịch sử chuyển đổi, và hướng dẫn nhãn có thể ảnh hưởng đến việc các bản ghi có hữu ích hay được phép. Việc loại bỏ ngữ cảnh này biến một tập dữ liệu thành một đống ví dụ không thể kiểm toán khi các vấn đề xuất hiện.

Cách mà Dữ liệu Đào tạo Hình thành một Mô hình

Trong quá trình đào tạo, một thuật toán so sánh đầu ra của mô hình với một mục tiêu và điều chỉnh các tham số nội bộ để giảm thiểu sai số hoặc tăng phần thưởng. Mỗi ví dụ đóng góp một tín hiệu, nhưng mô hình không lưu trữ một bảng quy tắc có thể đọc được bởi con người. Nó học các quy tắc thống kê phản ánh nội dung, tần suất, cấu trúc, và các lỗi có trong tập dữ liệu đào tạo.

Việc lấy mẫu kiểm soát quy tắc nào chiếm ưu thế. Nếu một ngôn ngữ, loại sản phẩm, phong cách viết, hoặc nhóm nhân khẩu học xuất hiện nhiều hơn rất nhiều so với những nhóm khác, quá trình tối ưu hóa sẽ thấy mẫu đó thường xuyên hơn. Cân nặng, cân bằng, loại bỏ trùng lặp, và thu thập dữ liệu nhắm mục tiêu có thể thay đổi sự tiếp xúc, nhưng mỗi lựa chọn nên được ghi lại để các đánh giá sau này có thể giải thích hành vi của mô hình.

Nhãn biến đổi phán quyết của con người hoặc lập trình thành một mục tiêu đào tạo. Một hướng dẫn nhãn cần các định nghĩa, trường hợp biên, và quy tắc leo thang. Sự đồng thuận giữa các người chú thích là bằng chứng có ích, nhưng đồng thuận không chứng minh rằng sơ đồ nhãn công bằng hoặc phù hợp. Một số nhiệm vụ chứa sự mơ hồ thực sự; việc ép một câu trả lời có thể che giấu sự không chắc chắn mà mô hình nên học để bảo tồn.

NIST Khung Quản lý Rủi ro AI đối xử với dữ liệu và rủi ro mô hình như một phần của một quy trình quản lý rộng hơn. Trong thực tế, việc đánh giá mô hình nên truy vết các thất bại trở lại nguồn độ bao phủ, chính sách nhãn, chuyển đổi, hoặc sự khác biệt triển khai thay vì mô tả chất lượng dữ liệu như một điểm số phổ quát.

Dữ liệu Đào tạo, Dữ liệu Xác thực, và Dữ liệu Kiểm tra

Các phân chia tập dữ liệu ngăn cản các quyết định phát triển tiêu thụ cùng một bằng chứng được sử dụng cho đánh giá cuối cùng.

Các hình thức dữ liệu đào tạo phổ biến

Đơn vị hữu ích không phải lúc nào cũng là một hàng có nhãn; nó là bằng chứng cần thiết cho mục tiêu học tập.

Xây dựng một tập dữ liệu đào tạo

Bắt đầu từ quyết định triển khai. Định nghĩa ai sẽ sử dụng mô hình, đầu vào nó sẽ nhận được, những sai lầm nào quan trọng, và các nhóm hoặc môi trường nào cần được đại diện. Thông số này trở thành kế hoạch lấy mẫu. Một yêu cầu chung cho “nhiều dữ liệu hơn” không thể cho các nhà thu thập biết các khoảng trống nào cần lấp đầy hoặc hồ sơ nào cần bị từ chối.

Tạo một danh sách nguồn trước khi thu thập. Ghi lại chủ sở hữu, đường dẫn truy cập, cơ sở quyền hoặc giấy phép, mục đích sử dụng, quy định lưu giữ, và các hạn chế cho mỗi nguồn. Tính công khai không giải quyết mọi câu hỏi về việc tái sử dụng. Các điều khoản hợp đồng, quyền tài sản trí tuệ, luật riêng tư, bí mật, và quy định ngành có thể ảnh hưởng đến việc tài liệu có thuộc về một tập dữ liệu đào tạo hay không.

Tách biệt các lớp thô, chuẩn hóa và có nhãn. Lớp thô bảo tồn những gì đã được thu thập và từ nơi nào nó đến. Lớp chuẩn hóa ghi lại việc phân tích, nhận diện ngôn ngữ, lọc, và loại bỏ trùng lặp. Lớp có nhãn bổ sung các mục tiêu và quyết định xem xét. Giữ các lớp này tách biệt cho phép một nhóm chỉnh sửa một bộ phân tích hoặc hướng dẫn nhãn mà không giả vờ rằng nguồn gốc ban đầu đã thay đổi.

Phiên bản tập dữ liệu như một sản phẩm. Một phiên bản nên xác định bản ảnh nguồn, bộ lọc, định nghĩa, hướng dẫn nhãn, logic phân chia, và các giới hạn đã biết. Các hàm băm nội dung và các bản kê không thể thay đổi giúp tái tạo một lần đào tạo. Xóa hoặc hạn chế một hồ sơ nên tạo một phiên bản mới và một con đường tổ tiên rõ ràng thay vì âm thầm thay đổi một phiên bản cũ.

Chất lượng, Quyền lợi và Rủi ro Rò rỉ

Các khoảng trống bao phủ thường không nhìn thấy được trong tổng thể. Một tập hợp có thể chứa hàng triệu hồ sơ trong khi không có một chế độ thất bại hiếm gặp, tên sản phẩm khu vực, một ngôn ngữ thiểu số, hoặc phiên bản hiện tại của một giao diện. Đánh giá theo từng phần nên theo các nhóm triển khai và điều kiện dự kiến, không phải bất kỳ thể loại nào mà dễ đếm.

Sự trùng lặp thay đổi trọng số hiệu quả. Các bài viết được đăng lại, các kho lưu trữ được phản chiếu, các trang mẫu, và các ví dụ gần giống có thể làm cho một mẫu hình trở nên quan trọng hơn dự định. Các hàm băm chính xác có thể nhận diện một số bản sao; việc phát hiện gần trùng lặp cần thiết cho các tài liệu đã chỉnh sửa nhẹ hoặc đã định dạng. Các quy tắc loại bỏ trùng lặp nên được đo lường vì các bộ lọc quyết liệt cũng có thể loại bỏ những hình thức lặp lại hợp pháp.

Rò rỉ dữ liệu xảy ra khi bằng chứng đánh giá đến với quyết định đào tạo hoặc phát triển. Các bản sao trực tiếp là trường hợp đơn giản nhất. Các cách diễn khác, các mẫu tài liệu chia sẻ, các hồ sơ liền kề từ cùng một cuộc trò chuyện, hoặc các nguồn chồng lên nhau theo thời gian cũng có thể rò rỉ. Chia tách theo đơn vị tạo ra sự phụ thuộc—người dùng, gia đình tài liệu, nguồn, khoảng thời gian, hoặc tổ chức—thay vì chỉ ngẫu nhiên hàng.

Tài liệu cá nhân và có bản quyền cần quản lý có chủ ý. Giảm thiểu các trường thu thập, loại trừ những bí mật và khu vực hạn chế, ghi tài liệu cơ sở pháp lý cho việc xử lý, và cung cấp các lối đi xem xét cho các hồ sơ tranh chấp. Các Nguyên tắc AI của OECD cung cấp một khung chính sách cho việc quản lý có trách nhiệm, tính minh bạch và trách nhiệm, nhưng một dự án vẫn cần xem xét pháp lý cụ thể theo quyền hạn.

Cách đánh giá dữ liệu đào tạo

Đo lường tính hợp lệ của sơ đồ, các trường còn thiếu, tính nhất quán của nhãn, tỷ lệ trùng lặp, phân bố ngôn ngữ, nồng độ nguồn, và mức độ bao phủ theo thời gian. Những điều này mô tả tập dữ liệu, không phải mô hình. Kết nối chúng với các phần của mô hình để một sự thay đổi trong một thuộc tính dữ liệu có thể được so sánh với một sự thay đổi trong hiệu suất nhiệm vụ.

Kiểm tra mẫu, không chỉ bảng điều khiển. Các mẫu ngẫu nhiên tiết lộ chất lượng thường thấy, trong khi các mẫu có mục tiêu tiết lộ các thể loại rủi ro cao và thất bại dài. Xem xét cả các hồ sơ đã được chấp nhận và từ chối. Một bộ lọc loại bỏ tiếng ồn rõ ràng vẫn có thể loại bỏ các phương ngữ, định dạng mã, hoặc các trường hợp thiểu số quý giá nếu các giả định của nó quá hẹp.

Chạy các mô hình cơ bản sớm. Một đường cơ bản đơn giản có thể tiết lộ rò rỉ nhãn, các thao tác tầm thường, và ô nhiễm phân chia trước khi một lần đào tạo tốn kém. Nếu một mô hình dự đoán mục tiêu từ một tên tệp, hình mờ, hoặc mẫu cụ thể về nguồn, tập dữ liệu đã dạy nhiệm vụ sai ngay cả khi độ chính xác nổi bật trông cao.

Giữ một lối đi phản hồi từ sản xuất đến bảo trì dữ liệu. Các thể loại lỗi mới có thể cần các ví dụ bổ sung, nhãn được sửa, lấy mẫu được sửa đổi, hoặc một lời hứa sản phẩm hẹp hơn. Bảo tồn bộ đánh giá cũ cho sự liên tục xu hướng, và thêm các bộ thách thức mới một cách rõ ràng để các lợi ích không được tạo ra bằng cách âm thầm thay đổi bài kiểm tra.

Kết luận

Dữ liệu đào tạo là bằng chứng mà một quá trình học tập sử dụng để hình thành một mô hình. Ảnh hưởng của nó đến từ nhiều hơn số lượng hồ sơ: sự bao phủ nguồn, trọng số ví dụ, nhãn, chuyển đổi, quyền lợi và thiết kế phân chia đều ảnh hưởng đến những gì mô hình học được và cách đội ngũ có thể đánh giá nó một cách tự tin.

Một tập dữ liệu đáng tin cậy có nguồn gốc. Các đội ngũ nên có khả năng giải thích hồ sơ đến từ đâu, điều gì đã thay đổi, tại sao mỗi nguồn được cho phép, cách các ví dụ được chia tách, và các nhóm nào vẫn còn được đại diện yếu. Hồ sơ đó giúp cải thiện mô hình và đánh giá rủi ro có thể.