Kho dữ liệu là gì?

Định nghĩa kho dữ liệu

Một kho dữ liệu là một hệ thống dữ liệu phân tích tích hợp dữ liệu hiện tại và lịch sử từ nhiều nguồn vào các cấu trúc được quản lý cho truy vấn, báo cáo và hỗ trợ quyết định. Nó được thiết kế xung quanh việc đọc, lọc, kết nối và tổng hợp nhiều bản ghi thay vì phục vụ mỗi giao dịch hoạt động trực tiếp.

Các ống kho làm sạch và chuẩn hóa dữ liệu nguồn, giải quyết khóa, bảo tồn lịch sử và công bố các bảng hoặc chế độ xem với ý nghĩa kinh doanh đã được tài liệu hóa. Người tiêu dùng sử dụng SQL, mô hình ngữ nghĩa, sổ tay hoặc công cụ trí tuệ kinh doanh mà không cần diễn giải lại các định dạng nguồn thô cho mỗi báo cáo. Thuật ngữ chính được sử dụng ở đây theo Tổng quan về kho dữ liệu Google Cloud, điều này mang lại cho khái niệm một ranh giới kỹ thuật cụ thể thay vì coi nó như một nhãn tiếp thị.

Một định nghĩa hữu ích cũng cho biết những gì khái niệm không làm. Một kho dữ liệu không phải là hệ thống chính cho việc nhập đơn hàng, một bucket sao lưu thô, hay một bảo đảm rằng mọi chỉ số đều chính xác. Hiệu suất phân tích và ý nghĩa đáng tin cậy phụ thuộc vào thiết kế mô hình, chất lượng nguồn, quy trình làm tươi, thử nghiệm và quyền sở hữu. Giữ cho ranh giới đó rõ ràng ngăn ngừa sơ đồ kiến trúc không phân bổ các bảo đảm cho một thành phần thuộc về một lớp khác.

Dữ liệu kho trở thành có thể truy vấn như thế nào

Kho biến các bản ghi hoạt động khác nhau thành các sự thật phân tích ổn định. Mỗi giai đoạn thu hẹp sự mơ hồ và thêm các kiểm tra để các truy vấn ở hạ nguồn có thể tái sử dụng cùng các định nghĩa.

1. Trích xuất hoặc nhận các bản ghi nguồn với khóa nguồn, dấu thời gian và danh tính tải được bảo tồn.
2. Xác nhận các trường, loại, tính duy nhất, giả định tham chiếu và hành vi đến trễ cần thiết.
3. Chuẩn hóa tên, đơn vị, múi giờ, định danh và thuộc tính thay đổi chậm theo mô hình được quản lý.
4. Tải các sự kiện, chiều hoặc các cấu trúc phân tích khác trong khi vẫn bảo tồn nguồn gốc cho các lô nguồn.
5. Công bố các bảng đã thử nghiệm, chỉ số ngữ nghĩa và chỉ số tính mới cho các người tiêu dùng đã được phê duyệt.

Các kho hiện đại có thể hỗ trợ cả hai lộ trình trích xuất - biến đổi - tải và trích xuất - tải - biến đổi. Sự phân biệt quan trọng không phải là thứ tự các từ viết tắt; mà là nơi mà bằng chứng thô được giữ lại, nơi hợp đồng được thực thi, và sự biến đổi nào tạo ra sự thật cho người tiêu dùng. Hành vi này được tài liệu hóa đầy đủ hơn trong Hướng dẫn về kho dữ liệu phân tích của Microsoft.Nguồn là hữu ích vì nó mô tả việc thực thi thực tế hoặc mô hình dữ liệu thay vì dựa vào một phép ẩn dụ lỏng lẻo.

Các lớp kiến trúc kho

Một kho dữ liệu có thể cung cấp nhiều lớp vật lý, nhưng người tiêu dùng cần biết lớp nào chứa một hợp đồng được hỗ trợ. Quyền truy cập trực tiếp vào dữ liệu tạm có thể giúp chẩn đoán kỹ thuật nhưng có thể làm giảm tính nhất quán trong báo cáo nếu nó trở thành bề mặt phân tích mặc định.

Khối lượng công việc phù hợp với một kho dữ liệu

Các trường hợp sử dụng này chia sẻ một quy tắc lựa chọn: chọn một kho dữ liệu vì mô hình thực hiện và quyền sở hữu của nó phù hợp với khối lượng công việc, không phải vì tên gọi nghe có vẻ tiên tiến hơn. Dữ liệu nhị phân thăm dò, các đầu vào nghiên cứu không thể đoán trước và lưu trữ thô có thể phù hợp hơn với một cái hồ. Cập nhật giao dịch độ trễ thấp có thể phù hợp hơn với một cơ sở dữ liệu hoạt động. Một kho dữ liệu đạt được vị trí của nó khi việc tái sử dụng phân tích được quản lý có ý nghĩa.

Mô hình, Metro và Quản trị

Thiết kế kho dữ liệu bắt đầu với các quyết định mà người dùng cần đưa ra và mức độ chi tiết của mỗi bảng thực tế. Một hàng thực tế nên chỉ rõ chính xác sự kiện hoặc bức ảnh nào mà nó đại diện trước khi các kích thước và số liệu được đính kèm.

• Tuyên bố mức độ chi tiết. Mỗi bảng thực tế cần một câu xác định những gì một hàng đơn lẻ đại diện.
• Quản lý lịch sử một cách có chủ đích. Các thay đổi về thuộc tính của khách hàng, sản phẩm hoặc tổ chức cần một mô hình tạm thời rõ ràng.
• Đối chiếu tổng số nguồn. Số lượng và số tiền nên kiểm tra trở lại với các kiểm soát nguồn được quản lý trước khi công bố.
• Tách biệt các mô hình vật lý và ngữ nghĩa. Tối ưu hóa lưu trữ và đặt tên các số liệu kinh doanh giải quyết các vấn đề liên quan nhưng khác biệt.
• Công bố sự tươi mới và quyền sở hữu. Người tiêu dùng cần biết khi nào dữ liệu thay đổi và ai có thể giải quyết một câu hỏi hợp đồng.

Các mô hình kích thước biến các câu hỏi phân tích phổ biến thành dạng dễ đọc bằng cách kết nối các số liệu số với các kích thước mô tả. Các mô hình khác có thể phù hợp với các khối lượng công việc khác nhau, nhưng mỗi phương pháp vẫn cần các khóa ổn định, quy tắc tạm thời, các bài kiểm tra chất lượng và các hợp đồng rõ ràng cho người tiêu dùng. Một tham chiếu chính liên quan là Khái niệm kho dữ liệu Oracle, mà làm sáng tỏ các giả định về lưu trữ, thực hiện, hoặc tính tương tác đằng sau sự lựa chọn đó.

Tại sao các dự án kho dữ liệu mất niềm tin

Niềm tin của kho dữ liệu bị mất khi các bảng tải thành công nhưng người dùng không thể giải thích sự khác biệt của các số liệu. Khả năng kỹ thuật không thể bù đắp cho mức độ chi tiết mơ hồ, các bộ lọc ẩn, các khóa trùng lặp, hoặc các khoảng trống nguồn im lặng.

• Mức độ chi tiết chưa xác định. Các hàng trộn lẫn các sự kiện và bức ảnh, vì vậy các phép kết hợp tăng cường số liệu và tổng số trở nên không ổn định.
• Logic số liệu trong mỗi bảng điều khiển. Các phép tính độc lập tạo ra nhiều câu trả lời cho một câu hỏi kinh doanh.
• Ghi đè lịch sử. Các thuộc tính hiện tại thay thế ngữ cảnh trước đó và khiến các báo cáo trong quá khứ thay đổi một cách bất ngờ.
• Dữ liệu muộn im lặng. Các bản ghi được bổ sung lại thay đổi các khoảng thời gian đã đóng mà không có chính sách sửa chữa rõ ràng.
• Quyền truy cập tạm rộng rãi. Người tiêu dùng xây dựng sự phụ thuộc vào các hình dạng nguồn không được quản lý có thể thay đổi mà không có thông báo.

Một thất bại nên được truy nguyên đến lớp có trách nhiệm nhỏ nhất. Khi hai báo cáo không đồng ý, hãy so sánh định nghĩa số liệu, mức độ chi tiết, bộ lọc, khóa kết hợp, lô nguồn, phiên bản biến đổi và sự tươi mới trước khi thay đổi bất kỳ hình ảnh nào. Thực hành này tạo ra một hành động điều chỉnh hữu ích thay vì một hướng dẫn mơ hồ để thêm nhiều năng lực.

Nạp các tín hiệu web công cộng vào một kho dữ liệu

Các tín hiệu web công cộng có thể làm phong phú kho dữ liệu khi mục đích kinh doanh rõ ràng và quy trình thu thập sản xuất bằng chứng ổn định. Các ví dụ bao gồm quan sát danh mục công cộng, tín hiệu thị trường, thông báo đã công bố, và dữ liệu tham khảo được phê duyệt.

Đối với đầu vào web công cộng, lớp thu thập nên ghi lại URL được yêu cầu, URL cuối cùng, thời gian thu thập, chế độ phản hồi, và một kiểm tra nội dung trước khi quá trình xử lý tiếp theo bắt đầu. Hồ sơ thu thập nên bao gồm danh tính nguồn và bối cảnh ghi lại, trong khi mô hình kho nên phơi bày các trường được chuẩn hóa và thời gian quan sát được sử dụng cho phân tích. Đợt chuyển giao đó cung cấp cho các nhà phân tích một hồ sơ nguồn có thể tái tạo và giữ hành vi thu thập tách biệt khỏi việc giải thích.

Scrapeless xử lý bước thu thập web được quản lý được mô tả trong câu mở đầu. Ứng dụng vẫn sở hữu phê duyệt nguồn, định nghĩa trường, giới hạn khối lượng công việc, giữ lại, kiểm soát truy cập và xác thực. Scrapeless lấy trang công cộng đã yêu cầu; đội phân tích sở hữu phê duyệt nguồn, logic trích xuất, các khóa kích thước, định nghĩa số liệu, các bài kiểm tra chất lượng, quyền truy cập và giao tiếp tươi mới. Một hợp đồng rõ ràng giữa những lớp này khiến các thay đổi sau này dễ kiểm tra hơn.

Pipeline nên bảo tồn cả bằng chứng thô và đầu ra được biên tập khi trường hợp sử dụng cần khả năng kiểm toán. Nguyên liệu thô hỗ trợ tái xử lý sau khi một bộ phân tích hoặc lược đồ thay đổi; các bảng được biên tập hỗ trợ phân tích ổn định. Giữ lại đủ bằng chứng nguồn đã được quản lý để giải thích một giá trị mô hình mà không tiết lộ nội dung thô rộng rãi hơn mức yêu cầu của mục đích. Hai cách đại diện này trả lời các câu hỏi vận hành khác nhau và không nên nhầm lẫn với các bản sao.

Danh sách kiểm tra xem xét Kho Dữ liệu

Sử dụng các câu hỏi sau trong quá trình xem xét thiết kế. Một câu trả lời viết ra có giá trị hơn giả định mặc định vì nó phơi bày những nơi mà các nhóm không đồng ý về một kho dữ liệu.

• Một hàng trong mỗi bảng dữ liệu đại diện cho cái gì?
• Những chiều nào yêu cầu các phiên bản lịch sử?
• Tổng kho dữ liệu được điều chỉnh như thế nào với từng nguồn?
• Những chuyển đổi nào định nghĩa các hợp đồng người tiêu dùng được hỗ trợ?
• Các chỉ số chung được đặt tên và xem xét ở đâu?
• Các bản ghi muộn hoặc đã được sửa đổi được thông báo như thế nào?
• Ai sở hữu độ mới, chất lượng, chi phí và quyền truy cập cho từng sản phẩm?
• Người tiêu dùng có thể theo dõi một giá trị đến lô nguồn và quy tắc đã tạo ra nó không?

Một kho dữ liệu sẵn sàng khi người tiêu dùng có thể trả lời một hàng có nghĩa là gì, nó đến từ đâu, độ mới của nó như thế nào, những bài kiểm tra nào đã vượt qua, và ai là người sở hữu chỉ số đó. Xem xét lại các câu trả lời sau khi hình dạng khối lượng công việc, khối lượng dữ liệu, giới hạn dịch vụ hoặc kỳ vọng của người tiêu dùng thay đổi. Một kiến trúc hợp lý cho một lô thăm dò có thể không phù hợp cho một con đường sản xuất liên tục.

Kết luận

Một kho dữ liệu là một hệ thống phân tích được quản lý chuyển đổi các bản ghi từ nhiều nguồn thành các sự kiện lịch sử, chiều và chỉ số tái sử dụng. Giá trị của nó là ý nghĩa nhất quán và phân tích hiệu quả, chứ không chỉ là lưu trữ. Độ tinh tế rõ ràng, quy tắc tạm thời, đối chiếu, quyền sở hữu ngữ nghĩa, kiểm soát truy cập và độ mới quan sát được cho phép nhiều người tiêu dùng làm việc từ cùng một hợp đồng đáng tin cậy.

Tài liệu tham khảo

• Giới thiệu về Unlocker Web Không Scrap
• Tổng quan về sản phẩm Unlocker Web Không Scrap
• Hướng dẫn không scrap để phát trực tiếp dữ liệu web vào một kho
• Các dự án mã nguồn mở không scrap trên GitHub