Parquet vs CSV

Lưu trữ theo cột làm thay đổi cách các lượt đọc phân tích hoạt động

Parquet nhóm dữ liệu trong một biểu diễn hướng cột thay vì lưu từng bản ghi dưới dạng dòng văn bản được phân tách. Phần Tổng quan về định dạng Parquet mô tả trọng tâm của định dạng đối với lưu trữ và truy xuất hiệu quả cho khối lượng công việc phân tích. Một bộ đọc chỉ cần một vài trường có thể tránh phải vật chất hóa các cột không liên quan.

CSV đặt các trường cùng nhau trong các bản ghi văn bản. Trình phân tích cú pháp thường cần diễn giải ranh giới bản ghi và ký tự phân tách ngay cả khi phân tích cuối cùng chỉ giữ các cột đã chọn. Điều đó không khiến CSV không phù hợp cho các tác vụ nhỏ; nó giải thích tại sao một bảng lịch sử rộng có thể hưởng lợi từ một biểu diễn khác.

Hãy hình dung một tập dữ liệu tìm kiếm chứa ngữ cảnh truy vấn, URL, tiêu đề và văn bản mô tả. Một báo cáo tần suất tên miền cần tên miền và ngữ cảnh thu thập, nhưng không cần mọi tiêu đề và đoạn trích. Một bộ đọc hướng cột có thể tận dụng yêu cầu hẹp hơn đó. Lợi ích thực tế vẫn phụ thuộc vào cách tập dữ liệu được ghi và được truy vấn.

CSV cần một phương ngữ và Parquet cần các kiểu tương thích

Khả năng tương tác CSV phụ thuộc vào quy ước văn bản đã khai báo. Phần Quy tắc trích dẫn và bản ghi CSV bao quát các trường hợp thường gặp như dấu phẩy và xuống dòng bên trong trường. Bảng mã, lựa chọn ký tự phân tách và diễn giải giá trị null vẫn cần được thống nhất với bên nhận.

Parquet lưu thông tin lược đồ, nhưng sự hiện diện của lược đồ không đảm bảo mọi engine đều diễn giải mọi kiểu logic giống hệt nhau. Đơn vị timestamp, cách xử lý múi giờ, độ chính xác số thập phân và các kiểu mở rộng có thể tạo ra câu hỏi về khả năng tương thích. Hãy quyết định những kiểu logic nào mà các công cụ phía sau của bạn hỗ trợ trước khi ghi tập dữ liệu sản xuất.

Với bất kỳ định dạng nào, hãy xử lý định danh như định danh. Một giá trị có số 0 ở đầu không nên trở thành số chỉ vì mọi ký tự đều là chữ số. Hãy xác định đơn vị tiền tệ và đo lường bên ngoài tên cột khi có thể xuất hiện nhiều ngữ cảnh. Hãy thử nghiệm một bản ghi cố ý “gây khó” chứa văn bản ngoài ASCII, giá trị thiếu và một định danh lớn trước khi chấp nhận bản xuất.

Nhóm dòng và thống kê cho phép làm việc chọn lọc

Các tệp Parquet chứa các nhóm dòng, khối cột và trang để tổ chức giá trị được lưu. Phần Bố cục tệp Parquet giải thích các cấu trúc đó. Bộ đọc có thể sử dụng siêu dữ liệu và thống kê sẵn có để tránh làm việc khi một bộ lọc loại trừ một phần tệp.

Khả năng này là có điều kiện. Bộ lọc chỉ hữu ích khi engine có thể áp dụng nó và metadata đã lưu trữ cung cấp thông tin hữu ích. Nếu mỗi nhóm hàng bao phủ toàn bộ phạm vi của giá trị được lọc, bộ lọc có thể loại trừ rất ít. Một cột được chọn vẫn cần được giải mã khi dữ liệu của nó được yêu cầu.

Thiết kế xoay quanh các truy vấn thực tế. Nếu các báo cáo thường chọn một khoảng thời gian và một thị trường, hãy sắp xếp tập dữ liệu sao cho các ràng buộc đó có thể thu hẹp phạm vi quét. Xác minh hành vi thực thi của trình đọc thay vì giả định rằng một phần mở rộng tệp kích hoạt mọi tối ưu hóa. Một truy vấn đọc toàn bộ tập dữ liệu rồi mới lọc sau đó sẽ bỏ lỡ lợi ích mong đợi.

Nén Là Một Sự Đánh Đổi Theo Khối Lượng Công Việc

Nén làm giảm số byte lưu trữ với chi phí là công việc mã hóa và giải mã. Parquet có thể kết hợp mã hóa cột với nén, điều này hữu ích khi các giá trị liền kề có mẫu mà mã hóa có thể khai thác. CSV cũng có thể được nén, vì vậy một so sánh công bằng nên bao gồm dạng biểu diễn phân phối thực tế ở cả hai phía.

Đo thời gian ghi, thời gian đọc, bộ nhớ cực đại và số byte được truyền bằng các giá trị đại diện. Một cột chứa các hạng mục lặp lại sẽ hoạt động khác với một cột văn bản đã được nén sẵn hoặc có độ biến thiên cao. Codec được chọn và cách triển khai trình đọc cũng quan trọng không kém định dạng tệp.

Tránh biến một phép đo thành một tỷ lệ phổ quát. Xuất toàn bộ bảng, tính tổng các cột được chọn và kiểm tra một bản ghi đơn lẻ tiêu tốn những chi phí khác nhau. Xác định truy vấn chấp nhận được và cấu hình phần cứng hoặc dịch vụ dự kiến. Giữ một bản xuất phục vụ xem xét thủ công khi điều đó giúp việc xử lý sự cố dễ dàng hơn, ngay cả khi dạng biểu diễn phân tích cho máy là nhị phân.

Phân vùng và Tệp Nhỏ Cần Kế Hoạch Riêng

Một tập dữ liệu được phân vùng là một tập hợp các tệp với bố cục cho phép trình đọc chọn các tập con liên quan. Xử lý tập dữ liệu Arrow Parquet tài liệu hóa cả các tệp riêng lẻ và các bộ sưu tập được phân vùng. Bố cục phân vùng là một lựa chọn bổ sung, không phải thuộc tính tự động của việc ghi một tệp Parquet.

Chọn khóa phân vùng từ các bộ lọc phổ biến và số bản ghi dự kiến. Một khóa có độ phân biệt rất cao có thể tạo ra nhiều tệp nhỏ, trong khi một khóa quá rộng có thể cung cấp rất ít khả năng cắt bớt. Việc liệt kê tệp và xử lý metadata có thể chiếm ưu thế trong một truy vấn khi tập dữ liệu chứa quá nhiều đối tượng nhỏ li ti.

Giữ ngữ nghĩa cập nhật một cách rõ ràng. Thêm một tệp mới có thể nhân đôi một bản ghi nghiệp vụ vốn đã tồn tại ở nơi khác. Thay thế tệp một cách an toàn có thể đòi hỏi một catalog hoặc định dạng bảng với các thay đổi metadata được điều phối. Bản thân CSV và Parquet không cung cấp giao thức giao dịch cho một tập dữ liệu có thể thay đổi dùng chung. Trình đọc cần biết tập hợp tệp nào tạo thành một ảnh chụp đã xuất bản đầy đủ.

Tách Riêng Thu Thập Tìm Kiếm Khỏi Các Quyết Định Lưu Trữ

API thu thập và định dạng lưu trữ phân tích giải quyết các giai đoạn khác nhau của quy trình công việc. Scrapeless Google Search API trả về JSON tìm kiếm có cấu trúc. Pipeline của bạn chọn cấp hạt của bảng, xác thực các trường và ghi Parquet hoặc CSV cho bên tiêu thụ tiếp theo.

Giữ lại ngữ cảnh truy vấn, thị trường, ngôn ngữ, danh tính lần thu thập và loại kết quả khi xây dựng bảng. Giữ riêng phản hồi gốc khi bạn cần chi tiết lồng nhau mà phần chiếu phân tích đã lược bỏ. Phần thảo luận lưu trữ dữ liệu web cung cấp bối cảnh để đặt các bản xuất trong một pipeline dữ liệu rộng hơn.

Lập ngân sách thu thập bằng Scrapeless pricinghiện tại, sau đó đo chi phí lưu trữ và truy vấn trong hệ thống nắm giữ tập dữ liệu. Một tệp phân tích nhỏ hơn không làm thay đổi yêu cầu nào đã được gửi, và một yêu cầu thành công không khẳng định rằng bảng kết quả có lược đồ hoặc phạm vi bản ghi như dự định.

Chọn Parquet cho Phân Tích Lặp Lại và CSV cho Bàn Giao

Chọn Parquet khi các công cụ phân tích tương thích nhiều lần đọc các trường được chọn, áp dụng bộ lọc và hưởng lợi từ lưu trữ có kiểu. Chọn CSV khi bên nhận cần một bảng có thể mang đi, nhập đơn giản hoặc kiểm tra văn bản trực tiếp. Giữ cả hai đầu ra khi chúng có các nhóm người dùng khác nhau và cùng chia sẻ một bước chuyển đổi đã được xác thực.

Kiểm tra bảo toàn giá trị trước khi so sánh hiệu năng. Xác nhận số bản ghi theo cấp hạt dự định, giá trị định danh, số lượng null, hành vi số thập phân và cách diễn giải timestamp. Đọc đầu ra bằng một công cụ phía hạ lưu thay vì chỉ dựa vào chính trình ghi để mở tệp của nó.

Ghi lại lược đồ, sơ đồ phân vùng và ranh giới xuất bản cùng với tập dữ liệu. Khi một trường thay đổi ý nghĩa, hãy tạo một bản di trú rõ ràng thay vì để các tệp cũ và mới âm thầm bất đồng. Một truy vấn nhanh trên dữ liệu không nhất quán vẫn là một kết quả không đáng tin cậy. Việc chọn định dạng hoạt động tốt nhất khi quyền sở hữu và xác thực đã rõ ràng.

Kết luận

Parquet so với CSV là một quyết định theo khối lượng công việc chứ không phải một cuộc thi có một kẻ chiến thắng vĩnh viễn. Hãy dùng lưu trữ dạng cột có kiểu tương thích cho các lượt đọc phân tích lặp lại và CSV được quy định rõ cho việc trao đổi dạng bảng. Xác thực giá trị với engine nhận, đo các truy vấn thực tế và coi việc phân vùng và cập nhật tập dữ liệu là những trách nhiệm thiết kế rõ ràng.

Tài liệu tham khảo

• Dữ liệu nguồn Google Search API
• Scrapeless Google Search API
• Lựa chọn lưu trữ cho các pipeline dữ liệu web