Polars là gì?

Định nghĩa Polars

Polars là một thư viện DataFrame mã nguồn mở và động cơ truy vấn phân tích mà cốt lõi được viết bằng Rust. Nó cung cấp các API cho việc làm việc với dữ liệu có cấu trúc thông qua các cột kiểu, biểu thức, kết hợp, nhóm, hoạt động cửa sổ, nhập và xuất tệp, cũng như các chế độ thực thi nường và chậm.

Một DataFrame nường tính toán các phép toán khi chúng được gọi. Một LazyFrame ghi lại một kế hoạch logic cho đến khi thu thập, tạo cơ hội cho bộ tối ưu đẩy các bộ lọc và chiếu về phía các nguồn dữ liệu, đơn giản hóa các biểu thức, và chọn chiến lược thực thi với tầm nhìn qua các bước khác nhau. Thuật ngữ chính được sử dụng ở đây tuân theo hướng dẫn người dùng Polars, điều này mang lại cho khái niệm một ranh giới kỹ thuật cụ thể thay vì coi nó là một nhãn tiếp thị.

Một định nghĩa hữu ích cũng cho biết cái mà khái niệm không làm. Polars không phải là một nền tảng cụm phân tán, không phải là một máy chủ cơ sở dữ liệu, hoặc một lời hứa rằng mọi quy trình sẽ trở nên nhanh hơn sau khi thay đổi nhập liệu. Nó thực thi trong môi trường ứng dụng và phụ thuộc vào đầu vào có quản lý, các biểu thức hợp lệ, giới hạn tài nguyên, và khả năng tương tác đo lường với phần còn lại của ngăn xếp. Giữ cho ranh giới đó luôn rõ ràng ngăn ngừa sơ đồ kiến trúc gán các đảm bảo cho một thành phần thuộc về lớp khác.

Cách Polars lập kế hoạch và thực thi công việc

Polars coi nhiều phép toán DataFrame là các biểu thức trong một kế hoạch truy vấn. Động cơ có thể phân tích các mối quan hệ giữa các bước trước khi đọc tất cả đầu vào hoặc hiện thực hóa mọi kết quả trung gian.

1. Đọc hoặc quét một nguồn kiểu như Parquet, CSV, kết quả cơ sở dữ liệu, hoặc một cấu trúc trong bộ nhớ.
2. Xây dựng các biểu thức cho việc chọn, lọc, chuyển đổi loại, kết hợp, nhóm, cửa sổ, và các cột dẫn xuất.
3. Trong chế độ chậm, kết hợp các biểu thức đó thành một kế hoạch logic mà chưa sản xuất các hàng cuối cùng.
4. Tối ưu hóa kế hoạch bằng cách di chuyển các bộ lọc và chiếu hợp lệ lên trước và chọn các bộ điều hành vật lý.
5. Thực hiện kế hoạch, có thể trên nhiều lõi CPU hoặc trong một đường dẫn có khả năng luồng, sau đó thu thập hoặc ghi kết quả.

Bộ tối ưu cần tầm nhìn khai báo. Kéo các giá trị vào Python hàng theo hàng hoặc giấu logic bên trong các hàm mờ có thể giảm tầm nhìn đó và làm tăng chi phí ranh giới ngôn ngữ. Các biểu thức bản địa thường giữ việc tính toán trong động cơ nơi mà các kiểu và thực thi có thể được lập kế hoạch cùng nhau. Hành vi này được tài liệu hóa chi tiết hơn trong các thông số kỹ thuật định dạng cột Apache Arrow. Nguồn hữu ích bởi vì nó mô tả việc thực thi thực tế hoặc mô hình dữ liệu thay vì dựa vào một phép tương tự lỏng lẻo.

Các khái niệm cốt lõi của Polars

Các API eager và lazy phục vụ những thời điểm khác nhau. Khám phá có thể đánh giá cao kết quả ngay lập tức, trong khi một quy trình từ file đến file lặp lại sẽ hưởng lợi từ một kế hoạch lazy và một điểm tiếp nhận cuối được kiểm soát. Việc phối hợp chúng mà không có ý định có thể tạo ra các ranh giới vật chất không cần thiết.

Nơi Polars Phù Hợp Nhất

Các trường hợp sử dụng này chia sẻ một quy tắc chọn lọc: chọn Polars vì mô hình thực thi và sở hữu của nó phù hợp với khối lượng công việc, chứ không phải vì cái tên nghe có vẻ tiên tiến hơn. Một tập dữ liệu tương tác nhỏ có thể không biện minh cho việc di chuyển từ một thư viện đã được thiết lập. Tính tương thích của hệ sinh thái, kỹ năng nhóm, vẽ đồ thị, các phần mở rộng chuyên biệt, và các giao diện mô hình xung quanh có thể quan trọng hơn tốc độ biến đổi đơn lẻ.

Biểu thức, Kiểu, và Kế hoạch Lazy

Một thiết kế Polars nên tối đa hóa công việc tuyên bố đồng thời giữ cho biên giới sơ đồ và tập hợp rõ ràng. Câu hỏi quan trọng nhất là nơi mà một LazyFrame trở thành kết quả vật chất và tại sao.

• Quét thay vì đọc khi phù hợp. Một quét lazy cho phép bộ tối ưu đẩy công việc đủ điều kiện về nguồn dữ liệu.
• Sử dụng các biểu thức bản địa. Các thao tác có thể thấy động cơ bảo tồn thông tin kiểu và giảm chi phí Python trên mỗi hàng.
• Kiểm soát sơ đồ sớm. Các định danh quan trọng, ngày tháng, số thập phân và các trường có thể null không nên phụ thuộc vào suy diễn tình cờ.
• Thu thập tại các ranh giới có chủ ý. Vật chất hóa khi một người tiêu dùng cần kết quả, không phải sau mỗi bước biến đổi.
• Chấm điểm từ đầu đến cuối. Bao gồm đầu vào, biến đổi, bộ nhớ, đầu ra, và chuyển đổi sang các thư viện lân cận.

Đại diện dạng cột định hướng Arrow hỗ trợ khả năng tương tác giữa các công cụ dữ liệu, nhưng việc truyền không sao chép không phải là phổ quát. Ngữ nghĩa chỉ mục, kiểu lồng, chuỗi, null và các thao tác không được hỗ trợ có thể yêu cầu chuyển đổi hoặc cấp phát. Xác thực các cột thực tế mà vượt qua ranh giới. Một tham chiếu chính liên quan là Tài liệu Apache Parquet, điều này làm rõ các giả định về lưu trữ, thực thi, hoặc khả năng tương tác đứng sau lựa chọn đó.

Các Chế Độ Thất Bại Chung Của Polars

Các vấn đề với Polars thường phát sinh từ việc mang thói quen hướng hàng vào một động cơ biểu thức. Việc thu thập thường xuyên, các callback Python, suy diễn kiểu không kiểm soát và chuyển đổi không cần thiết có thể che giấu lợi ích của một con đường dạng cột đã lên kế hoạch.

• Thu thập quá sớm. Vật chất hóa sau mỗi bước ngăn cản bộ tối ưu thấy và cải thiện toàn bộ biến đổi.
• Sử dụng các callback hàng theo mặc định. Các hàm Python không minh bạch thêm chi phí và giữ logic bên ngoài động cơ biểu thức bản địa.
• Giả định ngữ nghĩa giống nhau. Chỉ mục, nhóm, null, chuỗi, ngày tháng và kết nối có thể khác với thư viện DataFrame khác.
• Bỏ qua các nút phát trực tiếp không được hỗ trợ. Không phải mọi kế hoạch đều có thể chạy hoàn toàn qua cùng một con đường phát trực tiếp, vì vậy hãy kiểm tra thực thi thay vì giả định.
• Chấm điểm chỉ giữa chừng. Phân tích đầu vào và chuyển đổi kết quả có thể chiếm ưu thế trong hoạt động được chọn để so sánh.

Một thất bại nên được truy vết đến lớp chịu trách nhiệm nhỏ nhất. Khi hiệu suất hoặc kết quả làm bạn ngạc nhiên, hãy kiểm tra các kế hoạch logic và tối ưu, sơ đồ, hành vi null, độ bội của các kết nối, điểm thu thập, các callback Python và các ranh giới chuyển đổi. Thực hành này tạo ra một hành động chỉnh sửa hữu ích thay vì một chỉ dẫn mơ hồ để thêm nhiều năng lực hơn.

Biến Đổi Hồ Sơ Web Công Cộng Với Polars

Một đường ống dữ liệu web có thể thu thập các trang đã được phê duyệt, phân tích các hồ sơ có kiểu, tạo một Polars LazyFrame, xác thực các trường cần thiết, loại bỏ sự quan sát trùng lặp, kết nối dữ liệu tham chiếu và viết các tệp phân tích đã phân vùng.

Đối với đầu vào web công cộng, lớp thu mua nên ghi lại URL yêu cầu, URL cuối, thời gian thu thập, chế độ phản hồi, và một kiểm tra nội dung trước khi bắt đầu xử lý phía hạ nguồn. Giữ nguyên URL gốc, thời gian quan sát, phiên bản trích xuất, và một khóa hồ sơ ổn định để các biến đổi được giữ nguyên theo dõi và có thể lặp lại. Việc chuyển giao đó cung cấp cho các nhà phân tích một bản ghi nguồn có thể tái sản xuất và giữ hành vi thu thập tách biệt khỏi diễn giải.

Scrapeless xử lý bước thu thập web đã được quản lý được mô tả trong câu mở đầu. Ứng dụng vẫn sở hữu sự phê duyệt nguồn, định nghĩa trường, ranh giới khối lượng công việc, việc giữ lại, kiểm soát truy cập và xác thực. Scrapeless thực hiện việc thu thập, mã phân tích định nghĩa các bản ghi, Polars thực hiện biến đổi DataFrame, và ứng dụng sở hữu chính sách nguồn, sơ đồ, ngân sách tài nguyên, chất lượng, lưu trữ và phát hành. Một hợp đồng rõ ràng giữa các lớp đó làm cho các thay đổi sau này dễ dàng kiểm tra hơn.

Đường ống nên giữ lại cả bằng chứng thô và đầu ra được biên soạn khi trường hợp sử dụng cần khả năng kiểm toán. Tài liệu thô hỗ trợ việc xử lý lại sau khi một trình phân tích hoặc sơ đồ thay đổi; các bảng biên soạn hỗ trợ phân tích ổn định. Viết các đầu ra có kiểu và được quản lý cho người tiêu dùng trong khi chỉ giữ lại bằng chứng nguồn cần thiết cho mục đích đã được phê duyệt và vòng đời. Hai đại diện trả lời các câu hỏi vận hành khác nhau và không nên bị nhầm lẫn là bản sao.

Danh sách kiểm tra thông qua Polars

Sử dụng các câu hỏi sau trong quá trình xem xét thiết kế. Một câu trả lời bằng văn bản có giá trị hơn một mặc định giả định vì nó phơi bày nơi các nhóm không đồng ý về Polars.

• Những chuyển đổi nào có thể nằm trong một kế hoạch lười biếng?
• Các sơ đồ được khai báo ở đâu thay vì được suy luận?
• Các biểu thức tự nhiên có bao trùm logic kinh doanh yêu cầu không?
• Các phép toán hoặc nguồn dữ liệu nào giới hạn việc thực thi luồng?
• Pipeline thu thập hoặc ghi kết quả ở đâu?
• Cardinalit của phép kết hợp và hành vi null mong đợi là gì?
• Những chuyển đổi nào đi vào pandas, Arrow, NumPy hoặc đối tượng ứng dụng?
• Một benchmark từ đầu đến cuối có phản ánh tệp và người tiêu dùng sản xuất không?

Polars sẵn sàng cho một khối lượng công việc khi đội ngũ hiểu rõ ngữ nghĩa biểu thức, hợp đồng kiểu, kế hoạch lười biếng, điểm vật liệu, ranh giới bộ nhớ và chi phí tích hợp xung quanh. Xem xét lại các câu trả lời sau khi hình dạng công việc, khối lượng dữ liệu, giới hạn dịch vụ hoặc kỳ vọng của người tiêu dùng thay đổi. Một kiến trúc hợp lý cho một lô công việc thử nghiệm có thể không phù hợp cho một đường đi sản xuất liên tục.

Kết luận

Polars là một thư viện DataFrame kiểu, cột với thực thi hào hứng và lười biếng và một công cụ truy vấn dựa trên biểu thức. Nó rất phù hợp cho các chuyển đổi phân tích được hưởng lợi từ tối ưu hóa kế hoạch, các toán tử song song và luồng có kiểm soát. Kết quả mạnh mẽ phụ thuộc vào các biểu thức tự nhiên, sơ đồ rõ ràng, các điểm thu thập có chủ đích và đo lường từ đầu đến cuối. Chọn nó cho một khối lượng công việc cụ thể và con đường tích hợp thay vì một tiêu đề benchmark.

Tài liệu tham khảo

• Giới thiệu về Scrapeless Web Unlocker
• Tổng quan sản phẩm Scrapeless Web Unlocker
• Hướng dẫn Scrapeless để phân tích các trang web tĩnh và đã render
• Các dự án mã nguồn mở Scrapeless trên GitHub