Pandas là gì?

định nghĩa pandas

pandas là một gói Python mã nguồn mở dành cho việc thao tác và phân tích dữ liệu. Nó cung cấp các cấu trúc dữ liệu được gán nhãn, đặc biệt là Series cho các giá trị một chiều và DataFrame cho các bảng hai chiều. Gói này kết nối đầu vào tệp, kết quả cơ sở dữ liệu, tính toán mảng, làm sạch dữ liệu, định hình lại, nhóm, kết hợp, chuỗi thời gian và xuất khẩu thông qua một giao diện quen thuộc.

Một DataFrame có các hàng, cột, một chỉ mục, và kiểu dữ liệu theo cột. Các phép toán có thể chọn nhãn hoặc vị trí, căn chỉnh đối tượng theo chỉ mục, tính toán các biểu thức vector hóa, nhóm bản ghi, kết hợp các bảng, và đại diện cho các giá trị thiếu. Mô hình được gán nhãn đó là nguồn gốc của cả sự tiện lợi của pandas và một số rủi ro chính xác tinh vi. Thuật ngữ chính được sử dụng ở đây theo dõi tổng quan về gói pandas, điều này mang lại cho khái niệm một ranh giới kỹ thuật cụ thể thay vì coi nó như một nhãn tiếp thị.

Một định nghĩa hữu ích cũng cho biết điều mà khái niệm không làm. pandas không phải là một cơ sở dữ liệu, một công cụ thực thi phân tán, hoặc chứng minh tự động rằng phân tích là có thể tái hiện. Nó chạy bên trong một quy trình Python và phụ thuộc vào quy trình làm việc xung quanh cho danh tính nguồn, ngân sách bộ nhớ, quản lý môi trường, kiểm thử, quyền truy cập và xuất bản. Giữ cho ranh giới đó được nhìn thấy ngăn cản các sơ đồ kiến trúc gán đảm bảo cho một thành phần thuộc về một lớp khác.

Cách mà pandas đại diện và biến đổi dữ liệu

Một quy trình pandas chuyển đổi các bản ghi bên ngoài thành các mảng được gán nhãn, áp dụng các phép biến đổi rõ ràng và tạo ra một bảng mới, tóm tắt, đầu vào trực quan hóa hoặc xuất khẩu. Hầu hết các bước hiện thực hóa kết quả ngay lập tức trong quy trình Python hiện tại.

1. Đọc một tệp, kết quả truy vấn, ánh xạ, mảng hoặc bản ghi vào một Series hoặc DataFrame với các tùy chọn phân tích được kiểm soát.
2. Kiểm tra các cột, kiểu dữ liệu, chỉ mục, hình dạng, giá trị thiếu, các bản sao và các bản ghi đại diện trước khi chuyển đổi.
3. Chọn hàng và cột bằng các phép toán nhận biết nhãn hoặc nhận biết vị trí có ý nghĩa rõ ràng.
4. Chuyển đổi loại, chuẩn hóa giá trị, kết hợp dữ liệu tham chiếu, nhóm hồ sơ, và tính toán các trường bằng biểu thức vector hóa nơi thực tế.
5. Xin vui lòng cung cấp văn bản bạn muốn dịch.

pandas được xây dựng trên hệ sinh thái số rộng lớn của Python và có thể tương tác với dữ liệu được hỗ trợ bởi NumPy và Arrow. Tính tương tác giúp giảm công việc chuyển đổi trong một số đường dẫn, nhưng người dùng vẫn nên kiểm tra các loại, biểu diễn null, bảo tồn chỉ mục và bản sao khi dữ liệu vượt qua các ranh giới thư viện. Hành vi này được tài liệu hóa đầy đủ hơn trong Cơ bản về mảng NumPyNguồn gốc rất hữu ích vì nó mô tả thực thi hoặc mô hình dữ liệu thực tế thay vì dựa vào một phép tương tự lỏng lẻo.

Các đối tượng cốt lõi của pandas

Mã pandas tốt nhất làm cho danh tính và loại hàng trở nên rõ ràng. Sự căn chỉnh nhãn có thể ngăn ngừa sai sót vị trí, nhưng nó cũng có thể tạo ra các giá trị bị thiếu không mong muốn khi hai đối tượng có chỉ mục khác nhau. Kiểm tra tạo bảng và các bước thiết lập hoặc đặt chỉ mục rõ ràng thì an toàn hơn so với việc dựa vào nhãn ngẫu nhiên.

Nơi pandas phù hợp tốt

Các trường hợp sử dụng này chia sẻ một quy tắc lựa chọn: chọn pandas vì mô hình thực thi và sở hữu của nó phù hợp với khối lượng công việc, chứ không phải vì tên nghe có vẻ tiên tiến hơn. Các tập dữ liệu rất lớn, lập kế hoạch truy vấn nghiêm ngặt, khối lượng công việc phân tán, hoặc dịch vụ đồng thời cao có thể cần một cơ sở dữ liệu hoặc một động cơ thực thi khác. pandas vẫn hữu ích ở các ranh giới ngay cả khi nó không phải là lớp tính toán chính.

Chỉ mục, Kiểu, và Giá trị Thiếu

Công việc pandas đáng tin cậy bắt đầu với một hợp đồng dữ liệu. Xác định ý nghĩa của cột, loại mong đợi, khóa, đơn vị, chính sách null, múi giờ, và số hàng chấp nhận trước khi chuỗi các phép biến đổi.

• Kiểm soát phân tích cú pháp. Chỉ định các kiểu quan trọng, xử lý ngày, dấu phân cách, và đánh dấu null thay vì chấp nhận mọi suy diễn một cách thầm lặng.
• Xác thực thẻ nối. Một đến một, một đến nhiều, và nhiều đến nhiều nối có những hệ quả khác nhau về số lượng hàng.
• Ưu tiên các biểu thức vector hóa. Các phép toán cột thường rõ ràng hơn và hiệu quả hơn so với các vòng lặp Python trên hàng.
• Làm cho sự biến đổi trở nên rõ ràng. Gán kết quả trung gian có chủ đích hoặc sử dụng chuỗi phương thức dễ đọc với các kiểm tra tại các ranh giới hợp đồng.
• Viết đầu ra có thể di chuyển. Các định dạng cột kiểu bảo tồn nhiều ý nghĩa phân tích hơn so với văn bản chỉ định hướng trình bày một mình.

Khả năng tương tác Arrow có thể bảo tồn bộ đệm cột và các kiểu có nhận diện null phong phú qua các công cụ trong các trường hợp phù hợp. Hành vi chuyển đổi chính xác phụ thuộc vào loại cột và hoạt động, vì vậy việc chia sẻ bộ nhớ nên được đo lường thay vì giả định. Một tài liệu tham khảo chính liên quan là Hướng dẫn tích hợp pandas Apache Arrow, cái mà làm rõ các giả định về lưu trữ, thực thi, hoặc khả năng tương tác phía sau sự lựa chọn đó.

Các Chế Độ Thất Bại Thường Gặp của pandas

Nhiều lỗi pandas có thể xảy ra hợp lý hơn là to tiếng. Một phép nối trả lại các hàng, một cột ngày phân tích, hoặc một phép tổng hợp tạo ra một số, nhưng kết quả phản ánh các loại không mong muốn, khóa bị trùng lặp, căn chỉnh chỉ mục, hoặc giá trị bị mất.

• Cột đối tượng ở mọi nơi. Giá trị hỗn hợp ẩn giấu các vấn đề về kiểu và có thể làm cho các phép so sánh, bộ nhớ, và hành vi xuất không thể đoán trước.
• Nối nhiều-nhiều không được kiểm tra. Khóa trùng lặp ở cả hai bên nhân các hàng và làm phồng các biện pháp mà không có lỗi cú pháp.
• Mơ hồ trong việc gán chuỗi. Một phép toán có thể nhắm vào một chế độ xem hoặc bản sao theo cách mà làm mờ đi liệu bảng đã được thay đổi hay chưa.
• Nhầm lẫn chỉ mục. Sự căn chỉnh nhãn và những giả định vị trí có thể phân ly sau khi sắp xếp, lọc, hoặc nối.
• Vòng lặp Python theo hàng. Các cuộc gọi hàm theo từng hàng thường thêm chi phí và ẩn giấu các phép toán mà có các biểu thức cột rõ ràng hơn.

Một thất bại nên được truy dấu đến lớp chịu trách nhiệm nhỏ nhất. Khi một kết quả thay đổi một cách không mong muốn, hãy kiểm tra phiên bản nguồn, hình dạng, loại, khóa, chỉ mục, số lượng null, xác thực nối, và số lượng hàng sau mỗi ranh giới biến đổi. Thực hành này tạo ra một hành động khắc phục hữu ích thay vì một chỉ dẫn mơ hồ để thêm nhiều khả năng.

Phân Tích Hồ Sơ Web Công Khai với pandas

Hồ sơ web công khai chỉ trở nên hữu ích trong pandas sau khi việc thu thập và phân tích được tách biệt. Trang được lấy là bằng chứng; DataFrame là một diễn giải có cấu trúc với các trường, loại, khóa, và quy tắc giá trị thiếu.

Đối với đầu vào web công khai, lớp thu thập nên ghi lại URL yêu cầu, URL cuối, thời gian thu thập, chế độ phản hồi, và một kiểm tra nội dung trước khi quy trình hạ nguồn bắt đầu. Bao gồm URL nguồn, thời gian quan sát, phiên bản trích xuất, và khóa hồ sơ để một hàng DataFrame có thể được truy dấu và loại bỏ trùng lặp. Sự chuyển giao đó cung cấp cho nhà phân tích một hồ sơ nguồn có thể tái tạo và giữ cho hành vi thu thập tách biệt khỏi diễn giải.

Scrapeless xử lý bước thu thập web được quản lý được mô tả trong câu mở đầu. Ứng dụng vẫn sở hữu việc phê duyệt nguồn, định nghĩa trường, giới hạn khối lượng công việc, lưu giữ, kiểm soát truy cập, và xác thực. Scrapeless lấy trang đã được phê duyệt, mã phân tích xác định hồ sơ, và pandas thực hiện các biến đổi; ứng dụng sở hữu chính sách nguồn, xác thực, lưu trữ, giữ lại, và ý nghĩa phân tích. Một hợp đồng rõ ràng giữa các lớp đó làm cho những thay đổi sau này dễ dàng hơn để thử nghiệm.

Chuỗi xử lý nên bảo tồn cả bằng chứng thô và đầu ra được biên tập khi trường hợp sử dụng cần khả năng kiểm toán. Nguyên liệu thô hỗ trợ tái xử lý sau khi một bộ phân tích hoặc lược đồ thay đổi; các bảng được biên tập hỗ trợ phân tích ổn định. Viết đầu ra có kiểu được quản lý sau khi xác thực, và chỉ giữ lại bằng chứng nguồn khi cần theo các quyền và vòng đời được yêu cầu bởi trường hợp sử dụng. Hai cách biểu diễn trả lời các câu hỏi hoạt động khác nhau và không nên bị nhầm lẫn với bản sao.

Danh sách kiểm tra quy trình pandas

Sử dụng các câu hỏi sau đây trong quá trình xem xét thiết kế. Một câu trả lời viết ra có giá trị hơn một mặc định được giả định vì nó phơi bày nơi các đội không đồng ý về pandas.

• Một hàng đại diện cho cái gì, và các cột nào tạo thành một khóa duy nhất?
• Các kiểu dữ liệu và giá trị null nào được mong đợi trước khi phân tích?
• Sự căn chỉnh chỉ mục có phù hợp với hoạt động dự kiến không?
• Loại kết nối nào được phép tại mỗi lần hợp nhất?
• Những biến đổi nào có thể sử dụng biểu thức cột thay vì vòng lặp hàng?
• DataFrame có thể lớn đến mức nào trong bộ nhớ?
• Các trường nguồn gốc nào kết nối các hàng đầu ra với chứng cứ nguồn?
• Những khẳng định nào phải đạt được trước khi ghi hoặc xuất bản kết quả?

Một quy trình làm việc của pandas đã sẵn sàng khi các kiểu dữ liệu, khóa, nghĩa chỉ mục, quy tắc null, các phép kết hợp, nguồn gốc, ranh giới bộ nhớ và hợp đồng đầu ra được kiểm tra thay vì ngụ ý. Hãy xem lại các câu trả lời sau khi hình dạng khối lượng công việc, khối lượng dữ liệu, giới hạn dịch vụ, hoặc mong đợi của người tiêu dùng thay đổi. Một kiến trúc mà hợp lý cho một lô thí nghiệm có thể không phù hợp cho một con đường sản xuất liên tục.

Kết luận

pandas là một công cụ xử lý dữ liệu dạng bảng có gán nhãn cho Python, kết nối việc nhập, làm sạch, kết hợp, nhóm, chuyển đổi, chuỗi thời gian và xuất khẩu. Giá trị của nó đến từ một mô hình DataFrame biểu cảm và sự tích hợp rộng rãi trong hệ sinh thái. Kết quả chính xác vẫn phụ thuộc vào các kiểu dữ liệu, khóa, hành vi chỉ mục, quy tắc null, xác minh kết hợp, lập kế hoạch bộ nhớ và nguồn gốc. Hãy coi DataFrame như một sự diễn giải có quản lý của dữ liệu nguồn, chứ không phải là nguồn dữ liệu tự thân.

Tài liệu tham khảo

• Giới thiệu về Scrapeless Web Unlocker
• Tổng quan sản phẩm về Scrapeless Web Unlocker
• Hướng dẫn thu thập dữ liệu web bằng Python không cần scrapeless
• Các dự án nguồn mở Scrapeless trên GitHub