क्या है पार्केट? कॉलमर स्टोरेज, स्कीमा, और उपयोग के मामले

Scrapeless Scraping API संरचित वेब डेटा JSON या CSV में लौटाता है जिसे एनालिटिक्स पाइपलाइनों द्वारा मान्य किया जा सकता है और इसे बार-बार कॉलम-उन्मुख प्रश्नों के लिए अपाचे पारकेट में परिवर्तित किया जा सकता है।

Apache Parquet क्या है?

Apache Parquet एक ओपन-सोर्स, कॉलम-उन्मुख डेटा फ़ाइल प्रारूप है जो कुशल भंडारण और पुनर्प्राप्ति के लिए है। एक रिकॉर्ड के हर फ़ील्ड को एक साथ लिखने के बजाय, Parquet पंक्तियों के सीमित समूहों के भीतर कॉलम द्वारा मानों को व्यवस्थित करता है। विश्लेषणात्मक इंजन केवल उन कॉलमों को पढ़ सकते हैं जो एक प्रश्न द्वारा आवश्यक होते हैं, न कि हर रिकॉर्ड में हर फ़ील्ड को स्कैन करने के बजाय।

The Apache Parquet दस्तावेज़ीकरण लिंक्स प्रारूप विशिष्टता, सिद्धांत, फ़ाइल-फ़ॉर्मेट विवरण और कार्यान्वयन संसाधनों को। प्रारूप डेटा-प्रसंस्करण इंजनों और भाषाओं में समर्थित है, जो इसे डेटा झीलों, गोदामों, फ़ीचर पाइपलाइनों और अभिलेखीय विश्लेषणात्मक डेटासेट्स के लिए एक सामान्य भंडारण सीमा बनाता है।

Parquet बाइनरी है। इसे किसी टेक्स्ट संपादक में खोलकर संपादित करने के लिए नहीं बनाया गया है। एक रीडर लाइब्रेरी फ़ाइल में संग्रहित मेटाडेटा का उपयोग करके कॉलम चंक्स को खोजती है, पृष्ठों को डिकोड करती है, संपीड़न कोडेक को लागू करती है, और पंक्तियों या कॉलम वेक्टर को पुनर्निर्मित करती है।

क्यों कॉलम संग्रहण महत्वपूर्ण है

एक डेटा सेट पर विचार करें जिसमें ग्राहक आईडी, देश, श्रेणी, विवरण, कीमत, और घटना समय हैं। एक क्वेरी जो देश के अनुसार औसत कीमत की गणना करती है, उसे केवल तीन कॉलम की आवश्यकता होती है। एक पंक्ति-उन्मुख पाठ फ़ाइल में, इंजन अभी भी विवरणों और अन्य अप्रयुक्त क्षेत्रों के माध्यम से पढ़ता है। पार्केट में, इंजन आवश्यक कॉलम भागों का चयन कर सकता है।

कॉलम मान भी अक्सर अपने पड़ोसियों के समान होते हैं। एक देश कॉलम एक छोटे सेट के कोड को दोहरा सकता है, एक बूलियन कॉलम में बहुत कम संख्या होती है, और क्रमबद्ध टाइमस्टैम्प में छोटे डेल्टास हो सकते हैं। एन्कोडिंग और कंप्रेशन उन पैटर्न का लाभ अधिक प्रभावी ढंग से उठा सकते हैं, बनिस्बत उस लेआउट के जहां अप्रासंगिक क्षेत्र प्रकार हर पंक्ति में बारी-बारी से आते हैं।

कॉलम आधारित संग्रह हर ऑपरेशन को तेज नहीं बनाता। एक पूर्ण व्यक्तिगत रिकॉर्ड का पुनर्निर्माण कई कॉलम चंक्स को छू सकता है। एक रिकॉर्ड को अपडेट करना आमतौर पर फ़ाइल डेटा को फिर से लिखने का मतलब होता है बजाय उसके कि एक पंक्ति को स्थान में बदलने के। पारक्वेट स्कैन, एकत्रीकरण, छानने और चयनात्मक प्रक्षिप्तियों को लेनदेनात्मक पंक्ति अपडेट पर प्राथमिकता देता है।

कैसे एक पार्क्वेट फ़ाइल संगठित होती है

एक Parquet फ़ाइल में मेटाडेटा और एनकोडेड डेटा होता है जो कई परतों के माध्यम से व्यवस्थित होता है:

• फ़ाइल मेटाडेटा। फुटर स्कीमा, पंक्ति समूह, कॉलम स्थान, एन्कोडिंग, संकुचन जानकारी, और वैकल्पिक कुंजी-मान मेटाडेटा को दर्ज करता है।
• पंक्ति समूह। एक पंक्ति समूह पंक्तियों का एक क्षैतिज विभाजन है। उस पंक्ति श्रृंखला में प्रत्येक कॉलम को एक कॉलम चंक के रूप में संग्रहीत किया जाता है।
• स्तंभ टुकड़े। एक खंड एक पंक्ति समूह के भीतर एक कॉलम के लिए मान रखता है और इसे पृष्ठों में विभाजित किया जाता है।
• पृष्ठ। पृष्ठ वे इकाइयाँ हैं जहाँ एन्कोडिंग, संकुचन, और कुछ सांख्यिकी लागू की जाती हैं और पढ़ी जाती हैं।
• पैराग्राफ. फाइल के अंत में मेटाडेटा एक पाठक को लेआउट खोजने की अनुमति देता है, इससे पहले कि वह यह तय करे कि कौन से डेटा रेंज को लाना है।

विस्तृत संरचनाएँ और एन्कोडिंग्स में मौजूद हैं एपाचे पार्क्वेट प्रारूप विनिर्देश भंडार. कार्यान्वयन विभिन्न उपसमुच्चयों या वैकल्पिक सुविधाओं का समर्थन कर सकते हैं, इसलिए एक पाइपलाइन को इसके लेखकों और पाठकों के बीच संगतता का परीक्षण करना चाहिए।

भौतिक और तार्किक प्रकार

Parquet भौतिक प्रकारों को परिभाषित करता है जो निम्न-स्तरीय भंडारण को नियंत्रित करते हैं, जिसमें पूर्णांक, फ्लोटिंग-पॉइंट मान, बाइट ऐरे और निश्चित-लंबाई के बाइट ऐरे शामिल हैं। तार्किक प्रकार अटकलें डोमेन अर्थ जोड़ती हैं जैसे कि स्ट्रिंग, दशमलव, तिथि, समय, टाइमस्टैम्प, UUID, सूची, मानचित्र, और पूर्णांक चौड़ाई।

एक दशमलव मान यह दर्शाता है कि यह भेद क्यों महत्वपूर्ण है। इसके भौतिक बाइट्स को एक पूर्णांक या बाइट ऐरे के रूप में संग्रहीत किया जा सकता है, जबकि तार्किक एनोटेशन सटीकता और स्केल प्रदान करता है। पाठकों को सही ढंग से इच्छित मान को पुनर्निर्माण करने के लिए दोनों परतों की आवश्यकता होती है।

Schema डिज़ाइन को व्यावसायिक अर्थों को बनाए रखना चाहिए। टाइमस्टैम्प को एक प्रलेखित समय-क्षेत्र व्याख्या की आवश्यकता होती है। दशमलव सटीकता को अपेक्षित मूल्यों को कवर करना चाहिए। पहचानकर्ता जो संख्या के समान दिखते हैं, एक स्ट्रिंग प्रकार में हो सकते हैं। एक लेखक को छोटे नमूने से एक संकीर्ण प्रकार का अनुमान नहीं लगाना चाहिए यदि बाद में फ़ाइलों में बड़े मूल्य हो सकते हैं।

पार्केट में नेस्टेड डेटा

Parquet ने प्रत्येक डेटा सेट को सपाट तालिका में मजबूर करने के बजाय, नेस्टेड रिकॉर्ड्स, सूचियों और मैप्स का प्रतिनिधित्व करने की क्षमता रखी है। यह परिभाषा और पुनरावृति स्तरों का उपयोग करता है यह एन्कोड करने के लिए कि क्या नेस्टेड फ़ील्ड उपस्थित हैं और पुनर्निर्मित संरचना में दोहराए गए मान कहाँ संबंधित हैं।

यह क्षमता पारकेट को मान्यताप्राप्त JSON रिकॉर्ड्स के लिए एक स्वाभाविक गंतव्य बनाती है जो एरे या बच्चे के वस्तुओं को शामिल करती है। रूपांतरण के लिए अभी भी एक स्थिर स्कीमा की आवश्यकता होती है। यदि एक रिकॉर्ड एक फ़ील्ड को स्ट्रिंग के रूप में और दूसरा उसी नाम के तहत एक ऑब्जेक्ट को स्टोर करता है, तो लेखक को एक विश्वसनीय डेटासेट बनाने से पहले उस संघर्ष को हल करना चाहिए।

नासिक कॉलम हर बच्चे को एक पंक्ति में समतल करने की तुलना में दोहराए गए माता-पिता के डेटा को कम कर सकते हैं। वे क्वेरीज़ और इंटरऑपरेबिलिटी को भी जटिल बना सकते हैं जब इंजन विभिन्न तरीके से नासिक संरचनाओं को प्रदर्शित करते हैं। पाइपलाइन द्वारा उपयोग की जाने वाली सटीक सूची और नक्शा आकारों का परीक्षण करें।

Parquet बनाम CSV और JSON

संपीड़न, एनकोडिंग, और सांख्यिकी

पार्केट एनकोडिंग को संपीड़न से अलग करता है। एनकोडिंग मूल्य को कुशलता से प्रतिनिधित करता है इससे पहले कि संपीड़न कोडेक पृष्ठ बाइट्स को संसाधित करे। कार्यान्वयन शब्दकोश एनकोडिंग, रन-लेंथ तकनीकों, बिट पैकिंग, डेल्टा एनकोडिंग, या प्रकार और डेटा के आधार पर साधारण प्रतिनिधित्व का चयन कर सकते हैं।

मेटाडेटा सांख्यिकी में न्यूनतम और अधिकतम मान, शून्य गिनती, और अन्य इंडेक्स शामिल हो सकते हैं। एक क्वेरी इंजन का उपयोग उन्हें उस पंक्ति समूह को छोड़ने के लिए कर सकता है जिसका मान सीमा एक फ़िल्टर को संतुष्ट नहीं कर सकता। यह भंडारण पर प्रीडिकेट पुशडाउन या छंटाई है। यह डेटा संगठन और सांख्यिकी के संगति होने पर I/O को कम करता है।

सांख्यिकी पहुँच नियंत्रण का विकल्प नहीं हैं और जो कोई फ़ाइल मेटाडेटा पढ़ सकता है उसे मान रेंज या गिनती प्रकट कर सकते हैं। संवेदनशील डेटासेट को भंडारण अनुमतियों, एन्क्रिप्शन नियंत्रण, और वस्तु और सूची पर स्तर पर शासन की आवश्यकता होती है।

पार्टीशन, फ़ाइलें, और छोटे फ़ाइल समस्या

डेटासेट अक्सर बारंबार फ़िल्टर किए गए मान, जैसे कि तिथि या क्षेत्र द्वारा विभाजित निर्देशिकाओं में पार्केट फ़ाइलें रखता है। एक क्वेरी इंजन फ़ाइल मेटाडेटा खोलने से पहले पूरी पथों को छोड़ सकता है। पार्टीशन फ़ील्ड्स को नियंत्रित कार्डिनैलिटी होनी चाहिए; प्रति उपयोगकर्ता या अनुरोध निर्देशिका बनाना बहुत छोटे पार्टीशनों की अव्यवस्थित संख्या उत्पन्न कर सकता है।

कई छोटे फ़ाइलें योजना, सूची, कनेक्शन, और मेटाडेटा अधिकता जोड़ती हैं। वे प्रत्येक फ़ाइल के अंदर प्रभावी संपीड़न के लिए उपलब्ध डेटा की मात्रा को भी कम करती हैं। पाइपलाइन्स आमतौर पर छोटे आउटपुट को उन फ़ाइलों में संकुचित करती हैं जो उनके क्वेरी इंजन और ऑब्जेक्ट स्टोर के लिए आकार में होती हैं, जबकि छंटाई का समर्थन करने वाली पार्टीशन सीमाओं को बनाए रखते हुए।

कोई सार्वभौमिक फ़ाइल आकार हर प्रणाली के लिए सही नहीं है। वस्तु-स्टोर व्यवहार, क्वेरी समवर्तीता, पंक्ति चौड़ाई, मेमोरी सीमाएँ, लेखन ताल, और इंजन मार्गदर्शन के आधार पर चुनें। योजना समय और स्कैन थ्रूपुट दोनों को मापें।

पार्केट एक तालिका प्रारूप नहीं है

एक पार्केट फ़ाइल उस फ़ाइल के अंदर डेटा का वर्णन करती है। यह अपने आप में हजारों फ़ाइलों के बीच लेनदेन लॉग, स्नैपशॉट बंकर, परमाणु मल्टी-फ़ाइल कमिट्स, पंक्ति-स्तरीय परिवर्तनों, या वर्तमान तालिका स्थिति से संबंधित फ़ाइलों की सूची प्रदान नहीं करती है।

एक डेटा प्लेटफ़ॉर्म अपने कैटलॉग और तालिका परत के माध्यम से उन चिंताओं को प्रबंधित कर सकता है। यह भेद_updates और स्कीमा परिवर्तनों के दौरान महत्वपूर्ण है। निर्देशिका में हर वस्तु को सूचीबद्ध करना और इसे वर्तमान डेटा के रूप में मानना, जब तक चारों ओर का सिस्टम कमिट.semantic को परिभाषित नहीं करता, यह पुरानी या आंशिक रूप से लिखी गई फ़ाइलों को शामिल कर सकता है।

स्कीमा विकास

एक वैकल्पिक स्तंभ जोड़ना अक्सर प्रबंधनीय होता है क्योंकि पुराने फ़ाइलें बस इसे नहीं रखती हैं और पाठक शून्य प्रदान कर सकते हैं। एक स्तंभ का नाम बदलना कठिन होता है क्योंकि नाम-आधारित पाठक दो अलग-अलग फ़ील्ड देख सकते हैं। कुछ पारिस्थितिक तंत्र स्थिर फ़ील्ड पहचानकर्ताओं का पालन करते हैं, लेकिन समर्थन लेखकों, पाठकों, और तालिका परत के बीच लगातार होना चाहिए।

एक भौतिक या तर्कात्मक प्रकार को बदलने के लिए एक संगतता योजना की आवश्यकता होती है। किसी पूर्णांक को चौड़ा करना कुछ पाठकों में काम कर सकता है; एक स्ट्रिंग को एक अंतर्निहित रिकॉर्ड में बदलना एक अर्थात्मक ब्रेक है। स्कीमा संस्करणों को स्टोर करें, प्रकाशन से पहले नई फाइलों को मान्य करें और मिश्रित-संस्करण पढ़ाई का परीक्षण करें।

एक फाइल के स्कीमा पर पूरी डेटा सेट कानूनी व्यवस्था के रूप में भरोसा न करें। एक निर्देशिका में विभिन्न नौकरियों द्वारा या विभिन्न समय पर लिखी गई फाइलें हो सकती हैं। कैटलॉग स्कीमा और अंतर्ग्रहण मान्यता यह परिभाषित करनी चाहिए कि क्या स्वीकार्य है।

सामान्य पैर्क्वेट उपयोग के मामले

पैर्क्वेट का उपयोग कब न करें

पैर्क्वेट एक दस्तावेज़ के लिए गरीब फिट है जिसे लोग मैन्युअल रूप से संपादित करने की आवश्यकता होती है, एक सार्वजनिक एपीआई प्रतिक्रिया, या छोटे स्वतंत्र संदेशों की धारा। यह बार-बार एकल-पंक्ति अपडेट और एक अनुक्रमणिका या तालिका इंजन के बिना सीधे की-वैल्यू लुकअप के लिए भी अजीब है।

CSV सरल विश्लेषक हैंडऑफ के लिए बेहतर हो सकता है। JSON या NDJSON सेवाओं और घटना प्रसंस्करण के लिए बेहतर हो सकता है। एक लेनदेन डेटाबेस परिवर्तनशील परिचालन स्थिति के लिए बेहतर हो सकता है। समान पाइपलाइन एक प्रारूप में कच्चे इनपुट को उतार सकती है और पैर्क्वेट में एक क्यूरेटेड विश्लेषणात्मक परत का प्रकाशन कर सकती है।

विश्वसनीय पैर्क्वेट डेटा कैसे बनाएं

1. इसकी canonical स्कीमा परिभाषित करें। nullability, तर्कात्मक प्रकार, टाइमस्टैम्प अर्थशास्त्र, दशमलव सटीकता, और अंतर्निहित संरचनाओं को निर्दिष्ट करें।
2. आने वाले रिकार्ड को मान्य करें। फाइलों को लिखने से पहले प्रकार के संघर्षों और दोषपूर्ण मूल्यों को हल करें।
3. माप द्वारा पंक्ति-समूह और फ़ाइल लक्ष्यों का चयन करें। याददाश्त, संकुचन, समानांतरता, और मेटाडेटा ओवरहेड का संतुलन बनाएँ।
4. वास्तविक फ़िल्टर के लिए विभाजन करें। उच्च-कार्डिनलिटी पथों और खाली विभाजनों से बचें।
5. हर पाठक का परीक्षण करें। उपयुक्त अंतर्निहित प्रकार, तार्किक annotations, संकुचन कोडेक्स और तैनात इंजन सेट के बीच स्कीमा विकास को पुष्ट करें।
6. डेटासेट परत के माध्यम से परमाणुविक रूप से प्रकाशित करें। अपूर्ण फाइलों को मान्यता और कैटलॉग अपडेट सफल होने तक अदृश्य बनाएं।

निष्कर्ष

अपीची पैर्क्वेट टाइप किए गए रिकार्ड को एक कॉलम-उन्मुख फ़ाइल में बदलती है जिसे विश्लेषणात्मक प्रणाली चयनात्मक रूप से पढ़ सकती हैं। इसका स्कीमा, एन्कोडिंग, संकुचन, आँकड़े, और अंतर्निहित-डेटा समर्थन कई स्कैन-भारी कार्यभार के लिए अनावश्यक I/O को कम करते हैं। उन लाभों का निर्भर करता है मजबूत डेटा सेट डिजाइन पर: नियंत्रित स्कीमा, समझदारी से फाइलें और पंक्ति समूह, उपयोगी विभाजन, संगत पाठक, और तब लेयर जब लेनदेन या स्नैपशॉट मायने रखते हैं। पैर्क्वेट क्यूरेटेड विश्लेषणात्मक गंतव्य के रूप में सबसे मजबूत है, JSON, CSV, डेटाबेस, या घटना प्रारूपों के लिए एक सार्वभौमिक प्रतिस्थापन के रूप में नहीं।