पोलर्स क्या है?

पोलर्स की परिभाषा

पोलर्स एक ओपन-सोर्स डेटा फ़्रेम पुस्तकालय और विश्लेषणात्मक क्वेरी इंजन है जिसका मुख्य भाग रस्ट में लिखा गया है। यह प्रकारित कॉलम, एक्सप्रेशन, जोड़े, समूहबद्धता, विंडो संचालन, फ़ाइल इनपुट और आउटपुट, और दोनों ईगर और लेज़ी निष्पादन मोड में काम करने के लिए एपीआई प्रदान करता है।

एक ईगर डेटा फ़्रेम बल्कि जैसे ही उन्हें कहा जाता है उन संचालन की गणना करता है। एक लेज़ीफ़्रेम संग्रह तक एक तार्किक योजना को दर्ज करता है, ऑप्टिमाइज़र को फ़िल्टर और प्रक्षिप्तियों को डेटा स्रोतों की ओर धकेलने, एक्सप्रेशनों को सरल बनाने, और कई चरणों में दृश्यता के साथ निष्पादन रणनीतियों का चयन करने का अवसर देता है। यहां प्रयुक्त प्राथमिक शब्दावली का पालन करता है पोलर्स उपयोगकर्ता मार्गदर्शिका, जो इस अवधारणा को तकनीकी सीमा देता है बजाय इसके कि इसे एक विपणन लेबल के रूप में माना जाए।

एक उपयोगी परिभाषा यह भी बताती है कि अवधारणा क्या नहीं करती। पोलर्स एक वितरित क्लस्टर प्लेटफ़ॉर्म, एक डेटाबेस सर्वर, या यह वादा नहीं है कि हर पाइपलाइन एक आयात परिवर्तन के बाद तेज़ हो जाती है। यह अनुप्रयोग वातावरण के भीतर निष्पादित होता है और नियंत्रित इनपुट, सही एक्सप्रेशनों, संसाधन सीमाओं, और बाकी स्टैक के साथ मापी गई अंतःक्रियाशीलता पर निर्भर करता है। उस सीमा को दृश्यमान बनाए रखना आर्किटेक्चर आरेखों को दूसरे लेयर से संबंधित एक घटक को गारंटी देने से रोकता है।

पोलर्स योजनाएँ और कार्यान्वित कैसे करता है

पोलर्स कई डेटा फ़्रेम संचालन को एक क्वेरी योजना में एक्सप्रेशनों के रूप में मानता है। इंजन सभी इनपुट पढ़ने या हर मध्यवर्ती परिणाम को साकार करने से पहले चरणों के बीच संबंधों का विश्लेषण कर सकता है।

1. पार्केट, CSV, एक डेटाबेस परिणाम, या एक इन-मेमोरी संरचना जैसे टाइप्ड स्रोत को पढ़ें या स्कैन करें।
2. चयन, फ़िल्टरिंग, प्रकार रूपांतरण, जोड़ों, समूहबद्धता, विंडोज, और व्युत्पन्न कॉलमों के लिए एक्सप्रेशनों का निर्माण करें।
3. लेज़ी मोड में, उन एक्सप्रेशनों को अंतिम पंक्तियाँ उत्पन्न किए बिना एक तार्किक योजना में संयोजित करें।
4. प्लान को ऑप्टिमाइज़ करेंEligible फ़िल्टर और प्रक्षिप्तियों को पहले ही ले जाकर और भौतिक ऑपरेटरों का चयन करें।
5. योजना को निष्पादित करें, संभवतः कई CPU कोर के माध्यम से या स्ट्रीमिंग-योग्य पथ में, फिर परिणाम एकत्र करें या लिखें।

ऑप्टिमाइज़र को स्पष्ट दृश्यता चाहिए। प्रत्येक पंक्ति को पायथन में खींचना या अपारदर्शी कार्यों के भीतर लॉजिक को छिपाना उस दृश्यता को कम कर सकता है और भाषा-सीमा की लागत को जोड़ सकता है। मूल एक्सप्रेशन आमतौर पर गणना को इंजन में रखते हैं जहां प्रकार और निष्पादन एक साथ योजनाबद्ध किए जा सकते हैं। यह व्यवहार अधिक विस्तार से दस्तावेज किया गया है एपाचे एरो कॉलमर फॉर्मेट स्पेसिफिकेशन में।स्रोत उपयोगी है क्योंकि यह वास्तविक निष्पादन या डेटा मॉडल का वर्णन करता है बजाय इसके कि एक ढीली उपमा पर निर्भर करे।

पोलर्स के मूल अवधारणाएँ

ईगर और सुस्त APIs अलग-अलग क्षणों की सेवा करते हैं। अन्वेषण तुरंत परिणामों को महत्व दे सकता है, जबकि एक दोहराए जाने वाले फ़ाइल-से-फ़ाइल पाइपलाइन को एक सुस्त योजना और एक नियंत्रित अंतिम सिंक से लाभ होता है। उन्हें बिना इरादे के मिलाना अनावश्यक सामग्रीकरण सीमाएं बना सकता है।

जहाँ पोलर्स सबसे अच्छा फिट बैठता है

इन उपयोग मामलों में एक चयन नियम साझा होता है: पोलर्स चुनें क्योंकि इसका निष्पादन और स्वामित्व मॉडल कार्यभार के साथ मेल खाता है, न कि क्योंकि नाम अधिक उन्नत लगता है। एक छोटा इंटरैक्टिव डेटा सेट स्थापित पुस्तकालय से प्रवासन को उचित नहीं ठहरा सकता है। पारिस्थितिकी संगतता, टीम कौशल, प्लॉटिंग, विशेष विस्तार, और चारों ओर के मॉडल इंटरफेस अलग रूपांतरण गति से अधिक मायने रख सकते हैं।

गणनाएँ, प्रकार, और सुस्त योजनाएँ

एक पोलर्स डिज़ाइन को डिक्लारेटिव काम को अधिकतम करना चाहिए जबकि स्कीमा और संग्रह सीमाओं को स्पष्ट रखते हुए। सबसे महत्वपूर्ण प्रश्न यह है कि कब LazyFrame एक सामग्री परिणाम बनता है और क्यों।

• जहाँ उपयुक्त हो, पढ़ने के बजाय स्कैन करें। एक सुस्त स्कैन ऑप्टिमाइज़र को पात्र काम को डेटा स्रोत की ओर धकेलने की अनुमति देता है।
• स्वदेशी अभिव्यक्तियों का उपयोग करें। इंजन-दृश्यमान संचालन प्रकार की जानकारी को संरक्षित करते हैं और प्रति-पंक्ति Python ओवरहेड को कम करते हैं।
• स्कीमा को जल्दी नियंत्रित करें। महत्वपूर्ण पहचानकर्ता, तिथियाँ, दशमलव, और शून्य योग्य फ़ील्ड आकस्मिक व्युत्पत्ति पर निर्भर नहीं होने चाहिए।
• जानबूझकर सीमाओं पर इकट्ठा करें। जब उपभोक्ता को परिणामों की आवश्यकता होती है, तब सामग्रीकरण करें, न कि हर रूपांतरण चरण के बाद।
• बेंचमार्क अंत से अंत तक। इनपुट, रूपांतरण, मेमोरी, आउटपुट, और पड़ोसी पुस्तकालयों में रूपांतरण को शामिल करें।

तीर-उन्मुख कॉलमीय प्रतिनिधित्व डेटा उपकरणों के बीच इंटरऑपरेबिलिटी का समर्थन करता है, लेकिन शून्य-कॉपी ट्रांसफर सार्वभौमिक नहीं है। सूचक semantics, घोंसले वाले प्रकार, स्ट्रिंग, शून्य, और असमर्थित संचालन को रूपांतरण या आवंटन की आवश्यकता हो सकती है। उस सीमा को पार करने वाले वास्तविक कॉलमों को मान्य करें। संबंधित प्राथमिक संदर्भ है Apache Parquet दस्तावेज़जो उस चयन के पीछे भंडारण, निष्पादन, या इंटरऑपरेबिलिटी के अनुमानों को स्पष्ट करता है।

सामान्य पोलर्स विफलता मोड

पोलर्स की समस्याएँ अक्सर अभिव्यक्ति इंजन में पंक्ति-उन्मुख आदतों को ले जाने से आती हैं। अक्सर संग्रहण, Python कॉलबैक, अनियंत्रित प्रकार की व्युत्पत्ति, और अनावश्यक रूपांतरण योजनाबद्ध कॉलमीय पथ के लाभों को छिपा सकते हैं।

• बहुत जल्दी इकट्ठा करना। प्रत्येक चरण के बाद सामग्रीकरण ऑप्टिमाइज़र को पूरी रूपांतरण को देखने और सुधारने से रोकता है।
• डिफ़ॉल्ट द्वारा पंक्ति कॉलबैक का उपयोग करना। अOPAQUE Python फ़ंक्शन ओवरहेड जोड़ते हैं और तर्क को स्वदेशी अभिव्यक्ति इंजन के बाहर रखते हैं।
• समान semantics को मान लेना। सूचकांक, समूह, शून्य, स्ट्रिंग, तिथियाँ, और जोड़ों का एक अन्य DataFrame पुस्तकालय से भिन्न हो सकता है।
• असमर्थित स्ट्रीमिंग नोड्स की अनदेखी करना। हर योजना पूरी तरह से उसी स्ट्रीमिंग पथ के माध्यम से नहीं चल सकती, इसलिए निष्पादन का निरीक्षण करें न कि धारणाएँ।
• मध्य का केवल बेंचमार्किंग। इनपुट पार्सिंग और परिणाम रूपांतरण तुलना के लिए चयनित ऑपरेशन को हावी कर सकते हैं।

एक विफलता को सबसे छोटे जिम्मेदार परत पर ट्रेस किया जाना चाहिए। जब प्रदर्शन या परिणाम आपको आश्चर्यचकित करते हैं, तो तार्किक और अनुकूलित योजनाओं, स्कीमा, शून्य व्यवहार, जोड़ी कार्डिनलिटी, संग्रह बिंदु, Python कॉलबैक, और रूपांतरण सीमाओं का निरीक्षण करें। यह प्रथा चपलता के बजाय एक अस्पष्ट निर्देश जोड़ने के लिए एक उपयोगी सुधारात्मक कार्रवाई उत्पन्न करती है।

पोलर्स के साथ सार्वजनिक-वेब रिकॉर्ड का परिवर्तन

एक वेब-डेटा पाइपलाइन स्वीकृत पृष्ठों को पुनः प्राप्त कर सकती है, टाइप किए गए रिकॉर्ड पार्स कर सकती है, एक पोलर्स LazyFrame बना सकती है, आवश्यक फ़ील्डों की वैधता की जांच कर सकती है, अवलोकनों को डुप्लिकेट कर सकती है, संदर्भ डेटा से जोड़ सकती है, और विभाजित विश्लेषणात्मक फ़ाइलें लिख सकती है।

सार्वजनिक-वेब इनपुट के लिए, अधिग्रहण परत को अनुरोधित URL, अंतिम URL, संग्रहण समय, प्रतिक्रिया मोड, और एक सामग्री जांच को रिकॉर्ड करना चाहिए इससे पहले कि डाउनस्ट्रीम प्रसंस्करण शुरू हो। स्रोत URL, अवलोकन समय, निष्कर्षण संस्करण, और एक स्थिर रिकॉर्ड कुंजी को बनाए रखें ताकि रूपांतरण ट्रेस करने योग्य और दोहराने योग्य रह सके। वह हेंडऑफ विश्लेषकों को एक पुनरुत्पादनीय स्रोत रिकॉर्ड देता है और संग्रहण व्यवहार को व्याख्या से अलग रखता है।

Scrapeless प्रबंधित वेब-सम्भव संग्रहण चरण को संभालता है जो उद्घाटन वाक्य में वर्णित है। आवेदन अभी भी स्रोत अनुमोदन, फ़ील्ड परिभाषाएँ, कार्यभार सीमाएं, पालन, पहुँच नियंत्रण, और मान्यता रखता है। Scrapeless पुनर्प्राप्ति करता है, पार्सिंग कोड रिकॉर्ड परिभाषित करता है, पोलर्स DataFrame रूपांतरण करता है, और आवेदन स्रोत नीति, स्कीमा, संसाधन बजट, गुणवत्ता, भंडारण, और प्रकाशन का स्वामित्व रखता है। उन परतों के बीच एक स्पष्ट अनुबंध बाद में परिवर्तनों को परीक्षण के लिए आसान बनाता है।

पाइपलाइन को दोनों कच्चे साक्ष्य और देखरेख की गई आउटपुट को बनाए रखना चाहिए जब उपयोग का मामला ऑडिटिंग की आवश्यकता को आवश्यक बनाता है। कच्चा सामग्री एक पार्सर या स्कीमा के परिवर्तन के बाद फिर से संसाधित करने का समर्थन करता है; देखरेख की गई तालिकाएँ स्थिर विश्लेषण का समर्थन करती हैं। उपभोक्ताओं के लिए टाइप की गई नियंत्रित आउटपुट लिखें जबकि केवल स्वीकृत उद्देश्य और जीवनचक्र द्वारा आवश्यक स्रोत साक्ष्य को बनाए रखें। ये दो प्रतिनिधित्व अलग परिचालन प्रश्नों का उत्तर देते हैं और दोहराव के रूप में नहीं लिए जाने चाहिए।

पोलर्स अपनाने की जांच सूची

डिजाइन समीक्षा के दौरान निम्नलिखित प्रश्नों का उपयोग करें। एक लिखित उत्तर अनुमानित डिफ़ॉल्ट से अधिक मूल्यवान है क्योंकि यह दर्शाता है कि टीमें पोलर्स के बारे में असहमत हैं।

• कौन-सी ट्रांसफ़ॉर्मेशन एक लज़ी योजना में बनी रह सकती हैं?
• स्कीमा कहाँ घोषित किए जाते हैं न कि अनुमानित?
• क्या मूल अभिव्यक्तियाँ आवश्यक व्यावसायिक तर्कों को कवर करती हैं?
• कौन-से संचालन या डेटा स्रोत स्ट्रीमिंग निष्पादन को सीमित करते हैं?
• पाइपलाइन परिणामों को कहाँ एकत्र या लिखती है?
• कौन-सा जोड़ कार्यक्षमता और शून्य व्यवहार की अपेक्षा की जाती है?
• कौन-सी रूपांतरण पांडा, एरो, न्यूमपी, या एप्लिकेशन वस्तुओं में क्रॉस करती हैं?
• क्या एक एंड-टू-एंड बेंचमार्क उत्पादन फ़ाइलों और उपभोक्ताओं को परिलक्षित करता है?

पोलर्स एक कार्यभार के लिए तैयार है जब टीम इसकी अभिव्यक्ति semantics, प्रकार का अनुबंध, लज़ी योजना, भौतिककरण बिंदु, मेमोरी सीमा, और आस-पास के इंटीग्रेशन की लागत को समझती है। जब कार्यभार की आकृति, डेटा की मात्रा, सेवा की सीमाएँ, या उपभोक्ता की अपेक्षाएँ बदलती हैं, तो उत्तरों पर फिर से गौर करें। एक संरचना जो एक अन्वेषणात्मक बैच के लिए समझदारी थी, वह निरंतर उत्पादन पथ के लिए खराब हो सकती है।

निष्कर्ष

पोलर्स एक प्रकार की, स्तंभीय डेटा फ़्रेम पुस्तकालय है जिसमें उत्सुक और लज़ी निष्पादन और एक अभिव्यक्ति-आधारित क्वेरी इंजन है। यह विश्लेषणात्मक ट्रांसफ़ॉर्मेशन के लिए अच्छी तरह से उपयुक्त है जो योजना ऑप्टिमाइजेशन, समानांतर ऑपरेटरों, और नियंत्रित स्ट्रीमिंग से लाभान्वित होते हैं। मजबूत परिणाम मूल अभिव्यक्तियों, स्पष्ट स्कीमा, जानबूझकर संग्रह बिंदुओं, और एंड-टू-एंड माप पर निर्भर करते हैं। इसे एक ठोस कार्यभार और इंटीग्रेशन पथ के लिए चुनें न कि बेंचमार्क शीर्षक के लिए।

संदर्भ

• स्क्रैपलेस वेब अनलॉकर परिचय
• स्क्रैपलेस वेब अनलॉकर उत्पाद अवलोकन
• स्टैटिक और रेंडर किए गए वेब पृष्ठों को संसाधित करने के लिए स्क्रैपलेस गाइड
• गिटहब पर ओपन-सोर्स स्क्रैपलेस परियोजनाएँ