डेटा वेयरहाउस क्या है?

डेटा वेयरहाउस परिभाषा

डेटा वेयरहाउस एक विश्लेषणात्मक डेटा प्रणाली है जो कई स्रोतों से वर्तमान और ऐतिहासिक डेटा को शासित संरचनाओं में एकीकृत करती है, जो क्वेरी, रिपोर्टिंग, और निर्णय समर्थन के लिए है। यह पढ़ने, फ़िल्टर करने, जोड़ने, और कई रिकॉर्ड को एकत्रित करने के चारों ओर डिज़ाइन किया गया है, न कि प्रत्येक संचालन लेन-देन को सीधे सेवा देने के लिए।

वेयरहाउस पाइपलाइनों ने स्रोत डेटा को साफ़ किया और मानकीकृत किया, कुंजी को हल किया, इतिहास को संरक्षित किया, और दस्तावेजीकृत व्यावसायिक अर्थ के साथ तालिकाएँ या दृश्य प्रकाशित किए। उपभोक्ता SQL, अर्थविज्ञान मॉडल, नोटबुक, या व्यावसायिक बुद्धिमत्ता उपकरणों का उपयोग करते हैं बिना हर रिपोर्ट के लिए कच्चे स्रोत प्रारूपों को फिर से व्याख्या किए। यहाँ उपयोग की जाने वाली मुख्य शब्दावली का अनुसरण करता है गूगल क्लाउड डेटा वेयरहाउस अवलोकन, जो अवधारणा को एक ठोस तकनीकी सीमा देती है न कि इसे एक विपणन लेबल के रूप में मानने के।

एक उपयोगी परिभाषा यह भी बताती है कि अवधारणा क्या नहीं करती। डेटा वेयरहाउस आदेश प्रविष्टि के लिए प्राथमिक प्रणाली नहीं है, एक कच्चा बैकअप बकेट, या यह गारंटी नहीं है कि प्रत्येक मेट्रिक सही है। विश्लेषणात्मक प्रदर्शन और विश्वसनीय अर्थ मॉडल डिज़ाइन, स्रोत गुणवत्ता, ताज़ा संचालन, परीक्षण, और स्वामित्व पर निर्भर करते हैं। उस सीमा को दृष्टिगोचर रखना आर्किटेक्चर आरेखों को एक घटक को एक अन्य स्तर से संबंधित गारंटी देने से रोकता है।

वेयरहाउस डेटा क्वेरी योग्य कैसे बनता है

वेयरहाउस विविध संचालन रिकॉर्ड को स्थिर विश्लेषणात्मक तथ्यों में परिवर्तित करता है। प्रत्येक चरण अस्पष्टता को संकुचित करता है और जांचें जोड़ता है ताकि डाउनस्ट्रीम क्वेरियाँ समान परिभाषाओं का पुन: उपयोग कर सकें।

1. स्रोत कुंजी, समय के निशान, और लोड पहचान को संरक्षित करते हुए स्रोत रिकॉर्ड निकालें या प्राप्त करें।
2. आवश्यक क्षेत्रों, प्रकारों, अद्वितीयता, संदर्भित धारणाओं, और स्वीकार किए गए देर से आने वाले व्यवहार को मान्य करें।
3. शासित मॉडल के अनुसार नामों, इकाइयों, समय क्षेत्रों, पहचानकर्ताओं, और धीरे-धीरे बदलते गुणों को मानकीकृत करें।
4. स्रोत बैचों के लिए वंश को संरक्षित करते हुए तथ्य, आयाम, या अन्य विश्लेषणात्मक संरचनाएँ लोड करें।
5. परीक्षण किए गए तालिकाओं, अर्थविज्ञान मेट्रिक्स, और ताजगी संकेतकों को अनुमोदित उपभोक्ताओं के लिए प्रकाशित करें।

आधुनिक वेयरहाउस दोनों निकालने-परिवर्तन-लोड और निकालने-लोड-परिवर्तन पथों का समर्थन कर सकते हैं। महत्वपूर्ण भेद शब्दों के क्रम में नहीं है; यह कच्चे साक्ष्य को कहाँ रखा जाता है, अनुबंध कहाँ लागू होते हैं, और कौन सा रूपांतरण उपभोक्ता-समर्थन सच्चाई का निर्माण करता है। इस व्यवहार को और अधिक पूर्ण रूप से दस्तावेजीकृत किया गया है माइक्रोसॉफ्ट विश्लेषणात्मक डेटा-स्टोर मार्गदर्शन। स्रोत उपयोगी है क्योंकि यह वास्तविक निष्पादन या डेटाโมडेल का वर्णन करता है न कि ढीली उपमा पर निर्भर करता है।

वेयरहाउस आर्किटेक्चर स्तर

एक वेयरहाउस कई भौतिक परतों को उजागर कर सकता है, लेकिन उपभोक्ताओं को यह जानना चाहिए कि कौन सी परत एक समर्थित अनुबंध को ले जाती है। स्टेजिंग डेटा तक सीधी पहुँच इंजीनियरिंग डायग्नोसिस में मदद कर सकती है जबकि यदि यह स्वीकृत विश्लेषणात्मक सतह बन जाती है तो यह सुसंगत रिपोर्टिंग को कमजोर कर सकती है।

वेयरहाउस के लिए उपयुक्त कार्यभार

ये उपयोग के मामले एक चयन नियम साझा करते हैं: एक डेटा वेयरहाउस चुनें क्योंकि इसका निष्पादन और स्वामित्व मॉडल कार्यभार से मेल खाता है, न कि इसलिए कि इसका नाम अधिक उन्नत लगता है। अन्वेषणात्मक बाइनरी डेटा, अप्रत्याशित शोध इनपुट, और कच्चे अभिलेख एक झील में बेहतर फिट हो सकते हैं। कम-लेटेंसी लेनदेन अपडेट एक संचालन डेटाबेस में बेहतर हो सकते हैं। एक वेयरहाउस अपनी जगह तब प्राप्त करता है जब प्रबंधित विश्लेषणात्मक पुन: उपयोग महत्वपूर्ण होता है।

मॉडल, मेट्रिक्स और शासन

वेयरहाउस डिजाइन उपयोगकर्ताओं को किए जाने वाले निर्णयों और प्रत्येक फैक्ट टेबल के अनाज के साथ शुरू होता है। एक फैक्ट पंक्ति को यह स्पष्ट रूप से बताना चाहिए कि वह किस घटना या स्नैपशॉट का प्रतिनिधित्व करती है इससे पहले कि आयाम और माप जुड़े।

• अनाज घोषित करें। हर फैक्ट टेबल को यह बताने वाले एक वाक्य की आवश्यकता होती है कि एकल पंक्ति क्या दर्शाती है।
• स्पष्टता से इतिहास प्रबंधित करें। ग्राहक, उत्पाद, या संगठनात्मक विशेषताओं में परिवर्तन को एक स्पष्ट अस्थायी मॉडल की आवश्यकता होती है।
• स्रोत कुल मिलान करें। गणनाएँ और राशियाँ प्रकाशन से पहले प्रबंधित स्रोत नियंत्रण से जुड़नी चाहिए।
• भौतिक और सेमांटिक मॉडल को अलग करें। स्टोरेज ऑप्टिमाइजेशन और व्यापार मेट्रिक नामकरण संबंधित लेकिन विशिष्ट समस्याओं को हल करते हैं।
• ताजगी और स्वामित्व प्रकाशित करें। उपभोक्ताओं को यह जानने की आवश्यकता होती है कि डेटा कब बदला गया और कौन अनुबंध प्रश्न को हल कर सकता है।

आयामी मॉडल सामान्य विश्लेषणात्मक प्रश्नों को पठनीय बनाते हैं, संख्यात्मक तथ्यों को वर्णनात्मक आयामों से जोड़कर। अन्य मॉडल विभिन्न कार्यभारों में फिट हो सकते हैं, लेकिन हर दृष्टिकोण को अभी भी स्थिर कुंजी, अस्थायी नियम, गुणवत्ता परीक्षण और स्पष्ट उपभोक्ता अनुबंधों की आवश्यकता होती है। एक संबंधित प्राथमिक संदर्भ है Oracle डेटा वेयरहाउसिंग कॉन्सेप्ट्स, जो उस विकल्प के पीछे के संग्रहण, निष्पादन, या इंटरऑपरेबिलिटी धारणाओं को स्पष्ट करता है।

क्यों वेयरहाउस परियोजनाएँ विश्वास खो देती हैं

वेयरहाउस का विश्वास तब खो जाता है जब तालिकाएँ सफलतापूर्वक लोड होती हैं लेकिन उपयोगकर्ता मेट्रिक्स के बीच भिन्नताओं को स्पष्ट नहीं कर सकते। तकनीकी उपलब्धता अस्पष्ट अनाज, छिपे फ़िल्टर, डुप्लिकेट कुंजियों, या मौन स्रोत खामियों का मुआवजा नहीं दे सकती है।

• अपरिभाषित अनाज। पंक्तियाँ घटनाओं और स्नैपशॉट को मिश्रित करती हैं, इसलिए संयोजन मापों को गुणा करता है और कुल अस्थिर हो जाते हैं।
• हर डैशबोर्ड में मेट्रिक लॉजिक। स्वतंत्र गणनाएँ एक व्यापारिक प्रश्न के लिए कई उत्तर बनाती हैं।
• इतिहास को ओवरराइट करना। वर्तमान विशेषताएँ पूर्व के संदर्भ को प्रतिस्थापित करती हैं और पिछले रिपोर्टों में अप्रत्याशित बदलाव करती हैं।
• मौन विलंबित डेटा। बैकफिल्ड रिकॉर्ड बंद अवधि को बिना कोई दृश्य सुधार नीति के परिवर्तित करते हैं।
• व्यापक स्टेजिंग पहुँच। उपभोक्ता बिना सूचना के बदलने वाली अनियमित स्रोत आकृतियों पर निर्भरता बनाते हैं।

एक विफलता को सबसे छोटे उत्तरदायी परत पर आधारित होना चाहिए। जब दो रिपोर्ट असहमत होती हैं, तो मेट्रिक परिभाषा, अनाज, फ़िल्टर, जॉइन कुंजी, स्रोत बैच, परिवर्तन संस्करण और ताजगी की तुलना करें इससे पहले कि किसी भी दृश्यता को बदला जाए। यह प्रथा एक उपयोगी सुधारात्मक कार्रवाई उत्पन्न करती है न कि अधिक क्षमता जोड़ने के लिए अस्पष्ट निर्देश।

सार्वजनिक-वेब संकेत लोड करना एक वेयरहाउस में

सार्वजनिक-वेब संकेत एक वेयरहाउस को समृद्ध कर सकते हैं जब व्यापारिक उद्देश्य स्पष्ट हो और संग्रहण प्रक्रिया स्थिर साक्ष्य उत्पन्न करे। उदाहरणों में सार्वजनिक कैटलॉग अवलोकन, बाजार संकेत, प्रकाशित नोटिस और अनुमोदित संदर्भ डेटा शामिल हैं।

सार्वजनिक-वेब इनपुट के लिए, अधिग्रहण परत को अनुरोधित URL, अंतिम URL, संग्रहण समय, प्रतिक्रिया मोड और एक सामग्री जांच को रिकॉर्ड करना चाहिए इससे पहले कि डाउनस्ट्रीम प्रोसेसिंग शुरू हो। अधिग्रहण रिकॉर्ड में स्रोत पहचान और कैप्चर संदर्भ शामिल होना चाहिए, जबकि वेयरहाउस मॉडल को सामान्यीकृत क्षेत्रों और विश्लेषण के लिए उपयोग किए गए अवलोकन समय को उजागर करना चाहिए। वह हस्तांतरण विश्लेषकों को एक पुनरुत्पादक स्रोत रिकॉर्ड प्रदान करती है और संग्रहण व्यवहार को व्याख्या से अलग बनाए रखती है।

Scrapeless उस प्रबंधित वेब-संग्रहण चरण को संभालता है जिसका वर्णन उद्घाटन वाक्य में किया गया है। एप्लिकेशन अभी भी स्रोत स्वीकृति, फील्ड परिभाषाएँ, कार्यभार सीमाएँ, रोकथाम, पहुँच नियंत्रण और मान्यता का स्वामित्व रखता है। Scrapeless अनुरोधित सार्वजनिक पृष्ठ को पुनर्प्राप्त करता है; विश्लेषिकी टीम स्रोत स्वीकृति, निकासी लॉजिक, आयामी कुंजी, मेट्रिक परिभाषाएँ, गुणवत्ता परीक्षण, पहुँच, और ताजगी संचार का स्वामित्व रखती है। उन परतों के बीच एक स्पष्ट अनुबंध बाद में परिवर्तनों को परीक्षण करना आसान बनाता है।

पाइपलाइन को कच्चे प्रमाण और क्यूरेटेड आउटपुट दोनों को बनाए रखना चाहिए जब उपयोग के मामले को जांच की आवश्यकता होती है। कच्चा सामग्री एक पार्सर या स्कीमा बदलाव के बाद पुनः संसाधन का समर्थन करती है; क्यूरेटेड टेबल स्थिर विश्लेषण का समर्थन करती हैं। इतना प्रबंधित स्रोत प्रमाण बनाए रखें कि एक मॉडल किए गए मूल्य को समझा सकें बिना कच्ची सामग्री को उतना विस्तृत न करें जितनी आवश्यकता हो। ये दो प्रस्तुतियाँ विभिन्न संचालन प्रश्नों का उत्तर देती हैं और डुप्लिकेट नहीं होनी चाहिए।

डेटा वेयरहाउस समीक्षा चेकलिस्ट

डिजाइन समीक्षा के दौरान निम्नलिखित प्रश्नों का उपयोग करें। लिखित उत्तर एक पूर्व निर्धारित डिफ़ॉल्ट से अधिक मूल्यवान होता है क्योंकि यह यह दिखाता है कि टीमें डेटा वेयरहाउस के बारे में असहमत हैं।

• हर तथ्य तालिका में एक पंक्ति क्या दर्शाती है?
• कौन सी आयामों को ऐतिहासिक संस्करणों की आवश्यकता होती है?
• वेयरहाउस कुल कैसे प्रत्येक स्रोत के साथ सामंजस्य बिठाते हैं?
• कौन सी रूपांतरण समर्थित उपभोक्ता अनुबंधों को परिभाषित करते हैं?
• कहाँ साझा मैट्रिक्स नामित और समीक्षित किए जाते हैं?
• लेट या सही किए गए रिकॉर्ड्स को कैसे संप्रेषित किया जाता है?
• हर उत्पाद के लिए ताजगी, गुणवत्ता, लागत और पहुंच किसके पास है?
• क्या एक उपभोक्ता एक मूल्य का स्रोत बैच और उस नियम का पता लगा सकता है जिसने इसे उत्पन्न किया?

एक वेयरहाउस तब तैयार होता है जब उपभोक्ता यह बता सकते हैं कि एक पंक्ति का क्या मतलब है, यह कहाँ से आया है, यह कितनी ताज़ा है, कौन से परीक्षण पास हुए हैं, और मैट्रिक्स का मालिक कौन है। कार्यभार के आकार, डेटा की मात्रा, सेवा सीमाएँ, या उपभोक्ता की अपेक्षाएँ बदलने के बाद उत्तरों पर दोबारा गौर करें। एक वास्तुकला जो एक अन्वेषणात्मक बैच के लिए उचित थी, एक निरंतर उत्पादन पथ के लिए खराब हो सकती है।

निष्कर्ष

एक डेटा वेयरहाउस एक शासित विश्लेषणात्मक प्रणाली है जो कई स्रोतों से रिकॉर्ड को पुन: उपयोगी ऐतिहासिक तथ्यों, आयामों और मैट्रिक्स में बदलती है। इसका मूल्य स्थिर अर्थ और कुशल विश्लेषण है, केवल भंडारण नहीं। स्पष्ट अनाज, समय संबंधी नियम, सामंजस्य, अर्थ का अधिग्रहण, पहुंच नियंत्रण, और देखे जाने योग्य ताजगी कई उपभोक्ताओं को समान विश्वसनीय अनुबंधों से काम करने की अनुमति देती है।

संदर्भ

• स्क्रैपलेस वेब अनलॉकर परिचय
• स्क्रैपलेस वेब अनलॉकर उत्पाद अवलोकन
• वेयरहाउस में वेब डेटा स्ट्रीमिंग के लिए स्क्रैपलेस गाइड
• GitHub पर स्क्रैपलेस ओपन-सोर्स परियोजनाएँ