वेबसाइट टेक्स्ट को LLM प्रशिक्षण के लिए Scrapeless के साथ कैसे स्क्रैप करें

TL;DR:

• LLM-तैयार वेब पाठ एक डेटा उत्पाद है, ना कि कॉपी किए गए पृष्ठों का एक ढेर। एक भरोसेमंद पाइपलाइन दायरे को नियंत्रित करती है, स्रोत URL को बनाए रखती है, नेविगेशन शोर को निकालती है, पाठ को सामान्य करती है, दोहराए गए सामग्री को हटाती है, और संग्रहण से पहले प्रत्येक रिकॉर्ड को मान्यता देती है।
• मॉडल कार्य से शुरू करें। पुनर्प्राप्ति-समृद्ध पीढ़ी को स्रोत से जुड़े टुकड़ों की आवश्यकता होती है जिन्हें ताज़ा किया जा सकता है; फाइन-ट्यूनिंग को ध्यानपूर्वक समीक्षा किए गए उदाहरणों की आवश्यकता होती है; प्री-ट्रेनिंग को व्यापक शासन और गुणवत्ता कार्यक्रम की आवश्यकता होती है।
• एक दो-पथ अधिग्रहण डिज़ाइन का उपयोग करें। HTTP के माध्यम से सरल सार्वजनिक पृष्ठों को लाएं, फिर उन पृष्ठों को जो जावास्क्रिप्ट या पहुँच प्रबंधन की आवश्यकता होती है, एक प्रबंधित अधिग्रहण परत जैसे Scrapeless Web Unlocker के माध्यम से भेजें।
• कच्चे और संसाधित प्रतिनिधित्व को अलग-अलग स्टोर करें। कच्ची प्रतिक्रियाएँ ऑडिट और पुनःप्रसंस्करण का समर्थन करती हैं। स्वच्छ Markdown या पाठ टुकड़ों, खोज और मॉडल अंगीकरण का समर्थन करता है।
• गुणवत्ता को रिकॉर्ड स्तर पर मापें। खाली पृष्ठों, दोहराए गए टेम्पलेटों, अप्रत्याशित भाषाओं, पतले अंशों, और उन रिकॉर्डों को अस्वीकार करें जिनमें उत्पत्ति नहीं है इससे पहले कि वे LLM डेटासेट में प्रवेश करें।

What Does “Scrape Website Text for LLM Training” Mean?

LLM कार्य के लिए वेबसाइट पाठ को स्क्रैप करना अर्थपूर्ण, मशीन-पठनीय रिकॉर्ड बनाने के लिए अनुमोदित सार्वजनिक पृष्ठों को बदलना है। उपयोगी परिणाम कच्चा HTML नहीं है। यह एक डेटासेट है जिसमें प्रत्येक पाठ इकाई का एक स्रोत URL, कैप्चर समय, सामग्री प्रकार, भाषा, और प्रसंस्करण इतिहास होता है।

यह अंतर महत्वपूर्ण है क्योंकि वेब पृष्ठ लेखन की कॉपी को मेनू, कुकी बैनर्स, संबंधित लिंक, दोहराए गए फ़ुटर और अनुप्रयोग राज्य के साथ मिलाते हैं। एक मॉडल को सभी दृश्यमान पाठ भेजने से ध्वनि संदर्भ बनता है और बाद में सुधार करना मुश्किल बनाता है। एक उत्पादन पाइपलाइन को अधिग्रहण, निष्कर्षण, सामान्यकरण, गुणवत्ता नियंत्रण और भंडारण को अलग करना चाहिए।

वेब पहुंच परत को प्रकाशक के नियमों और लागू कानून का सम्मान भी करना चाहिए। रोबोट्स निष exclusion प्रोटोकॉल परिभाषित करता है कि क्रॉलर robots.txt में नियमों को कैसे खोजते हैं; यह शर्तों, गोपनीयता कर्तव्यों या अनुमति जाँचों को प्रतिस्थापित नहीं करता है।

Choose the Dataset Purpose Before You Crawl

एक ही पृष्ठ को उसके गंतव्य के आधार पर अलग-अलग संसाधित किया जाना चाहिए।

मॉडल उपयोग	सर्वश्रेष्ठ इकाई	आवश्यक मेटाडाटा	ताज़ा पैटर्न	मुख्य गुणवत्ता जोखिम
RAG या खोज	स्रोत-लिंकित अंश	URL, शीर्षक, हेडिंग पथ, कैप्चर किया गया समय	निरंतर	पुराना या संदर्भ-मुक्त टुकड़ों
फाइन-ट्यूनिंग	समीक्षा की गई इनपुट-आउटपुट उदाहरण	स्रोत, लाइसेंस या अनुमति का आधार, समीक्षक, संस्करण	क्यूरेटेड रिलीज़	कमजोर लेबल या अनुमोदित पुन: उपयोग
मूल्यांकन	फ्रीज़ किए गए प्रॉम्प्ट और संदर्भ सेट	डेटासेट संस्करण, अपेक्षित परिणाम, स्कोरिंग नियम	नियंत्रित	प्रशिक्षण डेटा में लीक
प्री-ट्रेनिंग	दस्तावेज़ या बड़ा कॉर्पस इकाई	उत्पत्ति, भाषा, नीति निर्णय, डेड्यूप की	बड़े शासित स्नैपशॉट	अधिकार, डुप्लिकेशन, और निम्न-गुणवत्ता पाठ

RAG के लिए, ताज़गी और उत्पत्ति अक्सर हर पृष्ठ को एकत्रित करने की तुलना में अधिक महत्वपूर्ण होती है। फाइन-ट्यूनिंग के लिए, एक छोटा समीक्षा किया गया सेट अक्सर एक बड़े बिना फ़िल्टर के क्रॉल से अधिक उपयोगी होता है। मूल्यांकन डेटा को प्रशिक्षण इनपुट से अलग रखा जाना चाहिए। प्री-ट्रेनिंग के लिए अधिग्रहण शुरू होने से पहले विशेषज्ञ कानूनी, सुरक्षा, और डेटा-गवर्नेंस समीक्षा की आवश्यकता होती है।

The LLM Text Pipeline at a Glance

एक स्पष्ट अनुक्रम का उपयोग करें जिसमें प्रत्येक सीमा पर एक टिकाऊ कलाकृति हो:

1. अनुमत डोमेन, पथ, भाषाएँ, और पृष्ठ प्रकारों को परिभाषित करें।
2. साइटमैप और अनुमोदित नेविगेशन से कैनोनिकल URL का पता लगाएं।
3. आवश्यक सामग्री लौटाने वाले सबसे हल्के तरीके से प्रत्येक पृष्ठ को अधिग्रहित करें।
4. शीर्षक, सूचियाँ, और तालिकाएँ संरक्षित करते हुए मुख्य दस्तावेज़ को निकालें।
5. फ़ुज़ल, URL, यूनिकोड, और बॉयलरप्लेट फैसलों को सामान्य करें।
6. पृष्ठों और दोहराए गए सामग्री क्षेत्रों को डेड्यूप्लिकेट करें।
7. लक्षित मॉडल कार्य के लिए स्रोत-लिंकित टुकड़ों में दस्तावेज़ों को विभाजित करें।
8. स्कीमा, उत्पत्ति, भाषा, सामग्री घनत्व, और नीति स्थिति को मान्य करें।
9. कच्चे कैप्चर, स्वच्छ दस्तावेज़, और प्रसंस्करण मेटाडेटा को अलग-अलग स्टोर करें।

यह आर्किटेक्चर एक टीम को स्रोत को फिर से क्रॉल किए बिना निष्कर्षण या टुकड़ों में सुधार करने की अनुमति देता है। यह किसी भी मॉडल प्रतिक्रिया से वापस उस पृष्ठ और प्रसंस्करण संस्करण की ऑडिट पथ भी बनाता है जिसने इसकी संदर्भ प्रदान की।

Step 1: Define Scope and Access Rules

दायरे को डेटा के रूप में लिखें, न कि एक अनौपचारिक नोट के रूप में। एक उपयोगी क्रॉल नीति में अनुमत होस्ट, अनुमत पथ प्रीफिक्स, अस्वीकृत पथ, अधिकतम गहराई, स्वीकृत मीडिया प्रकार, भाषा के नियम, और प्रति-होस्ट अनुरोध बजट शामिल है। रिकॉर्ड करें कि स्रोत को किसने अनुमोदित किया और किस उपयोग की अनुमति है।

एक लिंक को ऑटोमैटिक अनुमति के रूप में न मानें कि उसके पीछे सब कुछ एकत्रित किया जाए। खाता-केवल क्षेत्रों, व्यक्तिगत डेटा, भुगतान दीवार वाले सामग्री, और प्रतिबंधित अंत बिंदुओं को दायरे से बाहर रखें जब तक कि परियोजना के पास एक प्रलेखित आधार और उपयुक्त नियंत्रण न हो। तकनीकी पहुंच नियंत्रण को दरकिनार करने का प्रयास कभी न करें।
HTTP स्थिति कोड, रीडायरेक्ट, कैशिंग निर्देश, और प्रदर्शनी मेटाडेटा को HTTP अर्थशास्त्र विनिर्देश के अनुसार व्याख्यायित किया जाना चाहिए। यह त्रुटि पृष्ठों, लॉगिन रीडायरेक्ट, और unsupported फ़ाइलों को सफल पाठ दस्तावेज़ के रूप में गलत लेबल लगाने से रोकता है।

कदम 2: सीमाएँ खोए बिना URLs खोजें

साइटमैप आमतौर पर सबसे साफ शुरुआत बिंदु होते हैं क्योंकि वे कैनोनिकल सामग्री URLs को उजागर करते हैं बिना क्रॉलर को हर नेविगेशन भिन्नता को पार करने के लिए मजबूर किए। साइटमैप से गायब अनुभागों के लिए अनुमोदित बीज पृष्ठ जोड़ें, फिर प्रत्येक उम्मीदवार को अनुसूची में डालने से पहले सामान्यीकृत करें।

सामान्यीकरण को फ्रैगमेंट हटाना, सापेक्ष URLs को हल करना, होस्ट केस को मानकीकृत करना, और ट्रैकिंग पैरामीटर के लिए एक परियोजना नियम लागू करना चाहिए। उन पैरामीटर को संरक्षित करें जो सामग्री को बदलते हैं; केवल उन पैरामीटर को हटाएँ जिन्हें परियोजना ने गैर-सामग्री भिन्नता के रूप में वर्गीकृत किया है।

दो डिडुप्लीकेशन कुंजी का उपयोग करें:

• एक सामान्यीकृत URL कुंजी एक ही रूट को बार-बार अनुसूचित होने से रोकती है।
• एक सामग्री फिंगरप्रिंट समान या निकट-समान पृष्ठों को पकड़ता है जो विभिन्न URLs के तहत प्रकाशित होते हैं।

खोज और अधिग्रहण को अलग कतारों में होना चाहिए। इससे पहले कि सामग्री प्राप्त की जाए, नियोजित दायरे का निरीक्षण करना संभव हो जाता है और कैलेंडरों, फेसटेड खोज पृष्ठों, या अनबाउंड पेजिनेशन के पार आकस्मिक विस्तार को रोकने के लिए।

कदम 3: सही रेंडरिंग पथ के साथ पृष्ठ अधिग्रहित करें

जब आवश्यक लेख पाठ लौटाए गए HTML में प्रकट होता है तो एक सीधा HTTP प्रतिक्रिया पर्याप्त होती है। इसे संचालित करना सस्ता है और डिबग करना आसान है। एक ब्राउज़र या रेंडरिंग पथ की आवश्यकता होती है जब क्लाइंट-साइड जावास्क्रिप्ट सामग्री का निर्माण करता है, नेविगेशन को विस्तारित करने की आवश्यकता होती है, या एक वैध सार्वजनिक प्रतिक्रिया प्रबंधित पहुंच प्रबंधन की आवश्यकता होती है।

Scrapeless Web Unlocker सार्वजनिक पृष्ठों के लिए एक अधिग्रहण परत प्रदान करता है जिन्हें जावास्क्रिप्ट रेंडरिंग या एक्सेस प्रबंधन की आवश्यकता होती है। अधिग्रहण अनुबंध को संकीर्ण रखें: एक अनुमोदित URL जमा करें, अपेक्षित परिणाम के रूप में HTML की आवश्यकता करें, और निष्कर्षण से पहले अंतिम URL, स्थिति, और मीडिया प्रकार का मान्य करें।

डिफ़ॉल्ट रूप से हर पृष्ठ को ब्राउज़र के माध्यम से न भेजें। पहले प्रत्येक टेम्पलेट से प्रतिनिधि URLs का निरीक्षण करें। स्थैतिक टेम्पलेट्स को HTTP के माध्यम से और गतिशील टेम्पलेट्स को रेंडरिंग के माध्यम से मार्गनिर्देशित करें। यह पाइपलाइन को समझने योग्य रखता है और प्रत्येक टेम्पलेट को एक स्पष्ट अधिग्रहण नियम देता है।

वेब अनलॉकर परिचय सेवा सीमा को दस्तावेजित करता है। स्थैतिक पार्सिंग और ब्राउज़र निष्पादन पर अधिक करीब से देखने के लिए, जावास्क्रिप्ट स्क्रैपिंग गाइड पढ़ें।

Scrapeless के साथ स्क्रैपिंग शुरू करें

Scrapeless के साथ अपने वेब स्क्रैपिंग और स्वचालन कार्यप्रवाह को बढ़ावा दें!
आज ही साइन अप करें और $5 का मुफ्त क्रेडिट प्राप्त करें — कोई क्रेडिट कार्ड आवश्यक नहीं।

अपना मुफ्त क्रेडिट अब Scrapeless डैशबोर्ड में प्राप्त करें।

कदम 4: मुख्य दस्तावेज़ निकालें

मुख्य सामग्री निकालने से दस्तावेज़ की संरचना को बनाए रखना चाहिए जबकि साइट क्रोम को हटाया जाना चाहिए। शीर्षकों को क्रम में रखें, सूची आइटम को उनके अनुभाग से जोड़ें, अर्थपूर्ण तालिका पंक्तियों को बनाए रखें, और लिंक पाठ को संरक्षित करें जब यह वाक्य में योगदान करता है। नेविगेशन, दोहराए गए प्रचार पैनल, कुकी नियंत्रण, और अप्रासंगिक सिफारिशों को हटा दें।

DOM मानक द्वारा वर्णित ब्राउज़र दस्तावेज़ मॉडल एक पेड़ प्रदान करता है, लेकिन वह पेड़ स्वचालित रूप से मुख्य लेख की पहचान नहीं करता है। निष्कर्षण को अभी भी टेम्पलेट नियमों,.semantic तत्वों, या एक परीक्षण सामग्री extractor की आवश्यकता है।

परिणाम को दो दृष्टिकोण में देखें:

• संरचना दृश्य: शीर्षक, अनुच्छेद, सूचियाँ, तालिकाएँ, और कोड अपेक्षित क्रम में दिखाई देते हैं।
• पढ़ने का दृश्य: एक व्यक्ति बिना मूल लेआउट को देखे दस्तावेज़ को समझ सकता है।

प्रत्येक टेम्पलेट के लिए एक संक्षिप्त निष्कर्षण रिपोर्ट बनाए रखें। इसमें चयनित रूट, हटाए गए क्षेत्रों, न्यूनतम स्वीकार्य पाठ लंबाई, और वे क्षेत्र शामिल होने चाहिए जो जरूरी हैं।

कदम 5: अर्थ को मिटाए बिना सामान्यीकृत करें

सामान्यीकरण को समकक्ष पाठ को संगत बनाना चाहिए जबकि तथ्यों को संरक्षित करना चाहिए। पंक्ति समाप्तियों को परिवर्तित करें, यूनिकोड को सामान्यीकृत करें, लेआउट व्हाइटस्पेस को समकुचित करें, और मार्कडाउन प्रतिनिधित्व को मानकीकृत करें। विराम चिह्न, इकाइयाँ, नकारात्मकता, कोड फॉर्मेटिंग, और अनुभाग सीमाओं को बरकरार रखें।

चरण 6: Chunking से पहले डूप्लिकेट हटाएँ

सटीक डूप्लिकेशन समान दस्तावेज़ों को हटाता है। निकट-डूप्लिकेट पहचान प्रिंटर पृष्ठों, क्षेत्रीय मिरर, और टेम्पलेट्स को पकड़ता है जहाँ केवल एक छोटा ब्लॉक बदलता है। बायलरप्लेट विश्लेषण को उसी टेम्पलेट से कई पृष्ठों में होना चाहिए ताकि फिर से नेविगेशन और फ़ुटर पाठ को सुरक्षित रूप से पहचाना जा सके।

Chunking से पहले डूप्लिकेट करें। अन्यथा वही पैराग्राफ कई चंक ID प्राप्त कर सकता है और पुनर्प्राप्ति परिणामों पर हावी हो सकता है। हटाए गए डूप्लिकेट और रखे गए मानक रिकॉर्ड के बीच एक मैपिंग बनाए रखें ताकि विश्लेषक यह स्पष्ट कर सकें कि एक URL ने नया दस्तावेज़ क्यों उत्पन्न नहीं किया।

चरण 7: सरलता के लिए नहीं, पुनर्प्राप्ति के लिए चंक करें

Chunks को ऐसे सार्थक सीमाओं का अनुसरण करना चाहिए जैसे शीर्षक अनुभाग, सूची समूह, या तालिका इकाई। एक निश्चित वर्ण विंडो परिभाषाओं को शर्तों से विभाजित कर सकती है और मानों को कॉलम लेबल से अलग कर सकती है। प्रत्येक चंक पर शीर्षक पथ और स्रोत URL को सुरक्षित रखें।

ओवरलैप का उपयोग तब करें जब मूल्यांकन दिखाए कि सीमा संदर्भ खो रहा है। बड़े ओवरलैप संग्रहण बढ़ाते हैं और एक पुनःप्राप्तकर्ता को एक ही अंश की कई प्रतियाँ लौटाने का कारण बन सकते हैं। वास्तविक सवालों के साथ Chunking का परीक्षण करें, केवल टोकन-गिनती सांख्यिकी नहीं।

चरण 8: प्रत्येक आउटपुट रिकॉर्ड को मान्य करें

मान्यता संग्रहण से पहले और मॉडल सेवन से पहले संबंधित है। जब:

• अंतिम URL अनुमोदित दायरे के बाहर है;
• प्रतिक्रिया अपेक्षित पाठ प्रतिनिधित्व नहीं है;
• निष्कर्ष खाली, असामान्य रूप से पतला, या मुख्य रूप से नेविगेशन है;
• भाषा घोषित डेटासेट भाषा से भिन्न है;
• दस्तावेज़ में स्रोत URL या कैप्चर समय की कमी है;
• सामग्री हैश पहले से ही बिना अनुमोदित संस्करण परिवर्तन के मौजूद है;
• पृष्ठ में कोई प्रतिबंध या नीति स्थिति है जिसे समीक्षा की आवश्यकता है।

The NIST AI Risk Management Framework एआई सिस्टम के चारों ओर जोखिमों को मानचित्रित, मापने, और प्रबंधित करने के लिए एक उपयोगी शासन शब्दावली प्रदान करता है। उन विचारों को स्रोत अनुमोदन, डेटासेट दस्तावेजीकरण, मूल्यांकन और परिवर्तन नियंत्रण पर लागू करें न कि स्क्रैपिंग को एक पृथक इंजीनियरिंग कदम के रूप में।

कच्चे, स्वच्छ, और अनुक्रमित डेटा को अलग से संग्रहित करें

तीन स्तर बनाए रखें:

1. कच्चा कैप्चर: प्रतिक्रिया शरीर, ऑडिट के लिए आवश्यक हेडर, अंतिम URL, और समयांकन।
2. स्वच्छ दस्तावेज़: मानकीकृत मार्कडाउन या पाठ और निष्कर्ष मेटाडेटा।
3. अनुप्रयोग अनुक्रमणिका: चंक, एंबेडिंग, पुनर्प्राप्ति फ़ील्ड, और अनुक्रमणिका संस्करण।

एक निष्कर्ष अपडेट को रखे गए कच्चे कैप्चर से स्तर दो और तीन को फिर से बनाने के लिए चाहिए। एक चंकिंग अपडेट केवल अनुक्रमणिका को फिर से बनाएगा। यह पृथक्करण तब जांच के समय को कम करता है जब एक उद्धरण गलत होता है या एक टेम्पलेट बदलता है।

निष्कर्ष: मात्रा से पहले ट्रेसएबिलिटी के लिए निर्माण करें

एक LLM टेक्स्ट पाइपलाइन तब सफल होती है जब हर साफ़ अंश को एक अनुमोदित स्रोत के साथ ट्रेस किया जा सकता है और एक ज्ञात कैप्चर से फिर से उत्पन्न किया जा सकता है। पृष्ठ टेम्पलेट के एक संकीर्ण सेट के साथ शुरू करें, अधिग्रहण पथ को सत्यापित करें, निकाले गए दस्तावेज़ों की समीक्षा करें, और क्रॉल मात्रा बढ़ाने से पहले रिकॉर्ड-स्तरीय गुणवत्ता गेट स्थापित करें।

सबसे उपयोगी पहला मील का पत्थर एक बड़ा कॉर्पस नहीं है। यह एक छोटी डेटासेट है जिसके दायरे, उत्पत्ति, रूपांतरण, और विफलता नियम स्पष्ट हैं ताकि एक और इंजीनियर इसका ऑडिट कर सके।

स्रोत से जुड़े वेब टेक्स्ट पाइपलाइन का निर्माण करें

Scrapeless मूल्य निर्धारण की तुलना करें, Web Unlocker की खोज करें, या Scrapeless Discord समुदाय और Telegram समुदाय में शामिल हों।

प्रश्नावली

प्रश्न: क्या कच्चा HTML LLM प्रशिक्षण के लिए उपयुक्त है?

कच्चा HTML ऑडिट और पुनः प्रसंस्करण कलाकृति के रूप में उपयोगी है, लेकिन इसमें आमतौर पर नेविगेशन, स्क्रिप्ट, दोहराए गए टेम्पलेट, और लेआउट मार्कअप होता है जो बिना बदलाव के मॉडल इनपुट में नहीं जाना चाहिए। एक अलग स्वच्छ प्रतिनिधित्व बनाएं और कच्चे कैप्चर के लिए लिंक को सुरक्षित रखें।

प्रश्न: क्या प्रत्येक वेबसाइट को ब्राउज़र में प्रस्तुत किया जाना चाहिए?
नहीं। जब आवश्यक पाठ उत्तर में मौजूद हो, तो प्रत्यक्ष HTTP अधिग्रहण का उपयोग करें। केवल उन टेम्पलेट्स के लिए ब्राउज़र रेंडरिंग जोड़ें जिन्हें सार्वजनिक अनुमोदित सामग्री को उजागर करने के लिए JavaScript या इंटरैक्शन की आवश्यकता होती है।

प्रश्न: LLM-तैयार पाठ के लिए कौन सा प्रारूप सबसे अच्छा है?

Markdown तब उपयोगी है जब शीर्षक, सूचियां, तालिकाएं, और कोड संरचना महत्वपूर्ण हो। JSONL दस्तावेज़ों या टुकड़ों और मेटाडेटा के लिए एक कंटेनर के रूप में उपयोगी है। स्कीमा और उत्पत्ति फ़ील्ड फ़ाइल एक्सटेंशन की तुलना में अधिक महत्वपूर्ण हैं।

प्रश्न: डुप्लिकेट वेब पृष्ठों को कैसे संभाला जाना चाहिए?

शेड्यूलिंग के लिए मानकीकृत URL का उपयोग करें, सटीक डुप्लिकेट के लिए सामग्री हैश, और दर्पणों या टेम्पलेटेड भिन्नताओं के लिए एक परीक्षण किया हुआ निकट-डुप्लीकेट विधि का उपयोग करें। एक रिकॉर्ड रखें जो शामिल नहीं किए गए डुप्लिकेट को बनाए रखे गए दस्तावेज़ से मानचित्रित करता है।

प्रश्न: एक वेब पाठ डेटासेट को कितनी बार अपडेट करना चाहिए?

स्रोत की उतार-चढ़ाव और अनुप्रयोग की आवश्यकताओं के अनुसार रिफ्रेश नियम निर्धारित करें। उत्पाद दस्तावेज़ों की बार-बार जाँच की आवश्यकता हो सकती है, जबकि अभिलेखित संदर्भ शायद ही कभी बदलते हैं। कैप्चर टाइमस्टैम्प स्टोर करें और सामग्री हैश की तुलना करें ताकि बिना बदलाव वाले पृष्ठ नए संस्करण न बनाएं।

प्रश्न: क्या स्क्रैप किया गया पाठ किसी भी मॉडल परियोजना के लिए उपयोग किया जा सकता है?

नहीं। पहुँच, कॉपीराइट, गोपनीयता, संविदात्मक, और डेटा-सुरक्षा आवश्यकताएँ स्रोत, अधिकार क्षेत्र, और इच्छित उपयोग पर निर्भर करती हैं। उपयुक्त समीक्षा प्राप्त करें और इस पाइपलाइन के बाहर प्रतिबंधित या व्यक्तिगत डेटा रखें जब तक कि परियोजना के पास एक प्रलेखित कानूनी आधार और नियंत्रण न हो।