cURL कमांड-लाइन टूल एक शक्तिशाली उपयोगिता है जो URL सिंटैक्स के साथ डेटा ट्रांसफर करती है, जिसका व्यापक रूप से APIs का परीक्षण करने, नेटवर्क समस्याओं को डिबग करने और सरल वेब स्क्रेपिंग के लिए उपयोग किया जाता है। इन कार्यों को गुमनाम तरीके से करने या भू-प्रतिबंधित सामग्री तक पहुँचने के लिए, आपको cURL को एक प्रॉक्सी सर्वर के माध्यम से अपने अनुरोधों को रूट करने के लिए कॉन्फ़िगर करना होगा। यह गाइड cURL के साथ प्रॉक्सी सेट करने के विभिन्न तरीकों का विवरण देती है।

विधि 1: --proxy ध्वज का उपयोग करना

एकल cURL अनुरोध के लिए प्रॉक्सी विशिष्ट करने का सबसे स्पष्ट तरीका --proxy (या इसका संक्षिप्त, -x) ध्वज का उपयोग करना है। इस ध्वज के लिए प्रॉक्सी URL की पूर्णता की आवश्यकता होती है, जिसमें प्रोटोकॉल, आईपी पता और पोर्ट शामिल हैं।

सिंटैक्स:

curl --proxy <PROTOCOL>://<IP_ADDRESS>:<PORT> <URL>

उदाहरण:

curl --proxy "http://47.90.205.231:33333" "https://httpbin.io/ip"

संक्षिप्त -x कार्यात्मक रूप से समान है और संक्षिप्तता के लिए अक्सर पसंद किया जाता है:

curl -x "http://47.90.205.231:33333" "https://httpbin.io/ip"

विधि 2: प्रॉक्सी प्रमाणीकरण को संभालना

यदि प्रॉक्सी को प्रमाणीकरण की आवश्यकता है, तो आप HTTPX की तरह सीधे प्रॉक्सी URL में प्रमाणीकरण विवरण एम्बेड कर सकते हैं:

curl -x "http://<USERNAME>:<PASSWORD>@proxy.scrapeless.com:1337" "https://httpbin.io/ip"

वैकल्पिक रूप से, आप --proxy-user और --proxy-password ध्वजों का उपयोग कर सकते हैं, जो आमतौर पर अधिक सुरक्षित है क्योंकि यह प्रमाणीकरण को मुख्य प्रॉक्सी URL से अलग करता है:

curl -x "http://proxy.scrapeless.com:1337" --proxy-user "<USERNAME>:<PASSWORD>" "https://httpbin.io/ip"

विधि 3: पर्यावरण चर का उपयोग करना

कई cURL कमांडों के बीच स्थायी प्रॉक्सी सेटिंग्स के लिए, आप पर्यावरण चर सेट कर सकते हैं। cURL स्वचालित रूप से http_proxy, https_proxy, और all_proxy की जाँच करता है।

# HTTP और HTTPS ट्रैफिक के लिए प्रॉक्सी सेट करें
export http_proxy="http://proxy.scrapeless.com:1337"
export https_proxy="http://proxy.scrapeless.com:1337"

# अब, कोई भी अगला cURL कमांड प्रॉक्सी का उपयोग करेगा
curl "https://httpbin.io/ip"

प्रॉक्सी का उपयोग रोकने के लिए, बस चर हटाएं: unset http_proxy https_proxy।

cURL और प्रॉक्सियों के लिए सर्वोत्तम प्रथाएँ

1. प्रोटोकॉल मिलान: सुनिश्चित करें कि प्रॉक्सी प्रोटोकॉल अनुरोध प्रोटोकॉल से मेल खाता है (उदाहरण के लिए, HTTPS अनुरोध के लिए HTTPS प्रॉक्सी का उपयोग करें)।
2. SOCKS समर्थन: cURL SOCKS प्रॉक्सियों (SOCKS4, SOCKS5) का समर्थन करता है प्रॉक्सी URL में प्रोटोकॉल निर्दिष्ट करके, जैसे, socks5://ip:port।
3. रोटेशन: जबकि cURL में स्वयं रोटेशन की सुविधा नहीं है, आप एक साधारण शेल स्क्रिप्ट का उपयोग करके इसे कार्यान्वित कर सकते हैं जो cURL कमांड को निष्पादित करने से पहले एक सूची में से यादृच्छिक रूप से प्रॉक्सी का चयन करती है। यह एक सामान्य तकनीक है जब स्वचालित डेटा संग्रह किया जाता है।

अनुशंसित प्रॉक्सी समाधान: Scrapeless Proxies

डेटा निष्कर्षण के लिए cURL का उपयोग करते समय, आपके प्रॉक्सी की गुणवत्ता सीधे आपकी सफलता दर को प्रभावित करती है। Scrapeless Proxies विश्वसनीयता और गति प्रदान करती हैं जो उच्च-आवृत्ति कमांड-लाइन संचालन के लिए आवश्यक होती हैं। उनके डेटासेंटर प्रॉक्सी cURL की गति-केंद्रित स्वभाव के लिए आदर्श हैं, जो कम लेटेंसी और उच्च थ्रूपुट प्रदान करते हैं, जबकि उनके रेसिडेंशियल प्रॉक्सी संवेदनशील लक्ष्यों के लिए सबसे अधिक गुमनामी का स्तर प्रदान करते हैं।

अक्सर पूछे जाने वाले प्रश्न (FAQ)

प्रश्न: मुझे कैसे पता चलेगा कि cURL प्रॉक्सी का उपयोग कर रहा है?
उत्तर: आप https://httpbin.io/ip जैसी सेवा का उपयोग करके देख सकते हैं कि अनुरोध किस आईपी पते से उत्पन्न हुआ है। यदि लौटाया गया आईपी आपके प्रॉक्सी के आईपी से मेल खाता है, तो प्रॉक्सी काम कर रहा है। आप cURL में -v (verbose) ध्वज का उपयोग करके कनेक्शन विवरण देख सकते हैं, जो प्रॉक्सी हैंडशेक को दिखाएगा [6]।
प्रश्न: cURL के लिए डिफ़ॉल्ट प्रॉक्सी पोर्ट क्या है?
उत्तर: cURL का कोई डिफ़ॉल्ट प्रॉक्सी पोर्ट नहीं है। यदि आप प्रॉक्सी URL में कोई पोर्ट निर्दिष्ट नहीं करते हैं, तो cURL सामान्यतः प्रोटोकॉल के लिए मानक पोर्ट पर डिफ़ॉल्ट हो जाएगा (जैसे, SOCKS के लिए 1080, HTTP के लिए 8080 या 3128), लेकिन हमेशा सर्वोत्तम प्रथा है कि पोर्ट को स्पष्ट रूप से शामिल किया जाए [7]।

प्रश्न: मैं विशिष्ट अनुरोध के लिए प्रॉक्सी को कैसे बाईपास कर सकता हूँ?
उत्तर: यदि आपके पास सेट किए गए परिवेश चर हैं, तो आप --noproxy फ्लैग का उपयोग करके उन होस्टों की सूची को निर्दिष्ट कर सकते हैं जिन्हें सीधे पहुंचाया जाना चाहिए, या --noproxy "*" का उपयोग कर सकते हैं ताकि उस विशिष्ट आदेश में सभी होस्टों के लिए प्रॉक्सी को बाईपास किया जा सके।

संदर्भ

[1] सेलेनियम प्रलेखन: क्रोम प्रॉक्सी
[2] क्लाउडफ्लेयर: प्रॉक्सी सर्वर क्या है?
[3] टेकरेडर प्रो: प्रॉक्सी सर्वर क्या है और यह कैसे काम करता है?
[4] HTTPX प्रलेखन: प्रॉक्सी
[5] RFC 1928: SOCKS प्रोटोकॉल संस्करण 5
[6] cURL मैन पेज
[7] IANA सेवा नाम और परिवहन प्रोटोकॉल पोर्ट संख्या रजिस्ट्री