स्काईवर्न + स्क्रेपलेस स्क्रेपिंग ब्राउज़र: क्लाउड में एक एआई एजेंट
Advanced Bot Mitigation Engineer
स्काईवर्न एक ब्राउज़र एजेंट है जो पृष्ठ को देखने के माध्यम से तय करता है कि क्या करना है: यह स्क्रीनशॉट लेता है, एक दृष्टि मॉडल इसे पढ़ता है, और एजेंट जो देखता है उसके आधार पर क्लिक करता है, टाइप करता है, या पढ़ता है। उस एजेंट के ब्राउज़र को क्रोम डेवलपर टूल्स प्रोटोकॉल के माध्यम से स्क्रैपलेस स्क्रैपिंग ब्राउज़र पर इंगित करें और यह एक क्लाउड क्रोमियम को चलाता है जिसमें आवासीय निकास होता है, बजाय इसके कि आप इसे अपने मशीन पर चलाएं और छुपाएं।
युग्मन एक स्वाभाविक है। स्काईवर्न तर्क प्रदान करता है - एक साधारण-अंग्रेज़ी लक्ष्य को ब्राउज़र कार्रवाइयों की एक अनुक्रम में परिवर्तित करना - और स्क्रैपिंग ब्राउज़र वह रनटाइम प्रदान करता है जिसमें एजेंट कार्य करता है। यह गाइड स्काईवर्न स्थानीय रनटाइम इंस्टॉल करता है, उसे एक सीडीपी कनेक्शन के माध्यम से स्क्रैपलेस स्क्रैपिंग ब्राउज़र पर इंगित करता है, एक वाक्य में एक लक्ष्य देता है, और उसे कार्य पूरा करते हुए देखता है, एजेंट रन क्लाउड ब्राउज़र के खिलाफ लाइव निष्पादित हुआ।
स्क्रैपलेस स्क्रैपिंग ब्राउज़र पर स्काईवर्न क्यों चलाएं
एक दृष्टि एजेंट तब तक ही उपयोगी होता है जब तक वह ब्राउज़र को चलाता है। स्काईवर्न को एक स्थानीय क्रोमियम के खिलाफ चलाएं और आप पूरे रनटाइम के मालिक होते हैं: ब्राउज़र प्रक्रिया, इसकी मेमोरी, इसका एकल निकास आईपी, और जो भी एक व्यस्त साइट उस आईपी के साथ करती है। इसे स्क्रैपिंग ब्राउज़र पर इंगित करें और वह आधा क्लाउड में चला जाता है - एजेंट सीडीपी के माध्यम से एक क्रोमियम सत्र से जुड़ता है जिसे स्क्रैपलेस बनाए रखता है, आवासीय निकास के साथ जिसे आप किसी देश के लिए ठीक कर सकते हैं। यह कनेक्शन विवरण जोड़ा गया है स्क्रैपिंग ब्राउज़र दस्तावेज में।
एजेंट के बारे में कुछ भी नहीं बदलता। स्काईवर्न अभी भी स्क्रीनशॉट लेता है, तर्क करता है, और कार्य करता है; यह केवल एक क्लाउड ब्राउज़र के भीतर कार्य करता है जिसे एक वेब-प्रोटोकॉल के माध्यम से पहुंचा जाता है न कि स्थानीय एक के माध्यम से। यह आपके पक्ष में तर्क को बनाए रखता है और ब्राउज़र बेड़े को स्क्रैपलेस के पक्ष में, जो विभाजन आप चाहते हैं जब एक लक्ष्य कई पृष्ठों तक फैला हो या साइट उस ट्रैफ़िक के बारे में सावधान हो जिसे वह प्रदान करती है।
पूर्वापेक्षाएँ
आपको Python 3.11 या नया, स्काईवर्न का स्थानीय अतिरिक्त, ब्राउज़र सत्र के लिए एक स्क्रैपलेस एपीआई कुंजी, और एक दृष्टि-सक्षम मॉडल के लिए एक कुंजी चाहिए। मुफ्त योजना पर स्क्रैपलेस कुंजी प्राप्त करें app.scrapeless.com पर। स्काईवर्न का स्थानीय मोड एजेंट को प्रोसेस में चलाता है, इसलिए नीचे दिए गए रन के लिए कोई अलग सर्वर या डेटाबेस की आवश्यकता नहीं है।
इंस्टॉल करें
स्काईवर्न को स्थानीय अतिरिक्त के साथ इंस्टॉल करें, जो एम्बेडेड एजेंट रनटाइम खींचता है:
bash
pip install "skyvern[local]"
कॉन्फ़िगर करें
दो कुंजियाँ वातावरण में जाती हैं: ब्राउज़र के लिए स्क्रैपलेस कुंजी और एजेंट की दृष्टि कॉल के लिए मॉडल कुंजी।
bash
export SCRAPELESS_API_KEY="your_scrapeless_api_key"
export OPENROUTER_API_KEY="your_model_api_key"
स्काईवर्न को क्लाउड ब्राउज़र पर इंगित करें और एक कार्य चलाएं
स्काईवर्न अपने ब्राउज़र और मॉडल कॉन्फ़िगरेशन को सेटिंग्स से पढ़ता है, इसलिए उन्हें कोड में सेट करें इससे पहले कि आप क्लाइंट बनाएँ: BROWSER_TYPE=cdp-connect स्काईवर्न को एक मौजूदा ब्राउज़र से जोड़ने के लिए बताता है, BROWSER_REMOTE_DEBUGGING_URL स्क्रैपलेस सीडीपी अंत बिंदु है, और OpenRouter सेटिंग्स एक दृष्टि-सक्षम मॉडल का चयन करती हैं। फिर Skyvern.local() प्रोसेस में एजेंट चलाता है और run_task लक्ष्य को एक वाक्य के रूप में लेता है। कनेक्शन rides क्रोम डेवलपर टूल्स प्रोटोकॉल पर वेबसोकेट प्रोटोकॉल के माध्यम से:
python
import os
from urllib.parse import urlencode
TOKEN = os.environ["SCRAPELESS_API_KEY"]
CDP_URL = "wss://browser.scrapeless.com/api/v2/browser?" + urlencode(
{"token": TOKEN, "sessionTTL": 300, "proxyCountry": "US"})
os.environ.update({
"BROWSER_TYPE": "cdp-connect",
"BROWSER_REMOTE_DEBUGGING_URL": CDP_URL,
"ENABLE_OPENROUTER": "true",
"OPENROUTER_MODEL": "google/gemini-2.5-flash-lite",
"LLM_KEY": "OPENROUTER",
"LLM_CONFIG_SUPPORT_VISION": "true",
})
import asyncio
from skyvern import Skyvern
async def main():
skyvern = Skyvern.local(use_in_memory_db=True)
task = await skyvern.run_task(
prompt="पृष्ठ पर पहले उद्धरण को खोजें और इसके लेखक का नाम रिपोर्ट करें।",
url="https://quotes.toscrape.com/",
wait_for_completion=True,
max_steps=3,
)
print("कार्य की स्थिति:", task.status)
print("इंजिन:", task.run_request.engine)
asyncio.run(main())
एजेंट क्लाउड ब्राउज़र से जुड़ता है, लक्ष्य पर काम करता है और पूरा करता है:
text
कार्य की स्थिति: पूर्ण
इंजिन: स्काईवर्न-1.0
अपना एपीआई कुंजी मुफ्त योजना पर प्राप्त करें: app.scrapeless.com
एजेंट ने वास्तव में क्या किया
उस एक स्थिति लाइन के पीछे, Skyvern ने Scrapeless ब्राउज़र के खिलाफ अपना लूप चलाया। इसने रेंडर की गई पृष्ठ का स्क्रीनशॉट कैप्चर किया, छवि को लक्ष्य के साथ दृष्टि मॉडल को भेजा, और मॉडल ने एक क्रिया वापस की — यहाँ इसने पहचाना कि पहला उद्धरण और इसके लेखक पहले से स्क्रीन पर थे और लक्ष्य को पूरा चिह्नित किया। एक कार्य जिसमें इंटरैक्शन की आवश्यकता होती है, उसी लूप से एक बटन पर क्लिक किया जाता है, एक फ़ील्ड भरा जाता है, या स्क्रॉल किया जाता है, फिर से स्क्रीनशॉट लिया जाता है, और फिर से पढ़ा जाता है, आपके द्वारा सेट किए गए max_steps तक। इनमें से प्रत्येक क्रिया क्लाउड क्रोमियम के भीतर, आपकी मशीन पर नहीं, क्रिया करती है, और कनेक्शन पर proxyCountry तय करता है कि ट्रैफ़िक कहाँ से बाहर जाए।
एक एजेंट जो आपके पक्ष में कार्य करता है, अभी भी साइट की सीमाओं के भीतर काम करता है: इसे सार्वजनिक पृष्ठों पर इंगीत करें, साइट की शर्तों का सम्मान करें और उसके रोबोट्स एक्सक्लूजन प्रोटोकॉल निर्देशों का पालन करें, और कदम के बजट को संयमित रखें। श्रम का विभाजन बिंदु है: Skyvern निर्णयों का मालिक है और स्क्रैपिंग ब्राउज़र ब्राउज़र का मालिक है। उसी रनटाइम पर एक अन्य एजेंट फ्रेमवर्क के लिए, स्क्रैपलेस पर ब्राउज़र उपयोग चलाने पर वॉकथ्रू एक अलग एजेंट से उसी कनेक्शन को कवर करता है।
निष्कर्ष
Skyvern एक वाक्य को ब्राउज़र क्रियाओं में बदलता है, और Scrapeless स्क्रैपिंग ब्राउज़र उन क्रियाओं को होने के लिए क्लाउड रनटाइम प्रदान करता है। Scrapeless CDP एंडपॉइंट के साथ BROWSER_TYPE=cdp-connect सेट करें, एक दृष्टि-सक्षम मॉडल के साथ Skyvern.local() चलाएं, और एजेंट एक आवासीय निकासी के साथ क्लाउड क्रोमियम को चलाए — ऊपर का रन बिना किसी स्थानीय ब्राउज़र के अंत से अंत तक एक लक्ष्य पूरा करता है। स्क्रैपिंग ब्राउज़र उत्पाद पृष्ठ पर रनटाइम जो पेशकश करता है उसे पढ़ें और एजेंट के मात्रा का वजन करें, जो ब्राउज़र समय और मॉडल टोकन दोनों खर्च करता है, मूल्य निर्धारण पृष्ठ के खिलाफ पहले आप स्केल करें।
हमारे समुदाय में शामिल हों, एक मुफ्त योजना का दावा करें और अन्य डेवलपर्स के साथ नोट्स की तुलना करें जो ब्राउज़र एजेंट बनाते हैं: डिस्कॉर्ड · टेलीग्राम।
प्रश्नोत्तरी
प्रश्न: Skyvern क्या करता है जो एक स्क्रिप्ट नहीं करती?
Skyvern क्रियाओं का निश्चय करता है बजाय आपके कोड करने के। यह पृष्ठ का स्क्रीनशॉट लेता है, एक दृष्टि मॉडल स्क्रीनशॉट को आपके लक्ष्य के खिलाफ पढ़ती है, और एजेंट चुनता है कि क्लिक करना है, टाइप करना है, या पढ़ना है — इसलिए यह एक लेआउट में अनुकूलित करता है जिसे इसने पहले नहीं देखा है बजाय इसके कि आप जो चयनकर्ता हार्ड-कोड किए हैं उन्हें फॉलो करें।
प्रश्न: Skyvern Scrapeless स्क्रैपिंग ब्राउज़र से कैसे जुड़ता है?
एक CDP कनेक्शन के माध्यम से। BROWSER_TYPE=cdp-connect सेट करें और Scrapeless एंडपॉइंट wss://browser.scrapeless.com/api/v2/browser?token=... के लिए BROWSER_REMOTE_DEBUGGING_URL सेट करें, और Skyvern उस क्लाउड क्रोमियम से जुड़ता है बजाय एक स्थानीय ब्राउज़र को लॉन्च करने के।
प्रश्न: क्या मुझे एक पोस्टग्रेस डेटाबेस या एक चलती सर्वर की ज़रूरत है?
इसलिए नहीं। Skyvern.local(use_in_memory_db=True) एजेंट को इन-प्रोसेस एक इन-मेमोरी डेटाबेस के साथ चलाता है, जो एक कार्य को चलाने के लिए पर्याप्त है। एक अलग सर्वर और पोस्टग्रेस केवल आत्म-होस्टेड Skyvern सेवा के लिए आवश्यक हैं, यहाँ दिखाए गए स्थानीय रन के लिए नहीं।
प्रश्न: एजेंट कौन सा मॉडल उपयोग करता है?
एक दृष्टि-सक्षम मॉडल, क्योंकि एजेंट स्क्रीनशॉट पर विचार करता है। उदाहरण google/gemini-2.5-flash-lite पर OpenRouter के माध्यम से रूट करता है जिसमें LLM_CONFIG_SUPPORT_VISION=true सेट है; Skyvern भी समान सेटिंग्स के माध्यम से OpenAI, Anthropic, Gemini, और अन्य प्रदाताओं का समर्थन करता है।
प्रश्न: मैं एजेंट को बहुत लंबे समय तक चलने से कैसे रोकूं?
कार्य पर max_steps सेट करें। प्रत्येक चरण एक स्क्रीनशॉट-कारण-क्रिया चक्र है, इसलिए एक छोटा बजट यह सीमित करता है कि कितनी क्रियाएँ — और एक एकल कार्य से पहले कितने मॉडल कॉल किए जा सकते हैं।
प्रश्न: ट्रैफ़िक कहाँ से आता है?
Scrapeless क्लाउड ब्राउज़र के आवासीय निकासी से, आपकी मशीन पर नहीं। कनेक्शन यूआरएल पर proxyCountry पैरामीटर उस निकासी को एक देश पर पिन करता है, जो एक.geo-gated पृष्ठ इसकी सामग्री पर कुंजी डालता है।
प्रश्न: क्या मैं उसी तरह एक अलग एजेंट फ्रेमवर्क चला सकता हूँ?
हाँ। कोई भी एजेंट जो CDP के माध्यम से एक ब्राउज़र से जुड़ता है उसी Scrapeless एंडपॉइंट से जुड़ सकता है, इसलिए रनटाइम फ्रेमवर्क के बीच साझा किया जाता है जबकि प्रत्येक अपनी तर्क लाता है।
स्क्रैपलेस में, हम केवल सार्वजनिक रूप से उपलब्ध डेटा का उपयोग करते हैं, जबकि लागू कानूनों, विनियमों और वेबसाइट गोपनीयता नीतियों का सख्ती से अनुपालन करते हैं। इस ब्लॉग में सामग्री केवल प्रदर्शन उद्देश्यों के लिए है और इसमें कोई अवैध या उल्लंघन करने वाली गतिविधियों को शामिल नहीं किया गया है। हम इस ब्लॉग या तृतीय-पक्ष लिंक से जानकारी के उपयोग के लिए सभी देयता को कोई गारंटी नहीं देते हैं और सभी देयता का खुलासा करते हैं। किसी भी स्क्रैपिंग गतिविधियों में संलग्न होने से पहले, अपने कानूनी सलाहकार से परामर्श करें और लक्ष्य वेबसाइट की सेवा की शर्तों की समीक्षा करें या आवश्यक अनुमतियाँ प्राप्त करें।



