Từ Sitemaps đến Liên kết Được Hiển thị: Bộ 6 Phương Pháp cho Khám Phá URL Toàn Bộ Trang web

site:example.com

import requests
import xml.etree.ElementTree as ET
from urllib.parse import urljoin

SM_NS = "{http://www.sitemaps.org/schemas/sitemap/0.9}"
HEADERS = {"User-Agent": "Mozilla/5.0 (sitemap-discovery)"}

def walk_sitemap(url, seen=None):
    """Trả về mọi URL trang có thể truy cập từ một sơ đồ hoặc chỉ mục sơ đồ."""
    seen = seen if seen is not None else set()
    if url in seen:          # bảo vệ chống lại một sơ đồ tham chiếu đến chính nó
        return []
    seen.add(url)

    resp = requests.get(url, headers=HEADERS, timeout=30)
    resp.raise_for_status()
    root = ET.fromstring(resp.content)
    tag = root.tag.split("}")[-1]   # loại bỏ không gian tên, giữ lại "sitemapindex" hoặc "urlset"

    urls = []
    if tag == "sitemapindex":
        # Một chỉ mục trỏ đến các sơ đồ con — đệ quy vào mỗi tệp.
        for sm in root.findall(f"{SM_NS}sitemap"):
            loc = sm.findtext(f"{SM_NS}loc")
            if loc:
                urls.extend(walk_sitemap(loc.strip(), seen))
    else:
        # Một urlset liệt kê trực tiếp các URL trang.
        for u in root.findall(f"{SM_NS}url"):
            loc = u.findtext(f"{SM_NS}loc")
            if loc:
                urls.append(loc.strip())
    return urls

if __name__ == "__main__":
    pages = walk_sitemap("https://example.com/sitemap.xml")
    print(f"Đã phát hiện {len(pages):,} URL từ cây sơ đồ")
    for u in pages[:10]:
        print(" ", u)

import requests
from urllib.parse import urljoin

HEADERS = {"User-Agent": "Mozilla/5.0 (sitemap-discovery)"}

def sitemaps_from_robots(base_url):
    """Trích xuất mọi chỉ thị Sitemap: được công bố trong robots.txt."""
    resp = requests.get(urljoin(base_url, "/robots.txt"), headers=HEADERS, timeout=30)
    resp.raise_for_status()
    sitemaps = []
    for line in resp.text.splitlines():
        if line.lower().startswith("sitemap:"):
            sitemaps.append(line.split(":", 1)[1].strip())
    return sitemaps

if __name__ == "__main__":
    for sm in sitemaps_from_robots("https://example.com"):
        print("Sitemap đã được công bố:", sm)

rp.read()           # phân tích các quy tắc Disallow và bất kỳ crawl-delay nào
    return rp

def crawl(start_url, max_pages=200, user_agent="*"):
    """Đi bộ theo chiều rộng các liên kết nội bộ, tôn trọng robots.txt."""
    host = urlparse(start_url).netloc
    robots = load_robots(start_url)

    seen = {start_url}
    queue = deque([start_url])
    found, skipped = set(), []

    while queue and len(found) < max_pages:
        url = queue.popleft()

        # Cổng tuân thủ: không bao giờ lấy một đường dẫn mà trang web cấm.
        if not robots.can_fetch(user_agent, url):
            skipped.append(url)
            continue

        try:
            resp = requests.get(url, headers=HEADERS, timeout=30)
            resp.raise_for_status()
        except requests.RequestException:
            # Một URL xấu được ghi lại ra ngoài băng, không bị theo đuổi nội tuyến.
            continue
        if "text/html" not in resp.headers.get("Content-Type", ""):
            continue

        found.add(url)

        parser = LinkParser()
        parser.feed(resp.text)
        for href in parser.links:
            absolute = urldefrag(urljoin(url, href))[0]   # giải quyết + loại bỏ #fragment
            if urlparse(absolute).netloc == host and absolute not in seen:
                seen.add(absolute)
                queue.append(absolute)

    return found, skipped

if __name__ == "__main__":
    pages, disallowed = crawl("https://example.com/", max_pages=200)
    print(f"Đã phát hiện {len(pages):,} trang; đã bỏ qua {len(disallowed)} trang bị cấm bởi robots.txt")

---

Một lần chạy trực tiếp của trình thu thập thông tin này đối với một danh mục demo tĩnh đã phát hiện 40 trang với giới hạn đặt ở 40 và không có URL nào bị bỏ qua, vì `robots.txt` của trang đó không cấm gì. Khi chỉ định vào một trang có `robots.txt` cấm một đường dẫn, trình thu thập thông tin tương tự đã từ chối đúng URL bị cấm và ghi lại nó vào danh sách `skipped` thay vì lấy nó - việc tuân thủ đã được thực hiện cho mỗi URL, không phải là một suy nghĩ thứ cấp.

Cách mà điều này kết hợp với các phương pháp trước đó:

- **Trình thu thập tìm thấy những gì bản đồ trang web bỏ qua;** bản đồ trang web tìm thấy những gì trình thu thập không thể tiếp cận bằng liên kết. Chạy cả hai và lấy hợp nhất để có bảng kê đầy đủ nhất.
- **Sự cố giữ bên ngoài.** Một URL bị lỗi bị loại bỏ khỏi lần này và việc thu thập tiếp tục - một trang xấu không bao giờ làm dừng toàn bộ hành trình. Thu thập các URL bị loại bỏ riêng biệt để xem xét.
- **Giới hạn độ đồng thời để lịch sự.** Một trình thu thập đơn luồng như cái ở trên đã rất nhẹ nhàng. Nếu bạn song song hóa, hãy giữ nó ở **không nhiều hơn 3 công nhân mỗi chủ đề**, và tôn trọng bất kỳ `Crawl-delay` nào mà `robots.txt` tuyên bố.
- **Trình thu thập chỉ HTML.** Các liên kết được vẽ bằng JavaScript sau khi tải không nhìn thấy bởi `requests`. Khoảng trống đó chính là những gì Phương pháp 6 khép lại.

---

## Phương pháp 6 - Render các trang nặng JavaScript với Scrapeless Scraping Browser

Một trình thu thập dựa trên `requests` đọc bất kỳ byte nào mà máy chủ gửi. Đối với một ứng dụng trang đơn, một danh mục cuộn vô hạn, hoặc điều hướng React/Vue/Next.js, những byte đó là một vỏ ứng dụng - `<div id="root"></div>` cộng với một thẻ script - và các liên kết nội bộ được vẽ ở phía khách hàng khi gói chạy. HTTP thông thường không thể nhìn thấy chúng; một trình duyệt thực sự có thể.

Scrapeless Scraping Browser kết xuất trang trong một trình duyệt đám mây và mở nó qua Giao thức DevTools của Chrome. Bạn kết nối với Playwright qua một điểm cuối WebSocket, làm nóng trang chính để phiên mang theo cookie, điều hướng đến mục tiêu, sau đó thu thập các liên kết từ DOM đã được làm mát - tương tự như bước phân tích liên kết ở Phương pháp 5. Lưu lượng egress của Mỹ được gắn với phiên để các trang web geo-gated phục vụ cấu trúc tiêu chuẩn của họ.

Kết nối là một URL WebSocket duy nhất được xây dựng từ khóa API của bạn. Đây là hình dạng kết nối chính xác:

```python
import os
from urllib.parse import urlencode
from playwright.sync_api import sync_playwright

def scraping_browser_url(proxy_country="US", session_ttl=240):
    params = urlencode({
        "token": os.environ["SCRAPELESS_API_KEY"],
        "sessionTTL": session_ttl,
        "proxyCountry": proxy_country,
    })
    return f"wss://browser.scrapeless.com/api/v2/browser?{params}"

from urllib.parse import urljoin, urldefrag, urlparse

def discover_rendered_links(start_url, proxy_country="US"):
    """Kết xuất một trang nặng JS trong trình duyệt đám mây và thu thập các liên kết cùng miền."""
    host = urlparse(start_url).netloc
    homepage = f"{urlparse(start_url).scheme}://{host}/"

    with sync_playwright() as p:
        browser = p.chromium.connect_over_cdp(scraping_browser_url(proxy_country))
        context = browser.contexts[0] if browser.contexts else browser.new_context()
        page = context.pages[0] if context.pages else context.new_page()

        # Làm nóng trang chính trước để phiên mang theo cookie, sau đó đi đến mục tiêu.
        page.goto(homepage, wait_until="domcontentloaded", timeout=60_000)
        page.goto(start_url, wait_until="networkidle", timeout=60_000)

# Đọc href từ DOM đã được hydrate, sau khi quá trình render phía máy khách đã chạy.
        hrefs = page.eval_on_selector_all(
            "a[href]", "els => els.map(e => e.getAttribute('href'))"
        )
        browser.close()

    links = set()
    for href in hrefs:
        if not href:
            continue
        absolute = urldefrag(urljoin(start_url, href))[0]
        if urlparse(absolute).netloc == host:
            links.add(absolute)
    return links

if __name__ == "__main__":
    found = discover_rendered_links("https://example.com/app/catalog")
    print(f"Đã phát hiện {len(found):,} liên kết phía máy khách sau khi render")
    for u in sorted(found)[:10]:
        print(" ", u)

---

Mô hình khiến điều này đáng tin cậy:

- **Khởi động trang chủ, sau đó điều hướng.** Lần đầu `goto` đến `/` cho phép phiên làm việc nhận cookie và vượt qua các kiểm tra tải lần đầu của trang; lần `goto` thứ hai hạ cánh trên trang bạn thực sự muốn liệt kê. Đi thẳng đến một URL sâu trong một phiên lạnh có khả năng cao hơn sẽ gặp phải thử thách.
- **`wait_until="networkidle"` trên mục tiêu** cho phép router phía máy khách có thời gian gắn kết các liên kết trước khi bạn đọc DOM. Đối với các trang cuộn vô hạn, hãy cuộn đến đáy trong một vòng lặp (`page.mouse.wheel`) cho đến khi số lượng liên kết dừng tăng, sau đó thu thập.
- **Quá trình render diễn ra trên đám mây của Scrapeless,** không trên máy của bạn. Lệnh `playwright install chromium` cục bộ chỉ là khách hàng CDP nói với điểm cuối `wss://browser.scrapeless.com/...`.
- **Phản hồi kết quả vào trong hợp nhất.** Các liên kết đã được render tham gia vào tập tin sitemap và tập tin thu thập tĩnh; loại bỏ trùng lặp bộ sưu tập kết hợp theo URL chuẩn hóa cho danh sách cuối cùng.

Để kết nối điều này vào một trình thu thập đầy đủ, hãy thay thế thân `requests.get` trong Phương pháp 5 bằng `discover_rendered_links` trên các máy chủ mà bạn biết là nặng JavaScript, và giữ con đường `requests` rẻ cho phần lớn được render phía máy chủ. Sự phân chia HTTP đầu tiên, trình duyệt thứ hai này giữ việc sử dụng trình duyệt đám mây cho các trang thực sự cần nó.

---

## Những gì bạn nhận lại

Mỗi phương pháp phát ra một tập hợp các URL tuyệt đối; danh sách cuối cùng là hợp nhất không trùng lặp giữa tất cả chúng. Một bản ghi hợp nhất cho một máy chủ trông như thế này:

```json
// Lược đồ phản ánh sự hợp nhất của bốn phương pháp lập trình.
// Số lượng là mẫu minh họa, không phải một bức tranh tĩnh của bất kỳ trang nào hôm nay.
{
  "host": "example.com",
  "discovered_at_methods": ["sitemap", "robots", "bfs_crawl", "rendered"],
  "counts": {
    "from_sitemap": 226,
    "from_bfs_crawl": 40,
    "from_rendered": 18,
    "union_unique": 248
  },
  "sample_urls": [
    "https://example.com/",
    "https://example.com/blog",
    "https://example.com/blog/how-to-scrape-bbb-business-listings",
    "https://example.com/app/catalog?page=2"
  ],
  "skipped_by_robots": [
    "https://example.com/private/"
  ]
}

Đối với lớp proxy định tuyến tầng đã được hiển thị, xem [Proxy SSL là gì?](https://www.scrapeless.com/vi/blog/what-is-an-ssl-proxy-2026?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=find-all-urls-website-scrapeless-scraping-browser). Trang sản phẩm [Scraping Browser](https://www.scrapeless.com/vi/product/scraping-browser?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=find-all-urls-website-scrapeless-scraping-browser) và trang [giá cả](https://www.scrapeless.com/vi/pricing?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=find-all-urls-website-scrapeless-scraping-browser) đề cập đến tầng trình duyệt đám mây; tài liệu SDK đầy đủ có tại [docs.scrapeless.com](https://docs.scrapeless.com?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=find-all-urls-website-scrapeless-scraping-browser). Ghi US egress trên tầng đã được hiển thị, làm nóng trang chính trước trang mục tiêu, tôn trọng `robots.txt` trên mọi URL và coi danh sách cuối cùng là tập hợp của mọi phương pháp.

---

## Sẵn sàng để xây dựng quy trình dữ liệu AI của bạn?

Tham gia cộng đồng của chúng tôi để nhận kế hoạch miễn phí và kết nối với các nhà phát triển xây dựng quy trình phát hiện URL và thu thập dữ liệu: [Discord](https://discord.gg/VU2vtbq7Q2) · [Telegram](https://t.me/scrapeless).

Đăng ký tại [app.scrapeless.com](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=find-all-urls-website-scrapeless-scraping-browser) để nhận runtime Scraping Browser miễn phí và điều chỉnh các mẫu trên cho các trang web, sơ đồ trang và khu vực mà quy trình cần.

---

## Câu hỏi thường gặp

**H: Việc thu thập dữ liệu một trang web để tìm tất cả các trang của nó có hợp pháp không?**

Việc phát hiện tự thân đọc các URL hiển thị công khai, nhưng tính hợp pháp phụ thuộc vào những gì bạn truy cập, từ đâu và theo điều kiện nào. Tôn trọng `robots.txt` của trang web, xem xét các điều khoản dịch vụ của nó, tránh các khu vực riêng tư hoặc yêu cầu xác thực, và tham khảo ý kiến ​​cố vấn cho các trường hợp sử dụng nhạy cảm. Scrapeless chỉ truy cập dữ liệu công khai.

**H: Sơ đồ trang hay crawl — cái nào cung cấp danh sách đầy đủ?**

Không phương pháp nào có thể đứng một mình. Sơ đồ trang là tuyên bố của nhà xuất bản và thường không được cập nhật hoặc không đầy đủ; một lần thu thập dữ liệu tìm thấy đồ thị liên kết nhưng bỏ lỡ các trang không có liên kết nào tới trang đó. Danh sách đầy đủ là *hợp nhất* của việc đi bộ sơ đồ trang (Phương pháp 2) và crawl BFS (Phương pháp 5), với tầng đã hiển thị (Phương pháp 6) được thêm vào cho các liên kết phía client.

**H: Tại sao crawler của tôi chỉ tìm thấy một vài trang trên một trang web lớn?**

Trang web gần như chắc chắn sản xuất điều hướng phía client. Một yêu cầu `requests` đơn giản trả về mã nguồn ứng dụng trước khi JavaScript chạy, vì vậy không có liên kết nào để theo dõi. Render các máy chủ đó với Scrapeless Scraping Browser (Phương pháp 6) và thu thập các liên kết từ DOM đã được hydrate thay thế.

**H: Tôi có cần một proxy để phát hiện URL không?**

Đối với việc đọc sơ đồ trang từ một máy chủ duy nhất và một lần thu thập tĩnh lịch sự, thường là không. Một proxy xứng đáng khi trang web geo-gates nội dung (bạn cần US egress để xem cấu trúc của Mỹ), khi IP của bạn bị giới hạn tốc độ, hoặc khi tầng đã hiển thị cần egress từ nhà ở để phù hợp với lưu lượng truy cập tự nhiên. Kết nối Scrapeless trong Phương pháp 6 ghi egress với `proxy_country="US"`.

**H: Làm thế nào tôi có được một render sạch khi một trang phục thử thách truy cập?**

Ghi egress từ nhà ở tại Mỹ trên phiên và **làm nóng phiên** — điều hướng đến trang chính của trang web trước trong cùng một phiên trình duyệt trước trang mục tiêu, như mã của Phương pháp 6 thực hiện, để cookie được thiết lập và trang sâu tải trong ngữ cảnh đã được tin cậy. Một cú nhảy lạnh thẳng đến một URL sâu có nhiều khả năng thu hút thử thách hơn.

**H: Điều gì xảy ra khi trang web thay đổi HTML hoặc cấu trúc liên kết của nó?**

Crawler tĩnh dựa trên phần tử `<a href>` chung, vì vậy các thay đổi trong đánh dấu hiếm khi làm hỏng nó. Nếu bạn đã thắt chặt bộ chọn tầng render đến một container cụ thể, hãy kiểm tra lại khi đánh dấu thay đổi và mở rộng lại tới `a[href]` nếu trang web tái tổ chức điều hướng của nó.

**H: Làm thế nào tôi tránh đánh mạnh vào trang web khi thu thập dữ liệu?**

Crawler đơn luồng trong Phương pháp 5 đã khá nhẹ nhàng. Nếu bạn chạy song song, hãy giữ đồng thời **không quá 3 worker trên mỗi máy chủ**, tôn trọng bất kỳ chỉ dẫn `Crawl-delay` nào trong `robots.txt`, và không bao giờ xếp hàng một đường dẫn mà các quy tắc cấm che phủ.

**H: Làm thế nào tôi có thể loại bỏ các URL trùng lặp trong danh sách cuối cùng?**

Chuẩn hóa trước khi đếm: loại bỏ `#fragments`, quyết định xem một slash ở cuối và các tham số truy vấn theo dõi (`?utm_*`) có ý nghĩa cho trường hợp sử dụng của bạn hay không, và lưu trữ các URL trong một `set` được khóa trên hình thức chuẩn hóa. Mỗi phương pháp đã trả về một `set`; hãy lấy hợp nhất của tất cả chúng và các bản sao sẽ bị sụp đổ.

**H: Tôi có thể phát hiện các URL mà không cần một đại lý AI hoặc bất kỳ SDK nào không?**

Có. Các Phương pháp 1-5 chỉ sử dụng thư viện chuẩn Python và `requests`. Phương pháp 6 thêm Playwright kết nối với điểm cuối Scrapeless Scraping Browser qua CDP — không yêu cầu khung đại lý, chỉ URL WebSocket được xây dựng từ khóa API của bạn.