Phân tích bán lẻ: Thiết kế một bộ dữ liệu danh mục sản phẩm của đối thủ cạnh tranh

Tóm tắt ngắn:

• Một bộ dữ liệu danh mục đối thủ cần tách riêng bản ghi sản phẩm và bản ghi chào bán. Một sản phẩm có thể xuất hiện dưới nhiều nhà bán lẻ, người bán hoặc cấu hình gói khác nhau.
• Độ phủ danh mục cần có mẫu số. Chỉ so sánh kệ hàng khi phạm vi quan sát và mức độ đầy đủ của thu thập được biết rõ.
• Một bản ghi kệ trống có thể mang nhiều ý nghĩa. Phân biệt sản phẩm bị gỡ, phiên thu thập chưa đầy đủ và chào bán tạm thời không có hàng.
• Chất lượng đối sánh quyết định so sánh nào có thể bảo vệ được. Giữ riêng biệt các định danh chính xác và các đối sánh suy luận.

---

Giới thiệu

Hai nhà bán lẻ cùng niêm yết một mẫu tai nghe. Một trang bao gồm hộp sạc, trong khi trang còn lại chỉ bán tai nghe. Đối sánh hai niêm yết theo tiêu đề sẽ xoá mất khác biệt về cấu hình gói. Đếm URL như sản phẩm lại tạo ra vấn đề ngược lại khi một mặt hàng xuất hiện ở nhiều danh mục.

Hãy xác định rõ một dòng sản phẩm đại diện cho điều gì trước khi so sánh độ rộng danh mục. Sau đó giữ riêng bản ghi niêm yết, chào bán và độ phủ danh mục của nhà bán lẻ.

Bộ dữ liệu đứng sau so sánh kệ hàng

Bắt đầu từ các trang danh mục đã được phê duyệt, làm giàu các niêm yết tìm được và giải quyết danh tính sản phẩm trước khi báo cáo mức độ trùng lặp. Mô hình nguồn gốc W3C giúp truy vết từng dòng đến trang danh mục hoặc trang sản phẩm đã tạo ra nó.

Ghi lại ranh giới của mỗi lần quét kệ

Một quan sát danh mục bao phủ một nhà bán lẻ được đặt tên, thị trường, đường dẫn thu thập và cửa sổ thu thập. Lưu lại đường dẫn phân cấp (breadcrumbs) từ nguồn và danh mục nội bộ được gán. Giữ lại mức độ đã phân trang hoặc đã khám phá danh sách được phê duyệt, cùng với bất kỳ trạng thái trang nào đã cản trở việc thu thập.

Bộ lọc danh mục và điều khiển chuyển sang trang tiếp theo có thể yêu cầu tự động hóa web dựa trên trình duyệt. Giữ lại URL danh mục, các bộ lọc và trang cuối cùng đã hoàn thành kèm với lần chạy để kết quả một phần không bao giờ bị hiểu là toàn bộ kệ hàng của nhà bán lẻ.

Định nghĩa danh mục nên nêu rõ những gì được bao gồm. Một “phòng tai nghe” có thể kết hợp sản phẩm chụp tai, tai nghe nhét trong, phụ kiện và hàng tân trang. Sử dụng bảng đối chiếu từ danh mục nguồn sang phân loại nội bộ. Gắn phiên bản để thay đổi phân loại có thể được tách khỏi biến động thực sự của kệ hàng.

Gán khóa riêng cho sản phẩm, niêm yết và chào bán

Danh tính sản phẩm mô tả mặt hàng, trong khi một chào bán mô tả cách một nhà bán lẻ hoặc người bán giới thiệu nó để bán. Sử dụng các định danh nguồn kèm không gian tên của chúng, bảo toàn thương hiệu và model hiển thị, và ghi lại kích cỡ hoặc số lượng trong gói khi chúng làm thay đổi những gì khách hàng nhận được. Thuộc tính GTIN của Schema.org mô tả một định danh sản phẩm có thể hỗ trợ nối bảng khi nó hiện diện và được kiểm chứng.

Với một trang đã được phê duyệt tải thuộc tính model hoặc gói khi lựa chọn, hãy sử dụng trình duyệt đám mây cho thu thập danh mục. Dùng giá của Scrapeless để lập ngân sách riêng cho các lần làm giàu này so với khám phá danh mục.

Giữ nhóm sản phẩm tách biệt với các biến thể của chúng bằng mối quan hệ được minh họa bởi từ vựng ProductGroup. URL họ model của một nhà bán lẻ có thể lộ ra nhiều biến thể. Giữ lại biến thể được chào bán và người bán trong quan sát để nhà phân tích có thể chọn một cấp độ nhất quán cho so sánh.

Bắt đầu Scraping với Scrapeless

Tăng sức mạnh cho quy trình thu thập dữ liệu web và tự động hóa của bạn với Scrapeless!
Đăng ký hôm nay để nhận 5 đô tín dụng miễn phí — không cần thẻ tín dụng.

Nhận tín dụng miễn phí ngay trong Bảng điều khiển Scrapeless.

Giải quyết khác biệt gói và biến thể

Một đối sánh nên ghi lại điều gì đã biện minh cho việc nối. Sử dụng các định danh đã được kiểm chứng khi gói và biến thể trùng khớp. Thương hiệu và model nhà sản xuất có thể hữu ích khi không có định danh dùng chung. Độ tương đồng tiêu đề tạo ra ứng viên và cần được kiểm chứng thêm khi thuộc tính sản phẩm khác nhau.

Với ví dụ tai nghe, các chào bán có thể thuộc cùng một họ model cho báo cáo độ rộng danh mục nhưng vẫn là các bản ghi gói riêng biệt cho định giá. Giữ lại thuộc tính hộp sạc và độ tin cậy đối sánh trong bộ dữ liệu để báo cáo có thể hỗ trợ cả hai kiểu so sánh.

Bảng	Mỗi dòng đại diện cho
Biến thể sản phẩm	Một kết hợp model và tùy chọn đã được giải quyết
Niêm yết nhà bán lẻ	Định danh niêm yết trong phạm vi nguồn của nhà bán lẻ
Quan sát ưu đãi	Một ưu đãi cho một biến thể từ một người bán trong một thị trường tại thời điểm thu thập
Lần chạy danh mục	Phạm vi và mức độ đầy đủ được quan sát cho một danh mục của nhà bán lẻ
Quyết định đối sánh	Một ánh xạ có phiên bản được hỗ trợ bởi các thuộc tính đã ghi lại

Báo Cáo Mức Độ Chồng Lấp Với Cờ Bao Phủ

Một chỉ số chồng lấp hữu ích so sánh các sản phẩm đã đối sánh bên trong các danh mục và phạm vi có thể so sánh. Hiển thị số lượng sản phẩm đã đối sánh, chưa giải quyết và chỉ có ở nguồn cùng với phần trăm chồng lấp. Nếu lượt quét của một nhà bán lẻ chỉ bao phủ trang danh mục đầu tiên, hãy đánh dấu so sánh đó là một phần.

Nếu một nhà phân tích thêm một quy trình giám sát giá sau đó, hãy nối nó với biến thể hoặc gói đã đối sánh. Một đối sánh theo họ sản phẩm phù hợp cho độ rộng vẫn có thể quá thô để so sánh các ưu đãi.

Sử dụng sự hiện diện trong danh mục và tình trạng sẵn có như các chỉ số riêng biệt. Một mặt hàng được liệt kê có thể hết hàng nhưng vẫn được tính vào độ rộng danh sách. Dành các sự kiện gỡ niêm yết cho một quy tắc được xác định dựa trên phạm vi bao phủ đầy đủ và, khi có thể, một lần quan sát tiếp theo. Quy trình trích xuất sản phẩm Etsy cung cấp một ví dụ liên quan về việc giữ lại các định danh nguồn trước khi chuẩn hóa ở các bước tiếp theo.

Kết Luận

Cung cấp cho bộ phận trưng bày hàng hóa một con số mà họ có thể giải thích. Báo cáo độ chi tiết của đối sánh, phạm vi quan sát được và các mục chưa giải quyết cùng với mức chồng lấp, và giữ lại bằng chứng về danh sách cho các tranh chấp về từng sản phẩm riêng lẻ.

---

Sẵn Sàng Xây Dựng Tập Dữ Liệu Danh Mục Sản Phẩm Của Bạn?

Tham gia cộng đồng trên Discord hoặc Telegram để trò chuyện với các nhà phát triển đang xây dựng quy trình phân tích danh mục sản phẩm. Tạo tài khoản trong Bảng Điều Khiển Scrapeless để bắt đầu.

---

Câu Hỏi Thường Gặp

H: Mỗi URL sản phẩm có nên được tính là một mục danh mục riêng không?

Hãy đếm ở độ chi tiết sản phẩm được xác định cho báo cáo. Các URL biến thể và vị trí trùng lặp có thể mô tả cùng một sản phẩm hoặc cùng một họ.

H: Khi nào một mặt hàng vắng mặt được tính là đã gỡ niêm yết?

Một quyết định gỡ niêm yết cần phạm vi bao phủ có thể so sánh và đủ đầy đủ. Ghi nhận sự vắng mặt khỏi phạm vi quan sát cho đến khi bằng chứng đáp ứng quy tắc đó.

H: Có bắt buộc dùng proxy cho việc giám sát danh mục sản phẩm không?

Một tuyến đường khu vực được cho phép hữu ích khi danh mục phụ thuộc vào thị trường của khách truy cập. Một danh mục nội địa với nguồn cấp dữ liệu đã được phê duyệt có thể sử dụng phương thức truy cập thông thường của nó.

H: Nếu trang danh mục thay đổi hoặc hiển thị thử thách thì sao?

Ghi nhận phạm vi bao phủ bị ảnh hưởng là chưa hoàn chỉnh. Xác nhận quyền truy cập đã được phê duyệt và xác thực bộ chọn cùng ánh xạ danh mục trước khi sử dụng lần chạy tiếp theo cho các chỉ số.

H: Có thể chạy cái này mà không cần tác nhân AI không?

Một bộ lập lịch và các quy tắc đối sánh có tính quyết định có thể chạy đường ống lõi. Sử dụng mức độ song song theo từng máy chủ được giới hạn và gửi các đối sánh mơ hồ để xem xét.

H: Tập dữ liệu này có thể sử dụng bất kỳ danh sách công khai nào không?

Kiểm tra điều khoản nguồn, quyền cho phép và luật áp dụng. Sử dụng các tuyến khám phá được cho phép và hỏi cố vấn pháp lý về việc tái sử dụng khi cần.