Common Crawl là gì?

API Thu thập Dữ liệu Toàn cầu Không cần Scrapeless truy xuất các trang web công cộng hiện tại có thể bổ sung cho các tập dữ liệu web lưu trữ trong nghiên cứu và quy trình dữ liệu.

Common Crawl Được Định Nghĩa

Common Crawl là một dự án phi lợi nhuận thu thập dữ liệu từ các trang web có thể truy cập công khai và xuất bản các kho lưu trữ và bộ dữ liệu phát sinh. The Tổng quan về Quỹ Common Crawl miêu tả tổ chức, lịch sử thu thập của nó và các định dạng mà nó cung cấp. Tập hợp được sử dụng trong nghiên cứu trên web, phân tích ngôn ngữ, thí nghiệm tìm kiếm, nghiên cứu lưu trữ và các quy trình dữ liệu học máy.

Dự án giảm bớt một rào cản tốn kém: thu thập một mẫu web rộng rãi. Người dùng có thể truy vấn chỉ mục, chọn hồ sơ và xử lý các phản hồi đã lưu trữ mà không cần vận hành đội xe thu thập ban đầu. Common Crawl không chuyển những hồ sơ đó thành một tập dữ liệu sẵn sàng cho nhiệm vụ. Việc làm sạch, loại bỏ trùng lặp, xác định ngôn ngữ, lọc chất lượng, xem xét an toàn và phân tích pháp lý vẫn là công việc ở phía sau.

Mỗi lần thu thập có tên là một lần chụp có thời gian giới hạn với phạm vi riêng. Một trang có thể không có mặt vì trình thu thập không phát hiện ra nó, quy tắc robots đã chặn quyền truy cập, máy chủ không khả dụng, yêu cầu không thành công, URL đã bị ưu tiên thấp hơn, hoặc nội dung xuất hiện sau lần thu thập. Sự hiện diện cũng có giới hạn: một phản hồi đã lưu trữ có thể là một chuyển hướng, trang lỗi, màn hình đồng ý, hoặc phần render không đầy đủ thay vì nội dung mà người ta mong đợi.

Common Crawl do đó được hiểu tốt nhất như một hạ tầng thu thập và một tập hợp lịch sử. Nó cung cấp tài liệu thô và tài liệu đã được phát triển cùng với các chỉ mục. Nó không xác nhận độ chính xác, tính đại diện, quyền lợi hay sự phù hợp cho một mô hình hoặc phân tích cụ thể nào. Những câu hỏi đó thuộc về người dùng người chọn và chuyển đổi dữ liệu.

Dữ liệu Common Crawl được tổ chức như thế nào

Quá trình thu thập dữ liệu phát hiện các URL, lấy phản hồi và ghi chép vào các tệp lưu trữ. Common Crawl xác định con thu thập dữ liệu của mình là CCBot và công bố thông tin về hành vi của nó. Các trang web có thể thể hiện quy tắc thu thập dữ liệu thông qua robots.txt, mà cú pháp chuẩn của nó được định nghĩa bởi Giao thức loại trừ robotMột quy tắc ảnh hưởng đến quyền truy cập của trình thu thập dữ liệu; nó không làm cho phần còn lại của web trở nên vô hình hoặc cấp giấy phép sử dụng cho các mục đích hạ nguồn.

Tệp WARC bảo tồn các bản ghi thu thập dữ liệu thô. Chúng có thể chứa các yêu cầu HTTP, phản hồi và siêu dữ liệu thu thập. Lớp này gần nhất với những gì trình thu thập nhận được và hữu ích khi các tiêu đề, trạng thái, byte tải trọng hoặc loại nội dung có ý nghĩa. Các tệp này được nén và phân vùng, vì vậy đọc toàn bộ quá trình thu thập mà không thu hẹp phạm vi là tốn kém và không cần thiết cho hầu hết các dự án.

Các tệp WAT chứa siêu dữ liệu được trích xuất từ các bản ghi thô, bao gồm thông tin như tiêu đề và các liên kết được phát hiện. Các tệp WET chứa đoạn văn bản thu được, điều này thuận tiện cho phân tích ngôn ngữ và văn bản nhưng loại bỏ nhiều cấu trúc ban đầu. The Hướng dẫn dữ liệu Common Crawl giải thích các định dạng này và sự khác biệt giữa dữ liệu thô, siêu dữ liệu và văn bản đã trích xuất.

Các chỉ mục ánh xạ URL và bản ghi thu thập đến các vị trí trong kho lưu trữ. Một quy trình làm việc có mục tiêu truy vấn một chỉ mục, nhận các trường như tên tệp lưu trữ, độ dịch chuyển byte và chiều dài bản ghi, sau đó chỉ yêu cầu phạm vi cần thiết. Điều này nhanh hơn và rẻ hơn so với việc tải xuống mọi WARC. Các dự án phân tích cũng có thể sử dụng Chỉ mục URL theo cột để lọc hàng loạt qua các miền, mã trạng thái, loại phương tiện hoặc phân vùng thu thập.

Dữ liệu WARC, WAT, WET và Chỉ mục

Việc chọn cách biểu diễn nhẹ nhất mà vẫn bảo tồn đủ bằng chứng cần thiết sẽ giữ cho công việc của Common Crawl dễ hiểu và nhận thức về chi phí.

Common Crawl được sử dụng để làm gì

Tập hợp hỗ trợ các dự án được hưởng lợi từ việc bao phủ web rộng rãi, với điều kiện là các lựa chọn mẫu và chuyển đổi vẫn được công khai.

Một quy trình làm việc thực tế cho Common Crawl

Viết câu hỏi nghiên cứu trước khi chọn một lần quét. Một nghiên cứu về ngôn ngữ hiện tại có thể cần phân vùng mới nhất có sẵn. Một phân tích lịch sử cần các cửa sổ thời gian có thể so sánh. Một kiểm toán tên miền có thể chỉ cần một danh sách nhỏ các tiền tố URL. Câu hỏi xác định các ID quét, chỉ mục, loại tệp và trường nào thuộc phạm vi.

Truy vấn chỉ mục và lưu các tham số truy vấn. Ghi lại bộ sưu tập quét, mẫu URL, chế độ khớp, bộ lọc trạng thái, loại phương tiện và bất kỳ sự loại bỏ trùng lặp nào áp dụng cho các dòng chỉ mục. Xem xét một mẫu các kết quả trước khi bắt đầu một công việc hàng loạt. Một chỉ mục có thể chỉ đến các trang đăng nhập, chuyển hướng, phản hồi lỗi, hoặc các tên miền phụ không liên quan mà chia sẻ một tên.

Lấy các dải byte cho các bản ghi WARC đã chọn khi bằng chứng thô là quan trọng. Xác minh URI mục tiêu WARC, trạng thái phản hồi, loại nội dung, thời gian capture, và nội dung trước khi phân tích. Đối với phân tích chỉ văn bản, so sánh một mẫu đầu ra WET với các bản ghi thô tương ứng để hiểu những gì giai đoạn trích xuất đã loại bỏ hoặc thay đổi.

Tạo một tệp manifest tập dữ liệu đã dẫn xuất. Liệt kê các ID quét đầu vào, phiên bản mã, bộ lọc, danh sách chặn, mô hình ngôn ngữ, ngưỡng chất lượng, phương pháp loại bỏ trùng lặp, và sơ đồ đầu ra. Bảo tồn các con trỏ cấp bản ghi trở lại vị trí WARC khi chính sách cho phép. Dòng dõi đó cho phép một người đánh giá khác tái tạo lý do một tài liệu đã vào hoặc rời khỏi tập cuối cùng.

Giới hạn bao phủ và chất lượng dữ liệu

Common Crawl không thể ghi lại toàn bộ web. Web công cộng thay đổi liên tục, việc khám phá URL không đồng đều, và các máy chủ áp dụng các chính sách truy cập khác nhau. Các trang web lớn có thể thống trị một mẫu thông qua lịch, tham số, gương, hoặc các trang được tạo ra. Các trang web nhỏ có thể có ít liên kết vào và nhận được ít phạm vi hơn. Số lượng trang không chuyển đổi trực tiếp thành nội dung đại diện.

Việc hiển thị là một ranh giới khác. Một phản hồi từ trình thu thập có thể chứa HTML ban đầu thay vì trang cuối cùng mà một trình duyệt tạo ra sau khi JavaScript chạy. Do đó, việc trích xuất WET có thể trống rỗng hoặc không hoàn chỉnh cho các giao diện được hiển thị trên máy khách. Một trình duyệt hiện tại hoặc dịch vụ hiển thị có thể cung cấp một sự so sánh, nhưng việc ghi lại mới không nên được thay thế âm thầm cho bằng chứng đã lưu trữ.

Các pipeline văn bản có thể khuếch đại tiếng ồn. Điều hướng, thông báo cookie, các bản sao đã thu thập, các trang được tạo ra bởi máy, spam và các mẫu lặp lại có thể tồn tại sau khi trích xuất. Các định danh ngôn ngữ có thể phân loại sai các bản ghi ngắn hoặc ngôn ngữ hỗn hợp. Các bộ lọc chất lượng có thể cải thiện trung bình trong khi loại bỏ các phương ngữ, chuyển mã, hoặc các ngôn ngữ tài nguyên thấp. Công bố số liệu thống kê cấp lát và các ví dụ đã lấy mẫu.

Sự sẵn có mở không phải là một tuyên bố cho phép toàn cầu. Người dùng hạ nguồn phải đánh giá dữ liệu cá nhân, tác phẩm có bản quyền, nội dung nhạy cảm, các hạn chế hợp đồng, và mục đích xử lý. Các yêu cầu loại trừ và loại bỏ cũng cần có một con đường được ghi lại trong bất kỳ tập dữ liệu đã dẫn xuất nào. Chính sách thu thập của Common Crawl không thay thế việc đánh giá pháp lý và đạo đức riêng của người dùng.

Cách xác thực tập dữ liệu Common Crawl

Báo cáo bao phủ theo tên miền, ngôn ngữ, thời gian, trạng thái phản hồi, loại phương tiện, và nồng độ nguồn. Bao gồm truy vấn chỉ mục và các định danh quét để mẫu có thể được tái tạo. Nếu phân tích so sánh các lần quét, chuẩn hóa cho sự thay đổi trong khám phá và khối lượng capture trước khi diễn giải sự di chuyển nội dung như một sự thay đổi trong chính web.

Đo lường các bản sao ở nhiều mức độ: nội dung chính xác, văn bản đã chuẩn hóa, mẫu, và tài liệu gần giống. Giữ quy tắc và ngưỡng bên cạnh kết quả. Một tên miền với nhiều URL gương có thể thống trị số lượng. Đồng thời, văn bản pháp lý hoặc điều hướng lặp lại có thể được loại bỏ tốt hơn ở cấp đoạn hơn là loại bỏ toàn bộ trang.

Kiểm toán chất lượng trích xuất với các bản ghi kết đôi. So sánh văn bản WET với các payload WARC được chọn, kiểm tra tiêu đề, văn bản chính, bảng, mã hóa, và thông tin chung. Đối với các trang nặng JavaScript, ghi lại rằng kho lưu trữ chỉ chứa phản hồi đã thu được. Đừng điền vào văn bản đã hiển thị bị thiếu bằng giả định.

Theo dõi nguồn gốc qua mọi chuyển đổi. Một hàng cuối cùng nên có thể được truy tìm đến một ID quét, tên tệp WARC, độ lệch, URI mục tiêu, thời gian capture, và phiên bản chuyển đổi khi có thể. Khi một bản ghi bị loại bỏ, ghi lại quy tắc và các phiên bản dẫn xuất bị ảnh hưởng. Điều này làm cho tập dữ liệu có thể bảo trì thay vì chỉ là một xuất khẩu một lần.

Kết luận

Common Crawl là cơ sở hạ tầng mở để làm việc với dữ liệu web đã lưu trữ. Nó xuất bản các bộ sưu tập quét lớn, các bản ghi WARC thô, các tệp WAT và WET đã dẫn xuất, và các chỉ mục cho phép truy cập có mục tiêu. Dự án này giúp người dùng không phải vận hành một trình thu thập web quy mô lớn, nhưng không cung cấp một tập dữ liệu nghiên cứu hoặc huấn luyện hoàn chỉnh.

Công việc hữu ích bắt đầu với một câu hỏi hẹp, một truy vấn chỉ mục và một danh sách có thể tái tạo. Phạm vi, hiển thị, sao chép, quyền và chất lượng trích xuất phải được đo lường thay vì giả định. Khi các trang hiện tại được thêm vào để so sánh, hãy giữ phương pháp tiếp cận và thời gian của chúng tách biệt khỏi lưu trữ.