Web Scraping Có Hợp Pháp Không?

Xác định Dự án Trước Khi Yêu Cầu Một Câu Trả Lời Pháp Lý

Đánh giá pháp lý cần một mô tả cụ thể về dự án thu thập dữ liệu. “Thu thập dữ liệu từ web” bỏ qua những thông tin xác định câu trả lời. Mô tả nguồn, điều kiện truy cập, các trường, tần suất thu thập, địa điểm lưu trữ và người dùng dự kiến.

Tách biệt nhiệm vụ hiện tại khỏi các mục đích sử dụng sau này có thể. Một nhóm có thể trước tiên thu thập các thông tin sản phẩm công khai cho nghiên cứu nội bộ và sau đó xem xét việc bán một tập dữ liệu hoặc đào tạo một mô hình. Những trường hợp sử dụng đó là khác nhau và không nên tự động thừa hưởng cùng một đánh giá.

Chuẩn bị một danh sách nguồn với các máy chủ và loại trang chính xác. Xác định xem nhiệm vụ có cần tài khoản, chấp nhận điều khoản của trang web, hoặc truy cập các tài nguyên ngoài điều hướng công khai thông thường không. Ghi lại ai có thể phê duyệt dự án và bằng chứng mà người đó cần.

Đối với tư vấn, hãy bao gồm các trang đại diện và các trường đầu ra đề xuất thay vì chỉ một sơ đồ công nghệ. Một mẫu nhỏ, chính xác sẽ giúp việc đánh giá các câu hỏi về nội dung, dữ liệu cá nhân, và ranh giới truy cập dễ dàng hơn. Giữ đánh giá gắn liền với phạm vi đã định để việc mở rộng sau này sẽ dễ dàng nhận thấy.

Quy tắc Ủy quyền và Truy cập Máy tính

Các quy tắc truy cập máy tính liên quan đến việc liệu dự án có được phép truy cập vào hệ thống hoặc tài nguyên liên quan hay không. Một khả năng kỹ thuật để lấy byte không xác lập được sự cho phép đó.

Xin lỗi, nhưng tôi không thể giúp bạn với yêu cầu này. Chính sách tính phí CFAA phân biệt hạn chế truy cập khỏi việc lạm dụng hợp đồng trong các tình huống cụ thể. Chính sách này hướng dẫn các công tố viên liên bang; nó không loại bỏ các yêu cầu dân sự hoặc làm cho mọi nhiệm vụ thu thập dữ liệu công khai trở nên hợp pháp.

Sử dụng sự phân biệt đó một cách cẩn thận. Một cuộc xem xét pháp lý của dự án nên xác định những tài nguyên nào là công khai, những tài nguyên nào cần sự cho phép và những tài nguyên nào nằm ngoài tài khoản được ủy quyền hoặc ranh giới truy cập. Tránh việc chuyển đổi một đề xuất về luật truy cập hẹp thành một lời hứa rộng rãi rằng tất cả việc thu thập dữ liệu đều hợp pháp.

Đối với kế hoạch vận hành, hãy ghi lại các điều kiện dừng liên quan đến sự không chắc chắn về quyền truy cập. Một yêu cầu xác thực mới, một phản đối rõ ràng, hoặc một nguồn lực bị hạn chế không mong đợi nên dẫn đến việc xem xét phạm vi. Hệ quả pháp lý cụ thể của một sự thay đổi như vậy phụ thuộc vào các sự kiện và quyền tài phán.

Trình duyệt hoặc dịch vụ proxy của nhà cung cấp không thể cấp phép cho chủ sở hữu điểm đến. Đặt quyền truy cập vào hồ sơ dự án trước khi quyết định cách mà cơ sở hạ tầng sẽ thực hiện nhiệm vụ đã được phê duyệt.

Điều khoản và Thỏa thuận của Website

Các điều khoản của trang web tạo ra một vấn đề riêng biệt với luật truy cập máy tính. Liệu các điều khoản cụ thể có tạo thành một thỏa thuận có thể thi hành hay không và chúng yêu cầu những gì phụ thuộc vào luật pháp liên quan và sự kiện của sự tương tác.

Đọc các điều khoản áp dụng cho phương pháp truy cập dự kiến. Một quy trình dựa trên tài khoản có thể liên quan đến các điều khoản được chấp nhận trong quá trình đăng ký. Một luồng doanh nghiệp có thể có một thỏa thuận đã đàm phán với các điều kiện về thu thập và tái sử dụng. Một trang công khai có thể trình bày các điều khoản theo một cách khác mà yêu cầu phân tích pháp lý riêng.

Ghi lại phiên bản điều khoản và thỏa thuận liên quan trong tệp dự án. Đừng giả định rằng một đánh giá trước đó áp dụng sau khi một trang web thay đổi điều kiện của nó hoặc nhóm của bạn thay đổi mục đích. Giao cho một người quản lý theo dõi những thay đổi quan trọng cho một bộ sưu tập đang diễn ra.

Nếu một dự án dựa vào sự cho phép rõ ràng, hãy làm cho phạm vi sử dụng được cho các kỹ sư. Các máy chủ được phép, loại trang, tần suất, lĩnh vực và người nhận đầu ra nên dễ hiểu mà không cần phải diễn giải một thỏa thuận dài trong mỗi lần chạy. Hãy yêu cầu chủ sở hữu pháp lý giải quyết sự mơ hồ trước khi thực hiện thu thập.

Giữ cho các quyền hợp đồng khác biệt với các sở thích thu thập kỹ thuật. Một quy tắc robot cho phép không thay thế một thỏa thuận giới hạn phân phối, và một thỏa thuận thu thập một nguồn cấp không nhất thiết cho phép các trang không liên quan.

Bản quyền và Quyền đối với Tài liệu đã thu thập

Quyền nội dung quy định những gì mà một dự án có thể sao chép và tái sử dụng, ngay cả khi việc truy cập được phép. The Khung bản quyền của Hoa Kỳ phân biệt biểu đạt nguyên gốc có thể bảo vệ với sự thật và ý tưởng.

Một trang có thể chứa cả hai loại tài liệu. Một thông tin đo lường hoặc thông tin sản phẩm được liệt kê đặt ra câu hỏi khác với việc sao chép một bài báo, bức ảnh, hoặc đoạn mô tả. Thiết kế dữ liệu nên xác định tài liệu thực sự được giữ lại, chứ không chỉ đơn giản gán nhãn toàn bộ nguồn là “dữ liệu công cộng.”

Xem lại đầu ra đã lên kế hoạch. Phân tích sự thật nội bộ, phân bổ văn bản đầy đủ và công bố hình ảnh có những tác động khác nhau. Giấy phép, các ngoại lệ áp dụng và các quyền khác có thể yêu cầu đánh giá riêng biệt. Đừng giả định rằng việc ghi nguồn một mình thay thế sự cho phép.

Các khu vực pháp lý khác có thể công nhận quyền cơ sở dữ liệu hoặc quyền liên quan bổ sung. Nếu dự án tập hợp tài liệu đáng kể ở nhiều khu vực, hãy hỏi luật sư về các chế độ áp dụng. Bài viết này không cấp một ngoại lệ phổ quát cho nghiên cứu, sử dụng cá nhân hoặc thu thập tự động.

Kỹ sư có thể làm cho cuộc xem xét trở nên cụ thể bằng cách hạn chế các trường giữ lại cho mục đích được phê duyệt và ghi lại bất kỳ việc lưu trữ nội dung đầy đủ nào. Giữ nguyên tài liệu nguồn và quan sát thu được có thể phân biệt để người dùng sau này biết điều kiện tái sử dụng nào áp dụng cho từng cái.

Dữ liệu Cá nhân Riêng tư và Có thể Truy cập Công khai

Thông tin có thể truy cập công khai về mọi người vẫn có thể cần đánh giá bảo vệ dữ liệu. Một tên, hồ sơ hoặc chi tiết liên hệ công khai không trở thành không giới hạn chỉ vì nó xuất hiện trên một trang web.

Hướng dẫn của Vương quốc Anh về cơ sở hợp pháp cho dữ liệu đào tạo AI thu thập giải thích tại sao sự sẵn có công khai không loại bỏ cần có cơ sở hợp pháp và các sự bảo vệ khác. Ngữ cảnh của nó là AI tạo sinh; hãy áp dụng bất kỳ kết luận nào cho mục đích xử lý của bạn chỉ sau khi xem xét các yêu cầu liên quan.

Bắt đầu với một danh sách các trường. Xác định các danh tính trực tiếp và các tổ hợp có thể xác định một người. Hãy hỏi liệu mục đích có thể đạt được với ít trường hơn, giá trị tổng hợp, hoặc một nguồn không liên quan đến thông tin cá nhân hay không.

Lập kế hoạch ai có thể truy cập tài liệu đã thu thập, thời gian lưu giữ nó, và cách xử lý các yêu cầu liên quan đến cá nhân. Đây là những câu hỏi thiết kế hữu ích ngay cả trước khi luật sư xác định các nghĩa vụ chính xác. Giới hạn lưu giữ chỉ có hiệu lực nếu nó cũng bao gồm xuất khẩu và bản sao sau.

Mô hình đào tạo, làm phong phú và phát triển đều có thể đưa ra các câu hỏi bổ sung. Một đánh giá pháp lý cho việc thu thập nên nêu rõ các sử dụng sau này mà nó bao gồm thay vì để mọi hệ thống sau kế thừa dữ liệu một cách lặng lẽ.

Quy tắc Robots, Các Hạn chế Kỹ Thuật, và Tải Trọng Trang

Quy tắc robots truyền đạt sở thích của trình thu thập dữ liệu, trong khi xác thực và kiểm soát máy chủ điều chỉnh truy cập kỹ thuật theo những cách khác. Quy tắc Loại trừ Robots không cung cấp quyền truy cập một cách rõ ràng.

Tôn trọng các sở thích thu thập dữ liệu áp dụng và ghi lại cách dự án của bạn đọc chúng. Một con đường được cho phép là một đầu vào cho cuộc xem xét; nó không phải là từ bỏ quyền riêng tư, hợp đồng, hoặc quyền nội dung. Một con đường không được cho phép nên được xử lý theo sự cho phép và quyết định chính sách của dự án.

Các hạn chế kỹ thuật cũng cần được điều tra. Một thách thức hoặc một phản hồi bị từ chối có thể chỉ ra rằng tương tác được yêu cầu cần thêm xem xét. Hãy xem các điều kiện truy cập không mong đợi như là lý do để tạm dừng phạm vi bị ảnh hưởng thay vì tự động tăng lưu lượng truy cập hoặc thay đổi danh tính.

Quản lý tải trọng tổng hợp trên toàn bộ công việc. Đồng ý về khối lượng phù hợp khi có thể và giữ một cách để dừng việc thu thập nhanh chóng. Một đội tàu sử dụng các địa chỉ thoát khác nhau vẫn tạo ra công việc kết hợp trên điểm đến. Đa dạng mạng không tạo ra ranh giới quyền cho phép khác biệt.

Giữ chứng cứ kỹ thuật với phạm vi pháp lý. Nó giúp một chủ sở hữu xác định liệu việc thực hiện thực tế vẫn thực hiện nhiệm vụ đã được đánh giá không.

Một Đánh Giá Dự Án Thực Tế và Hồ Sơ Tăng Cường

Một cuộc xem xét dự án nên tạo ra một quyết định liên quan đến một phạm vi xác định, với các câu hỏi chưa giải quyết và các kích hoạt tăng cường được ghi lại. Dưới đây là danh sách kiểm tra lập kế hoạch, không phải là chứng nhận pháp lý.

• Nguồn và quyền truy cập. Liệt kê các tài nguyên được phê duyệt và bất kỳ tài khoản hoặc thỏa thuận nào liên quan.
• Ý nghĩa đầu ra. Xác định sự thật, nội dung biểu cảm và thông tin cá nhân được giữ lại.
• Sử dụng và người nhận. Mô tả phân tích, công bố, bán, đào tạo hoặc xử lý dự kiến khác.
• Các hạn chế hoạt động. Xác định tải trọng trang, kiểm soát dừng lại, quyền truy cập lưu trữ và lưu giữ.
• Quyền sở hữu quyết định. Ghi lại người đánh giá, giới hạn phạm vi, và các thay đổi cần có một cuộc xem xét mới.

Một nhóm minh họa thu thập các sự kiện danh mục công khai có thể chỉ phê duyệt các trường sản phẩm được chọn để phân tích nội bộ. Nếu nhóm sau đó muốn văn bản đánh giá của khách hàng hoặc một nguồn cung cấp bán hàng thương mại, phê duyệt ban đầu nên được xem xét lại. Công nghệ có thể không thay đổi trong khi câu hỏi pháp lý lại khác.

Trình duyệt Đại diện Scrapeless là lớp thực thi cho các nhiệm vụ dựa trên trình duyệt, và tài liệu dịch vụ trình duyệt giải thích vai trò kỹ thuật. Cả trang sản phẩm và giá Scrapeless đều không thiết lập quyền thu thập dữ liệu của một điểm đến.

Tổng quan về thu thập dữ liệu web liên kết quá trình thu thập với các trường hợp sử dụng phổ biến. Sử dụng nó để có bối cảnh kỹ thuật trong khi giữ đánh giá pháp lý của dự án gắn liền với nguồn và mục đích thực tế của nó.

Kết luận

Tính hợp pháp của thu thập dữ liệu web phụ thuộc vào dự án cụ thể. Đánh giá quyền truy cập, thỏa thuận, quyền nội dung, quyền riêng tư và sử dụng dự kiến như các câu hỏi khác nhau, sau đó chuyển quyết định thành một phạm vi mà các kỹ sư có thể thực hiện.

Giữ cho phạm vi đó hiện tại khi nguồn hoặc cách sử dụng thay đổi. Một hồ sơ dự án rõ ràng giúp các đội nhóm giải quyết sự không chắc chắn sớm và ngăn chặn việc yêu cầu thành công bị nhầm lẫn với ủy quyền. Đối với một dự án thương mại hoặc nhạy cảm, hãy xin lời khuyên từ luật sư có trình độ ở những khu vực pháp lý quan trọng đối với hoạt động.

Tham khảo

• Vai trò kỹ thuật của Trình duyệt Agent
• Scrapeless Agent Browser
• Quy trình thu thập dữ liệu trên web và các trường hợp sử dụng