Dữ liệu thay thế là gì?

Trình duyệt Agent không có lỗi cung cấp các phiên duyệt quản lý để thu thập bằng chứng công khai trên web đã được phê duyệt có thể tạo thành một phần của quá trình nghiên cứu dữ liệu thay thế.

Tóm lại

Dữ liệu thay thế biến những quan sát thành một đầu vào quyết định được xác định. Kỷ lục cần có danh tính, bối cảnh, thời gian, nguồn gốc và một chủ sở hữu.
Việc thu thập và diễn giải là những giai đoạn riêng biệt. Một sự thật nguồn nên giữ được tính phân biệt với một điểm số, danh mục hoặc khuyến nghị.
Giới hạn phạm vi cần có bên cạnh mọi kết quả. Các trang hoặc thực thể được quan sát hiếm khi đại diện cho một thị trường hoàn chỉnh theo mặc định.
Lịch sử khiến cho sự thay đổi trở nên có thể giải thích. Bằng chứng có thời hạn cho phép các nhà phân tích phân tách sự thay đổi nguồn từ sự thay đổi ống dẫn.
Việc sử dụng có trách nhiệm là một phần của chất lượng. Một lĩnh vực kỹ thuật chính xác vẫn có thể không phù hợp cho mục đích dự kiến.

Dữ liệu thay thế phụ thuộc vào nền tảng nghiên cứu

Dữ liệu thay thế là thông tin được sử dụng cho nghiên cứu hoặc ra quyết định nằm ngoài các nguồn thông thường thường được sử dụng trong lĩnh vực đó. Trong nghiên cứu đầu tư, nền tảng thường bao gồm hồ sơ công ty, báo cáo tài chính, dữ liệu thị trường và thông tin truyền thông của nhà phân tích; hoạt động trên web, quan sát vệ tinh, giao dịch, hoặc các chỉ số hành vi khác có thể được coi là thay thế.

Nhãn mô tả một loại nguồn, không phải giá trị dự đoán. Một tập dữ liệu mới có thể ồn ào, thiên kiến, bị trì hoãn, bị hạn chế, hoặc dư thừa thông tin công khai. Ranh giới hữu ích là quyết định mà thông tin hỗ trợ. Một lĩnh vực được thu thập không có giá trị chỉ vì nó tồn tại; lĩnh vực đó trở nên hữu ích khi ý nghĩa, bối cảnh quan sát và người tiêu dùng được định rõ.

Đối với dữ liệu thay thế, đơn vị công việc là một quan sát từ một nguồn phi truyền thống liên kết với một giả thuyết phân tích. Kết quả mong muốn là một tín hiệu đã được kiểm tra với nguồn gốc và giới hạn được tài liệu. Sự phân biệt đó giữ cho việc thu thập tách biệt khỏi diễn giải: một trang chụp là bằng chứng, một hồ sơ được trích xuất là một đại diện, và một kết luận phân tích là một hiện vật quyết định nên giữ được khả năng truy vết đến cả hai.

Từ tập dữ liệu thô đến tín hiệu đã được kiểm tra

Một quy trình dữ liệu thay thế bắt đầu với một câu hỏi quyết định và di chuyển qua các nguồn đã được phê duyệt, danh tính, chuẩn hóa, diễn giải và giao hàng.

Xác định quyết định, phạm vi, dân số, thời gian và bằng chứng có thể quan sát cần thiết. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận của nó để các lỗi có thể được tách biệt mà không cần coi toàn bộ quy trình là một công việc mờ đục.
Tạo một kế hoạch nguồn đã được phê duyệt và ghi lại cơ sở thu thập cho mỗi gia đình nguồn. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận của nó để các lỗi có thể được tách biệt mà không cần coi toàn bộ quy trình là một công việc mờ đục.
Thu thập quan sát với danh tính, địa phương, trạng thái trang và bối cảnh thời gian. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận của nó để các lỗi có thể được tách biệt mà không cần coi toàn bộ quy trình là một công việc mờ đục.
Chuẩn hóa các lĩnh vực và giải quyết thực thể trong khi bảo tồn các giá trị và nguồn gốc ban đầu. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận của nó để các lỗi có thể được tách biệt mà không cần coi toàn bộ quy trình là một công việc mờ đục.
Áp dụng một quy tắc phân tích đã được phiên bản, phân loại hoặc mô hình và ghi lại sự không chắc chắn. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận của nó để các lỗi có thể được tách biệt mà không cần coi toàn bộ quy trình là một công việc mờ đục.
Phát hành kết quả cho một chủ sở hữu được đặt tên và giám sát cả nguồn gốc và kết quả quyết định. Giai đoạn nên ghi lại đầu vào, đầu ra, chủ sở hữu và quy tắc chấp nhận của nó để các lỗi có thể được tách biệt mà không cần coi toàn bộ quy trình là một công việc mờ đục.

Trình tự rất quan trọng vì các tập dữ liệu công khai phi truyền thống, có giấy phép, cảm biến, giao dịch hoặc từ web có thể thay đổi trước khi nhóm nghiên cứu, rủi ro hoặc đầu tư thay đổi quy trình quyết định của nó. Giữ cho việc thu thập, chuẩn hóa, diễn giải và giao hàng tách biệt cho phép một lớp tiến hóa mà không làm thay đổi lặng lẽ mọi chỉ số hạ nguồn. Nó cũng hỗ trợ việc xử lý lại lịch sử khi một phân loại, mô hình, quy tắc khớp hoặc định nghĩa kinh doanh được cải thiện.

Quy trình nên bảo tồn con đường từ các tập dữ liệu công khai phi truyền thống, có giấy phép, cảm biến, giao dịch hoặc từ web đến một tín hiệu đã được kiểm tra với nguồn gốc và giới hạn được tài liệu. Việc xử lý lại trở nên có thể khi một định nghĩa, phân tích, mô hình hoặc nguồn thay đổi. Do đó, một triển khai thực tế giữ bằng chứng thô, hồ sơ đã được chuẩn hóa và các đánh giá được suy ra trong các kho lưu trữ riêng biệt hoặc bảng được phiên bản rõ ràng.

Các gia đình dữ liệu thay thế phổ biến

Lớp	Mục đích	Bằng chứng được giữ lại
Thu thập	Thiết lập quyền và phương pháp	Hợp đồng, nguồn, thời gian thu thập
Lịch sử	Xây dựng lại các quan điểm theo thời gian	Sửa đổi và khả năng tiếp cận
Danh tính	Kết nối các thực thể và thời kỳ	Bản đồ và niềm tin
Nghiên cứu	Kiểm tra giá trị gia tăng	Giả thuyết và nền tảng
Sản xuất	Giám sát sử dụng và biến động	Phạm vi, mô hình, quản lý

Mỗi lớp có một hồ sơ lỗi và chủ sở hữu khác nhau. Kết hợp chúng thành một điểm số hoặc bảng điều khiển gỡ bỏ bằng chứng cần thiết để sửa một kết luận sai lầm.

Các tùy chọn trong bảng không phải là các cấp độ trưởng thành. Một đánh giá thủ công có thể là kiểm soát đúng cho một mẫu nhỏ, có hậu quả, trong khi tự động hóa là phù hợp cho các quyết định có thể lặp lại với việc xử lý lỗi có thể đo lường. Lựa chọn nên theo dõi chi phí của một kết quả sai, tốc độ thay đổi nguồn, và chứng cứ mà một người xem cần.

Các câu hỏi mà Dữ liệu Thay thế có thể Khám phá

Nghiên cứu nhu cầu

Kiểm tra xem các quan sát hành vi đã được chấp thuận có bổ sung thông tin về nhu cầu sản phẩm hoặc khu vực hay không.

Giám sát hoạt động

Quan sát các hoạt động công khai có thể chỉ ra năng lực, danh mục, tuyển dụng hoặc mở rộng.

Giám sát rủi ro

Theo dõi những thay đổi bên ngoài có thể ảnh hưởng đến nhà cung cấp, lĩnh vực hoặc sự tiếp xúc theo địa lý.

Dự đoán kinh tế hiện tại

Kết hợp những quan sát kịp thời với thống kê chính thức trong khi vẫn bảo tồn sự khác biệt giữa dữ liệu ước tính và dữ liệu đã công bố.

Các trường hợp sử dụng mạnh mẽ nhất cung cấp cho nhóm nghiên cứu, rủi ro hoặc đầu tư một quyết định rõ ràng hơn mà không yêu cầu phạm vi bao phủ nhiều hơn những gì bằng chứng hỗ trợ. Mỗi trường hợp sử dụng vẫn cần một chủ sở hữu được đặt tên và một quy tắc phát hành. Một quy trình làm việc với dữ liệu thay thế không nên gửi dữ liệu đến bảng điều khiển, mô hình, nhân viên bán hàng hoặc hành động tự động cho đến khi người nhận biết rõ về kích thước bản ghi, khoảng thời gian tươi mới, chính sách giá trị thiếu và mục đích được phép.

Kiểm tra theo thời điểm và Thiên lệch phạm vi

Chất lượng cho dữ liệu thay thế có nghĩa là kết quả được công bố phù hợp với quyết định đã được tuyên bố và có thể tái tạo từ chứng cứ.

Thực thi các chế độ xem theo thời gian. Ngăn chặn dữ liệu đã chỉnh sửa hoặc trễ rò rỉ vào các quyết định trong quá khứ.
Đo lường độ trôi của phạm vi. Theo dõi các thực thể, khu vực, thiết bị hoặc trang nào vào và rời khỏi mẫu.
Xin vui lòng cung cấp văn bản cần dịch sang tiếng Việt. Giữ lại con đường biến đổi từ quan sát đến tính năng.
Giá trị tăng dần kiểm tra. So sánh tín hiệu với dữ liệu truyền thống và các cơ sở đơn giản hơn.
Thách thức cơ chế. Tìm kiếm giải thích về nền tảng, chính sách, tính mùa vụ và khả năng sống sót.

Đánh giá chất lượng nên lấy mẫu từ toàn bộ con đường từ dữ liệu công cộng không truyền thống, có giấy phép, cảm biến, giao dịch, hoặc dữ liệu từ web đến một tín hiệu đã được kiểm nghiệm với nguồn gốc và hạn chế được tài liệu hóa. Độ chính xác ở cấp độ thực địa một mình có thể che giấu một trang sai, một quan sát lỗi thời, một thực entitas không khớp, hoặc một quy tắc quyết định được áp dụng ngoài phân đoạn mà nó dự định. Lưu trữ phiên bản của mọi bộ phân tích, phân loại, mô hình, ngưỡng, và ánh xạ cần thiết để tái tạo bản ghi đã phát hành.

Các chỉ số tốt kết nối hành vi kỹ thuật với chi phí quyết định. Mức độ bao phủ cho thấy những gì quy trình làm việc có thể quan sát được; độ chính xác cho thấy liệu các trường đã phát hành có đồng ý với các chứng cứ đã được gán nhãn hay không; độ mới cho thấy liệu quan sát có đủ kịp thời hay không; và độ ổn định cho thấy liệu một phép đo có thay đổi do thị trường thay đổi hay do quy trình thu thập thay đổi.

Giấy phép, Quyền riêng tư và Thông tin Vật liệu

Một chương trình dữ liệu thay thế cần xem xét nguồn gốc, quyền riêng tư, thời gian lưu giữ và mục đích trước khi việc thu thập trở thành định kỳ.

Để thu thập tự động, các Các quy tắc của SEC về việc công bố thông tin có chọn lọc và giao dịch nội gián định nghĩa cách mà các chủ sở hữu dịch vụ công bố sở thích của trình thu thập dữ liệu. Những sở thích này không thay thế sự ủy quyền, xem xét hợp đồng, hoặc giới hạn mục đích, nhưng chúng thuộc về chính sách tiếp nhận và nên được đánh giá trước khi một lịch trình được kích hoạt.

The Khung Bảo mật NIST cung cấp một ranh giới thứ hai cho chủ đề này. Nó giúp các nhóm phân biệt dữ liệu mà về mặt kỹ thuật có thể quan sát được từ dữ liệu phù hợp để giữ lại, kết hợp, chấm điểm hoặc sử dụng cho một hành động. Quy tắc kiểm soát truy cập, giữ lại và xóa nên tuân theo trường nhạy cảm nhất trong một bản ghi hơn là trường kém nhạy cảm nhất.

các cơ quan chính cung cấp các định nghĩa và kiểm soát có thể được kiểm tra trực tiếp; họ không loại bỏ nhu cầu về đánh giá pháp lý và phương pháp cụ thể của tổ chức. The Tìm kiếm hồ sơ công ty công khai SEC đưa ra một tài liệu tham khảo cụ thể cho việc đại diện theo miền, rủi ro, hoặc thực hành dữ liệu công khai có liên quan ở đây.

Sử dụng Dữ liệu Web Công cộng làm Bằng chứng Nghiên cứu

Các trang web công cộng đã được phê duyệt có thể cung cấp bằng chứng kịp thời cho dữ liệu thay thế khi phạm vi và bối cảnh vẫn được hiển thị.

Scrapeless Agent Browser có thể cung cấp phiên trình duyệt được quản lý cho các trang công khai đã được phê duyệt, bao gồm cả các trang mà nội dung hữu ích xuất hiện sau khi kết xuất ở phía khách. Ứng dụng vẫn chịu trách nhiệm về việc phê duyệt mục tiêu, lựa chọn trường, các bước điều hướng, quy tắc trích xuất, giới hạn khối lượng công việc, sự giữ lại, và mọi cách giải thích được áp dụng sau khi thu thập.

Một hồ sơ thu nhận bền vững bao gồm URL được yêu cầu, URL cuối cùng, thời gian quan sát, thị trường hoặc địa phương khi phù hợp, các kiểm tra xác định trang, và chứng cứ thô cần thiết để giải thích một tín hiệu đã được thử nghiệm với nguồn gốc và hạn chế được tài liệu. Giữ những thông tin đó bên cạnh hồ sơ đã rút ra làm cho việc điều chỉnh sau này có thể xảy ra khi cấu trúc hoặc ý nghĩa của trang thay đổi.

Xem các quan sát web như một mẫu giới hạn. Giữ lại URL được yêu cầu và URL cuối cùng, danh tính thực thể, địa phương, thời gian quan sát, và xác minh trang bên cạnh mọi tín hiệu đã được phát sinh và thử nghiệm với nguồn gốc tài liệu và giới hạn.

Tại sao các tập dữ liệu mới lại thất bại trong việc thẩm định

Dữ liệu thay thế trở nên không đáng tin cậy khi một đầu ra bóng bẩy che giấu danh tính yếu, bối cảnh hoặc độ bao phủ.

Chỉ kiểm tra một lịch sử đã được làm sạch. Chiến sửa đổi và dữ liệu quá khứ không có sẵn tạo ra độ thiên lệch nhìn trước.
Bỏ qua thay đổi phạm vi. Mở rộng nguồn xuất hiện như sự tăng trưởng kinh tế.
Mua một tính năng không giải thích. Đội không thể kết nối tín hiệu với một cơ chế.
Khớp thực thể yếu. Sự kiện được phân bổ cho công ty hoặc khu vực sai.
Thẩm định một lần. Giấy phép, thu thập, và hành vi nền tảng thay đổi sau khi mua.

Khi kết quả sai lệch, so sánh trạng thái mong đợi và quan sát từng ranh giới một: danh tính nguồn, độ hoàn chỉnh của dữ liệu, khớp thực thể, giá trị chuẩn hóa, quy tắc phân tích, thời gian giao hàng, và hành động của người tiêu dùng. Thứ tự đó ngăn chặn sự khác biệt bảng điều khiển bị chẩn đoán nhầm là thất bại trong thu thập và giữ công việc sửa chữa gắn liền với bằng chứng.

Danh sách kiểm tra đánh giá dữ liệu thay thế

Sử dụng các câu hỏi sau trước khi một thử nghiệm trở thành quy trình sản xuất lặp lại.

Quyết định nào sẽ được bộ dữ liệu này hỗ trợ, và ai sở hữu quyết định đó?
Một bản ghi đại diện cho điều gì, và các định danh nào giữ cho nguồn gốc đó ổn định?
Các nguồn và trạng thái trang nào được phê duyệt cho việc thu thập?
Các trường nào là bắt buộc, tùy chọn, được suy ra hoặc bị cấm?
Làm thế nào để ghi lại địa phương, tiền tệ, thời gian, và bối cảnh quan sát?
Bằng chứng có nhãn nào xác định độ chính xác và phạm vi chấp nhận được?
Các yêu cầu về sửa đổi, lưu giữ, xóa, và yêu cầu truy cập được xử lý như thế nào?
Thay đổi nào trong hợp đồng nguồn hoặc người tiêu dùng kích hoạt một cuộc xem xét mới?

Một thiết kế đã sẵn sàng cho một thử nghiệm giới hạn khi mỗi câu trả lời có một chủ sở hữu, kết quả quan sát được chấp nhận từ một nguồn không truyền thống liên kết với một giả thuyết phân tích có thể kiểm tra, và người tiêu dùng có thể giải thích hành động nào theo sau mỗi kết quả. Xem lại danh sách kiểm tra mỗi khi hành vi nguồn, độ bao phủ thị trường, cơ sở pháp lý, phân loại, mô hình, hoặc quyền quyết định thay đổi.

Kết luận: Dữ liệu thay thế phải sống sót qua thẩm định

Dữ liệu thay thế là bằng chứng không truyền thống liên quan đến các đầu vào nghiên cứu bình thường của một lĩnh vực. Giá trị của nó phụ thuộc vào một cơ chế đáng tin cậy, lịch sử theo thời gian, độ bao phủ ổn định, các chuyển đổi có thể theo dõi, kiểm tra dần dần, và xem xét liên tục các quyền, quyền riêng tư, thành kiến, và rủi ro thông tin bí mật.

Bước thực tiễn tiếp theo là một thử nghiệm hẹp: chọn một quan sát đã được phê duyệt từ một nguồn không truyền thống liên kết với một giả thuyết phân tích, thu thập các bằng chứng tối thiểu, chuẩn hóa chúng theo một sơ đồ rõ ràng, xem xét kết quả với đội nghiên cứu, rủi ro, hoặc đầu tư, và mở rộng chỉ sau khi hồ sơ lỗi quan sát được khớp với dung sai của quyết định.

Sẵn sàng xây dựng một quy trình làm việc dữ liệu thay thế?

Bắt đầu với một câu hỏi giới hạn, một nguồn ghi rõ ràng, và một bộ xem xét mà phơi bày những lỗi thực tế.

Đăng ký hôm nay và nhận $5 tín dụng miễn phí — không cần thẻ tín dụng.

Nhận tín dụng $5 của bạn →

Câu hỏi thường gặp

Dữ liệu thay thế có giống như các khoản đầu tư thay thế không?

Không. Dữ liệu thay thế là một nguồn thông tin không truyền thống được sử dụng trong nghiên cứu. Các khoản đầu tư thay thế là các loại tài sản hoặc cấu trúc bên ngoài cổ phiếu, trái phiếu, hoặc tiền mặt công cộng thông thường.

Ví dụ của dữ liệu thay thế là gì?

Các ví dụ có thể bao gồm quan sát web công cộng, giao dịch tập hợp, hình ảnh vệ tinh, số liệu cảm biến, hoạt động ứng dụng, đăng tuyển công việc, danh sách sản phẩm, tín hiệu giao hàng, và văn bản.

Dữ liệu thay thế có hợp pháp để sử dụng không?

Tính hợp pháp và việc sử dụng được phép phụ thuộc vào phương pháp mua, hợp đồng, quyền riêng tư, quy tắc thông tin bí mật, quyền tài phán, và bối cảnh quyết định.

Dữ liệu thay thế được kiểm tra như thế nào?

Các nhà nghiên cứu tái tạo sẵn có theo thời gian, bảo tồn các bản sửa đổi, kết hợp các thực thể và thời gian, định nghĩa giả thuyết trước khi tinh chỉnh, và kiểm tra độ bao phủ và sự ổn định.

Dữ liệu web công cộng có thể là dữ liệu thay thế không?

Có. Các quan sát web công cộng có thể là dữ liệu thay thế khi chúng nằm ngoài các nguồn nghiên cứu truyền thống và được thu thập và sử dụng hợp pháp.