ETL vs ELT

Trình duyệt Scraping không rác có thể cung cấp dữ liệu web công khai đã được render cho cả kiến trúc ETL hoặc ELT tại ranh giới thu thập.

ETL và ELT là hai thứ tự để tích hợp dữ liệu. ETL trích xuất dữ liệu nguồn, biến đổi nó trong một lớp xử lý và tải kết quả đã được chọn lọc. ELT trích xuất dữ liệu nguồn, tải nó vào một đích có khả năng và biến đổi nó ở đó. Các chữ cái khác nhau chỉ bởi một vị trí, nhưng vị trí đó thay đổi nơi dữ liệu thô cư trú, nơi tính toán diễn ra và khi các quy tắc quản trị có hiệu lực.

So sánh ETL và ELT của AWS tập trung vào sự khác biệt về thứ tự biến đổi. Một đánh giá kiến trúc hữu ích nên đi xa hơn: xác định ranh giới tin cậy, bản sao dữ liệu, mô hình chi phí, đường đi phát lại, quyền sở hữu ngữ nghĩa, và bằng chứng hoạt động cho mỗi lựa chọn.

ETL và ELT Bên Cạnh Nhau

Cách ETL Hoạt Động

ETL đặt một ranh giới biến đổi giữa các nguồn và đích chính. Lớp xử lý xác thực các trường, áp dụng ánh xạ, loại bỏ hoặc che giấu dữ liệu không được phép, tính toán các giá trị suy diễn và viết các bản ghi phù hợp với hợp đồng đích. Sắp xếp này hữu ích khi đích chỉ nên chấp nhận dữ liệu đã được chọn lọc hoặc khi logic biến đổi phụ thuộc vào một động cơ chuyên biệt.

Rủi ro chính là mất khả năng phát lại. Nếu các trích dẫn thô bị loại bỏ, một quy tắc kinh doanh đã thay đổi có thể yêu cầu việc thu thập lại dữ liệu từ mọi nguồn. Do đó, ETL hưởng lợi từ việc giữ lại thô một cách có kiểm soát bên ngoài đích, mã biến đổi phiên bản và đối chiếu giữa các bản ghi đã trích xuất, bị từ chối và đã tải.

Cách ELT Hoạt Động

ELT hạ cánh dữ liệu nguồn vào đích trước khi biến đổi phân tích đầy đủ. Một kho hoặc lakehouse có thể lưu trữ các bảng thô và thực hiện SQL hoặc các khối lượng công việc biến đổi khác gần với dữ liệu. Các mô hình đã được chọn lọc sau đó được xây dựng từ lớp đã hạ cánh, thường với các bước phát triển, thử nghiệm và công bố riêng.

Tổng quan về ELT của Google Cloud giải thích rằng đích thực hiện việc biến đổi sau khi tải. Thiết kế đó có thể cải thiện việc lặp lại và phát lại vì dữ liệu thô vẫn có sẵn, nhưng nó cũng trao quyền trách nhiệm cho đích về việc lưu trữ, cô lập công việc, kiểm soát truy cập và quản trị dữ liệu thô.

Quản trị và Bảo mật

ETL có thể giảm các trường vào đích chính. Các giá trị nhạy cảm hoặc không cần thiết có thể bị loại bỏ, mã hóa, tổng hợp hoặc che giấu trong một ranh giới xử lý có kiểm soát. Điều này có thể đơn giản hóa sự phơi bày của đích, mặc dù khu vực staging ETL vẫn cần các quy tắc bảo vệ và giữ lại.

ELT đặt dữ liệu thô vào bên trong biên giới đích, vì vậy thiết kế vai trò và phân tách vùng trở nên quan trọng. Các lược đồ thô không nên dễ dàng truy cập chỉ vì các mô hình được chọn lọc.

Hiệu suất và Chi phí

ETL có thể giảm lưu trữ và tính toán đích bằng cách chỉ tải kết quả đã chọn lọc. Nó cũng có thể thêm cơ sở hạ tầng chuyển nhượng và xử lý bên ngoài mục tiêu. ELT có thể tận dụng tính toán đích có thể mở rộng và tránh di chuyển dữ liệu đến động cơ khác, nhưng các truy vấn biến đổi lặp lại, lưu giữ thô, và khối lượng công việc phát triển không kiểm soát có thể làm tăng chi phí nền tảng.

So sánh kiến trúc sử dụng một đơn vị kinh doanh: khách hàng được làm mới, sự kiện được xử lý, sản phẩm được chọn lọc, hoặc phân vùng đã xuất bản. Bao gồm tiếp nhận, tính toán biến đổi, lưu trữ, chuyển dữ liệu, quản lý, giám sát, và thời gian của người vận hành. Một mức giá thấp hơn cho mỗi truy vấn không chứng minh được chi phí đường ống tổng thể thấp hơn.

Độ trễ và Tính sẵn có

ELT có thể làm cho dữ liệu thô có sẵn nhanh chóng sau khi hạ cánh, điều này giúp công việc khám phá và các mô hình hạ nguồn chịu được dạng nguồn. Dữ liệu đã chọn lọc vẫn phải chờ đợi các biến đổi và thử nghiệm. ETL trì hoãn tải đích cho đến khi quá trình biến đổi hoàn tất, nhưng nó có thể xuất bản một tập hợp dữ liệu đã được xác thực và gọn gàng trong một bước nguyên tử.

Cả hai mẫu đều hỗ trợ thiết kế theo lô, vi theo lô và phát trực tuyến. Thứ tự biến đổi không tự động xác định độ trễ. Phát hiện thay đổi nguồn, khối lượng dữ liệu, điểm kiểm tra, phụ thuộc mô hình, kiểm soát xuất bản, và mục tiêu mới của người tiêu dùng thường quan trọng hơn từ viết tắt.

Công cụ và Ranh giới Nhóm

ETL thường tách các kỹ sư tích hợp dữ liệu và nền tảng thực thi của họ khỏi người dùng kho. ELT có thể đặt nhiều công việc biến đổi hơn trong SQL và gần hơn với kỹ thuật phân tích. Cả hai cách không loại bỏ nhu cầu xem xét miền, kiểm soát phiên bản, thử nghiệm, dòng dõi, và quyền sở hữu.

Hướng dẫn kiến trúc dữ liệu của Microsoft cho thấy cách các mối quan tâm về nguồn, biến đổi, và đích tương tác. Thiết kế tổ chức tốt nhất làm cho trách nhiệm rõ ràng: ai sở hữu việc tiếp nhận nguồn, ai phê duyệt ngữ nghĩa, ai vận hành khối lượng công việc đích, và ai trả lời khi một số liệu đã xuất bản thay đổi.

Khi ETL Là Sự Lựa Chọn Tốt Hơn

• Mục tiêu chỉ nên nhận dữ liệu đã được chọn lọc. Chính sách hoặc kiến trúc giới hạn lưu trữ nguồn thô trong đích.
• Biến đổi cần tính toán chuyên biệt. Một động cơ bên ngoài đã thực hiện việc phân tích phức tạp, xử lý phương tiện, hoặc chuẩn hóa cụ thể nguồn.
• Tài nguyên đích bị hạn chế. Tiền tích lũy giảm lưu trữ và khối lượng công việc đích.
• Xuất bản yêu cầu một cổng nghiêm ngặt. Tập hợp dữ liệu đã được chuyển đổi hoàn chỉnh phải vượt qua xác thực trước khi bất kỳ người tiêu dùng nào có thể nhìn thấy nó.

Khi ELT Là Sự Lựa Chọn Tốt Hơn

• Đích có khả năng tính toán biến đổi có thể mở rộng. Dữ liệu có thể được mô hình hóa gần với lưu trữ của nó với sự cô lập khối lượng công việc được kiểm soát.
• Các nhóm cần tái xử lý linh hoạt. Dữ liệu thô được giữ có thể hỗ trợ các quy tắc mới mà không cần phải lấy lại mỗi nguồn.
• Nhiều mô hình chia sẻ dữ liệu hạ cánh giống nhau. Các đầu ra được chọn lọc riêng biệt có thể phát triển từ một lớp được quản lý chung.
• Tốc độ khám phá điều đó quan trọng. Người dùng được ủy quyền có thể xem dữ liệu nguồn hạ cánh trước khi mỗi mô hình hạ nguồn hoàn tất.

Tại Sao Các Mẫu Hybrids Thường Thắng

Một đường ống hybrid áp dụng các kiểm soát tối thiểu cần thiết trước khi tải và thực hiện mô hình phân tích sau khi tải. Giai đoạn trước khi tải có thể xác thực các bao bì, loại bỏ các trường không được phép, chuẩn hóa các định danh, và đính kèm nguồn gốc. Đích sau đó xử lý các phép nối, tổng hợp, chiều và các mô hình cụ thể của người tiêu dùng.

Thiết kế hybrid không phải là sự do dự. Nó đặt mỗi biến đổi vào nơi yêu cầu bảo mật, hiệu suất, và quyền sở hữu được đáp ứng tốt nhất. Kiến trúc vẫn nên mô tả một biên giới thô có thẩm quyền duy nhất, một quy trình xuất bản cho dữ liệu đã chọn lọc, và một con đường dòng dõi chạy xuyên qua cả hai giai đoạn.

ETL so với ELT cho Dữ liệu Web

Dữ liệu web thường cần phân tích cụ thể cho việc trích xuất trước bất kỳ kiến trúc nào. Một trình duyệt bắt giữ trạng thái đã được trình bày; một trình phân tích xác định các thực thể; chuẩn hóa giải quyết các URL, đơn vị, và định danh; xác thực phân biệt các trường thiếu so với truy cập hoặc lỗi mẫu. Việc xử lý tối thiểu đó tạo ra một bao bì hồ sơ đáng tin cậy.

Từ đó, ETL có thể hoàn toàn chọn lọc các bản ghi trước khi tải vào kho. ELT có thể hạ cánh các bản ghi thô đã được xác thực và xây dựng các mô hình kinh doanh trong đích. Trong cả hai trường hợp, bảo tồn URL nguồn, bắt giữ biểu diễn, địa phương, thời gian tiếp nhận, phiên bản trình phân tích, và chứng cứ thô dưới một chính sách lưu trữ thích hợp.

Trình duyệt Thu Thập Không Có Rác có thể cung cấp lớp tiếp nhận đã được trình bày mà không quyết định mẫu tích hợp hạ nguồn. So sánh khối lượng chạy dự kiến với Giá cả Không Có Rác, sau đó đưa chi phí đó vào kinh tế đơn vị ETL hoặc ELT.

Khung Quyết Định

1. Liệt kê các trường nào có thể vào đích và trường nào phải bị loại bỏ hoặc che giấu trước.
2. Xác định nơi dữ liệu thô có thể được giữ lại và ai có thể truy cập nó.
3. So sánh khả năng và chi phí biến đổi trong tính toán bên ngoài và đích.
4. Định nghĩa độ trễ cho tính sẵn có thô và xuất bản đã chọn lọc một cách riêng biệt.
5. Kiểm tra phát lại, xóa, trôi lề lược đồ, đầu vào một phần, và đầu vào trùng lặp.
6. Lập bản đồ dòng giống và quyền sở hữu từ nguồn thu thập qua từng mô hình đã xuất bản.
7. Chọn ETL, ELT hoặc kết hợp dựa trên những ràng buộc đó, sau đó xem xét lại khi kinh tế khối lượng công việc thay đổi.

Kết luận

ETL chuyển đổi dữ liệu trước khi tải nó vào đích chính; ELT tải dữ liệu trước khi thực hiện chuyển đổi toàn bộ tại điểm đến đó. Mô hình tốt hơn là mô hình đáp ứng ranh giới tin cậy của tổ chức, nhu cầu phát lại, mục tiêu độ trễ, kinh tế tính toán và mô hình sở hữu. Nhiều hệ thống sản xuất kết hợp cả hai: họ thực thi các kiểm soát cần thiết trước khi tải và xây dựng các mô hình người tiêu dùng sau đó.