Chọn kiểu nền tảng dữ liệu
Bài này hữu ích khi bạn nghe các từ data warehouse (kho dữ liệu), data lake (hồ dữ liệu), data lakehouse (nền tảng kết hợp hồ và kho) và phải góp ý cho một lựa chọn.
Đọc xong bạn hiểu gì
- Phân biệt data warehouse, data lake và data lakehouse
- Gắn lựa chọn với việc cần làm, độ mới của dữ liệu và người vận hành
- Xét chi phí từ lúc chuẩn bị dữ liệu tới lúc người dùng nhận được kết quả
- Viết được phiếu lựa chọn có phương án thay thế và điều kiện xét lại
Khoảng 14 phút đọc.
Bối cảnh
Sao Mai là một chuỗi cửa hàng tạp hoá và đồ gia dụng. Chuỗi bắt đầu từ một cửa hàng và đang mở thêm cửa hàng mới. Mỗi cửa hàng bán hàng qua máy tính tiền; dữ liệu bán hàng được gửi về văn phòng để các phòng ban làm báo cáo. Tên chuỗi và mọi số liệu trong bài là giả lập.
Sao Mai đang xét nơi dùng chung để lập báo cáo. Phòng Kinh doanh cần xem tiền hàng bán ra theo cửa hàng và so các kỳ. Phòng Kế toán cần báo cáo theo cách tính riêng. Trong tình huống giả lập này, báo cáo định kỳ là nhu cầu trước mắt; phân tích ảnh sản phẩm chưa có yêu cầu cụ thể.
Trong buổi trao đổi, có người đề nghị data warehouse, người khác muốn data lake vì giữ được nhiều loại tệp. Một ý kiến nữa chọn data lakehouse để “sau này khỏi đổi”. Muốn xét các lựa chọn ấy, cần biết công việc phải phục vụ và ai sẽ vận hành.
Nhu cầu trước, tên nền tảng sau
Nền tảng dữ liệu là nơi lưu và xử lý dữ liệu để phục vụ phân tích. Trước khi so các kiểu nền tảng, hãy ghi nhu cầu từ nguồn tới kết quả người dùng cần:
| Điểm cần rõ | Ví dụ ở Sao Mai |
|---|---|
| Việc cần làm | So tiền hàng bán ra giữa các cửa hàng và các kỳ |
| Dữ liệu cần dùng | Dòng hàng, cửa hàng, lúc bán; báo cáo kế toán cần dữ liệu theo định nghĩa riêng |
| Giờ cần kết quả | Báo cáo ngày phục vụ cuộc họp lúc 08:00 |
| Độ mới cần có | Dữ liệu bán của ngày đã kết thúc |
| Người dùng và người vận hành | Người lập báo cáo, người xem và người xử lý khi dữ liệu chưa sẵn |
| Chi phí có thể dành | Tiền vận hành, công chuẩn bị, kiểm tra và hỗ trợ người dùng |
Độ mới nói dữ liệu đã cập nhật tới đâu, còn giờ có kết quả nói khi nào mở được báo cáo. Báo cáo mở lúc 08:00 nhưng thiếu batch (lô dữ liệu) của một cửa hàng vẫn chưa đáp ứng đủ nhu cầu. Bộ dữ liệu dùng ngày bán 14/09/2026, với giờ báo cáo mục tiêu 08:00 ngày 15/09/2026; đây là giờ cần đạt, không phải giờ báo cáo thực tế đã ra.
Nếu chỉ cần xem một kỳ đã chốt, tệp xuất sẵn có thể đủ. Khi nhiều người dùng lại báo cáo và thường xuyên kết hợp các nguồn, nơi phân tích dùng chung mới có lý do rõ hơn.
Các kiểu nền tảng khác nhau ở đâu
Data warehouse: tổ chức dữ liệu cho báo cáo dùng lại
Data warehouse tập hợp và tổ chức dữ liệu để phục vụ báo cáo, phân tích. Ở Sao Mai, các dòng bán hàng được kiểm và sắp xếp thành bảng để người lập báo cáo xem đều đặn theo cửa hàng, mặt hàng và kỳ.
Data warehouse phù hợp khi nhu cầu chính là báo cáo lặp lại, dữ liệu chủ yếu ở dạng bảng và nhóm biết mình cần tính gì. Nhóm phải đưa nguồn về cùng cách hiểu, giữ lịch sử cần dùng và duy trì bảng báo cáo. Kinh doanh và Kế toán vẫn có thể dùng metric (chỉ số) khác nhau theo mục đích riêng.
Đổi lại, nguồn hoặc yêu cầu mới có thể khiến nhóm phải sửa bảng và các bước xử lý. Với phân tích một lần, tệp đã kiểm có thể nhẹ hơn. Nếu chủ yếu khám phá nhiều loại tệp chưa rõ cách dùng, cần xét cách giữ và đọc nguồn thay vì đưa ngay vào bảng báo cáo.
Data lake: giữ nhiều loại dữ liệu để xử lý theo nhu cầu
Data lake lưu dữ liệu ở nhiều dạng, như bảng giao dịch và ảnh sản phẩm, để các nhóm lấy ra xử lý. Có thể giữ bản gần với dạng nguồn, rồi tạo phần đã kiểm cho một mục đích cụ thể.
Data lake đáng xét khi có nhu cầu dùng nhiều loại dữ liệu hoặc giữ nguồn để thử các cách phân tích. Cần có người mô tả nội dung, nơi phát sinh và người liên hệ để tìm đúng nguồn và dùng lại được. Người xử lý còn phải đọc, kiểm và chuẩn bị dữ liệu trước khi có kết quả.
Nếu nhu cầu giữ tệp nhỏ và đơn giản, thư mục dùng chung có mô tả rõ có thể đủ. Nếu chủ yếu cần báo cáo định kỳ từ bảng đã biết, data warehouse là phương án khác đáng xét; chưa cần dựng data lake chỉ để giữ tệp xuất báo cáo.
Data lakehouse: quản lý bảng phân tích trên data lake
Data lakehouse tổ chức bảng phân tích trên nơi lưu trữ của data lake, cùng cách quản lý việc đọc và cập nhật bảng. Cách này vừa giữ dữ liệu đa dạng, vừa có bảng được quản lý cho báo cáo. Tệp nguồn và bảng báo cáo vẫn có vai trò riêng.
Data lakehouse đáng xét khi tổ chức cần cả khám phá nhiều loại dữ liệu lẫn báo cáo định kỳ, muốn dùng chung dữ liệu liên quan và có đội ngũ làm được cả hai việc. Nhóm vẫn phải kiểm nguồn, tổ chức bảng, thống nhất cách tính và vận hành xử lý.
Cách khác là giữ data lake cho khám phá, đưa dữ liệu đã chuẩn bị vào data warehouse cho báo cáo. Cách tách hợp khi các nhóm đã làm việc ổn ở nơi riêng, nhưng tốn thêm công chuyển và đối chiếu dữ liệu. Nếu chỉ cần báo cáo định kỳ hoặc khám phá trong phạm vi nhỏ, chưa cần kết hợp cả hai.
| Kiểu | Nhu cầu đáng xét | Công việc cần lo |
|---|---|---|
| Data warehouse | Báo cáo dùng lại từ bảng | Chuẩn bị, kiểm và duy trì bảng báo cáo |
| Data lake | Giữ nhiều dạng nguồn để khám phá, xử lý | Mô tả nguồn, tìm đúng tệp và tạo phần dùng được |
| Data lakehouse | Khám phá và báo cáo cùng dùng dữ liệu liên quan | Quản lý bảng trên data lake và vận hành cả hai cách dùng |
Các kiểu này không phải nấc nâng cấp: data warehouse vẫn phục vụ câu hỏi phân tích mới, còn data lake có thể cung cấp dữ liệu cho báo cáo sau khi xử lý. Chọn theo việc cần làm và khả năng thực hiện.
Chi phí cần tính tới lúc dùng được kết quả
Chỗ lưu rẻ vẫn có thể tốn nhiều công để ra báo cáo. Ngược lại, trả thêm tiền xử lý có thể giảm việc thủ công. Muốn so, cần đặt các phương án trước cùng phạm vi, giờ có kết quả và độ mới.
| Phần chi phí | Nội dung cần hỏi |
|---|---|
| Chuẩn bị ban đầu | Công đưa nguồn vào, mô tả, kiểm và chuyển báo cáo đang dùng |
| Vận hành thường xuyên | Lưu, xử lý, chuyển dữ liệu và hỗ trợ khi công việc gián đoạn |
| Đội ngũ | Người hiện có làm được gì, cần học gì và có thời gian vận hành không |
| Thay đổi về sau | Công thêm nguồn, sửa báo cáo và chuyển dữ liệu khi đổi phương án |
Ghi phần đã biết, phần cần hỏi và thử trên một báo cáo tiêu biểu trước khi quyết định. Báo giá và kết quả thử là căn cứ so chi phí; tên nền tảng không cho biết phương án nào rẻ hơn.
Ví dụ giải sẵn
Các công ty mẫu và cách xét lựa chọn
Sao Mai dùng câu chuyện và mốc báo cáo của bộ dữ liệu. An Phú và Hướng Dương là công ty bán lẻ giả lập bổ sung. Đội ngũ, nguồn và khả năng chi trả dưới đây là giả định để xét lựa chọn.
Sao Mai: nhu cầu chính là báo cáo định kỳ từ bảng. Kinh doanh xem tiền hàng bán ra, Kế toán giữ cách tính riêng. Giả sử có người tổ chức bảng và phụ trách nhận, xử lý dữ liệu, nhưng chưa có người vận hành phân tích ảnh. Chi phí ưu tiên là duy trì báo cáo ổn định.
Đề xuất: xét data warehouse vì nhóm có nhu cầu và năng lực chuẩn bị bảng dùng lại. Nếu tệp xuất đã kiểm còn đáp ứng phạm vi và giờ dùng, có thể tiếp tục bằng tệp. Chưa cần đầu tư cho phân tích ảnh khi nhu cầu chưa rõ. Trước khi chốt, thử từ nhận nguồn tới lập báo cáo.
An Phú: cần tìm ảnh sản phẩm giống nhau để hỗ trợ sắp xếp danh mục. Công ty giữ ảnh kèm mã sản phẩm, chưa cần kết quả trên báo cáo định kỳ. Giả sử có người xử lý ảnh và duy trì mô tả nguồn. Công ty dành công sức cho thử nghiệm, chưa đầu tư nơi báo cáo chung.
Đề xuất: xét data lake cho nguồn phục vụ khám phá; người xử lý thử cách tìm ảnh giống nhau và kiểm kết quả với người hiểu sản phẩm. Nếu ảnh còn ít, thư mục có mô tả và mã sản phẩm rõ có thể đủ. Khi kết quả được dùng định kỳ, xét cách tạo và duy trì bảng kết quả.
Hướng Dương: đã có data lake lưu nguồn được mô tả rõ. Nhóm phân tích thử dự tính nhu cầu hàng bằng lịch sử bán hàng; nhóm báo cáo cần giao dịch đã kiểm từ cùng lịch sử. Giả sử đội ngũ biết quản lý bảng trên data lake và có thời gian hỗ trợ cả hai nhóm. Công ty có thể dành công sức để thử cách dùng chung vì các bản riêng đang gây tốn công đối chiếu.
Đề xuất: thử data lakehouse trên phần lịch sử dùng chung, kiểm việc cập nhật bảng và phân tích cùng chạy mà báo cáo vẫn kịp giờ. Giữ data lake và data warehouse riêng vẫn hợp lý nếu dễ vận hành hơn hoặc hệ thống sẵn có đang đáp ứng tốt. Trước khi mở rộng, kiểm lợi ích giảm công đối chiếu.
Phiếu lựa chọn nền tảng đã điền
Phiếu cho Sao Mai ghi cả đề xuất và việc cần xác nhận để nghiệp vụ, kỹ thuật cùng xét.
| Mục | Nội dung |
|---|---|
| Nhu cầu ưu tiên | Báo cáo tiền hàng bán ra theo cửa hàng và kỳ; kế toán giữ cách tính riêng |
| Phạm vi nguồn trước mắt | Bảng giao dịch, thông tin cửa hàng; chưa có yêu cầu phân tích ảnh |
| Giờ và độ mới | Báo cáo ngày mục tiêu 08:00, dùng dữ liệu bán ngày đã kết thúc |
| Lựa chọn đang xét | Data warehouse cho báo cáo dùng chung; chưa chốt mua hay triển khai |
| Căn cứ về đội ngũ | Giả định có người tổ chức bảng và vận hành; cần xác nhận khả năng, thời gian thực tế |
| Chi phí cần làm rõ | Chuẩn bị nguồn, duy trì bảng, lưu, xử lý, hỗ trợ, học và chuyển cách làm |
| Phương án trước mắt | Tệp đã kiểm nếu đáp ứng phạm vi, giờ dùng và không ảnh hưởng bán hàng |
| Điều chưa chọn làm | Xây data lake hoặc data lakehouse để phòng nhu cầu ảnh chưa rõ |
| Quy tắc nghiệp vụ cần giữ | Tên, cách tính, người chốt từng metric; người có quyền quyết định cách dùng dữ liệu còn lỗi |
| Bằng chứng trước khi chốt | Thử báo cáo tiêu biểu: kiểm tổng theo định nghĩa, giờ có kết quả và công vận hành |
| Thành phần cần cùng xét | Người phụ trách báo cáo xác nhận nhu cầu; kỹ thuật xác nhận cách làm; người có quyền ngân sách chốt đầu tư |
| Điều kiện xét lại | Nhu cầu nhiều dạng dữ liệu đã rõ, đội ngũ thay đổi hoặc cách đã chọn không đáp ứng chi phí, giờ dùng |
Đường đi cần thử cho báo cáo ngày:
- Nhận và giữ bản nguồn, kèm cửa hàng gửi và lúc nhận.
- Kiểm dữ liệu, chuẩn bị bảng theo cách tính đã thống nhất.
- Lập báo cáo, ghi dữ liệu đã cập nhật tới đâu và phần còn chờ xác nhận.
Khi nào nên làm, khi nào chưa cần
Nên lập phiếu và xét nền tảng dùng chung khi nhiều người dùng lại dữ liệu, báo cáo cần chạy đều hoặc việc ghép, đối chiếu lặp lại tốn công. Xét đội ngũ và chi phí theo nhu cầu ưu tiên.
Có cách khác: tệp đã kiểm, bảng tổng ở nơi riêng hoặc data lake và data warehouse riêng nếu đáp ứng nhu cầu với công sức phù hợp hơn. Khi chọn cách tách, tính cả công chuyển và đối chiếu dữ liệu.
Chưa cần đổi nền tảng khi nhu cầu nhỏ, cách hiện tại đáp ứng giờ dùng và có người duy trì. Nếu vấn đề chính là batch đến muộn, dòng sai hoặc cách tính chưa rõ, xử lý phần đó trước: đổi nơi lưu và xử lý không giải quyết thay được việc gửi nguồn hay chốt định nghĩa.
Tự làm
Công ty bán lẻ Bình Minh cần báo cáo bán hàng định kỳ từ bảng giao dịch và muốn thử tìm ảnh sản phẩm giống nhau. Nhóm làm được bảng báo cáo, nhưng chưa có người xử lý ảnh. Chi phí hiện chỉ đủ duy trì báo cáo và thử ảnh trong phạm vi nhỏ. Nên chọn cách nào trước?
Gợi ý
Xem đáp án
Ưu tiên data warehouse cho báo cáo nếu cần dùng chung thường xuyên; nếu tệp đã kiểm vẫn đáp ứng, tiếp tục bằng tệp. Ảnh có thể giữ riêng trong thư mục có mô tả và mã sản phẩm để chuẩn bị thử, nhưng cần bố trí người xử lý ảnh. Cách này dành công sức cho báo cáo trước, đổi lại phải duy trì nguồn ảnh riêng.
Data lake đáng xét khi nhu cầu ảnh và người xử lý đã rõ. Data lakehouse đáng xét nếu cả khám phá lẫn báo cáo cần dùng chung dữ liệu, nhóm vận hành được và thử cho thấy chi phí phù hợp. Hiện chưa cần chuyển báo cáo sang đó chỉ để chuẩn bị cho việc thử ảnh.
An Phú đã lưu ảnh và bảng giao dịch vào data lake. Quản lý nghĩ giờ có thể mở báo cáo tiền hàng bán ra ngay. Nhóm cần làm rõ điều gì?
Gợi ý
Xem đáp án
Làm rõ cách tính, kỳ báo cáo, nguồn giao dịch, bước kiểm và cách tạo bảng báo cáo. Giữ được nguồn trong data lake không thay được việc chuẩn bị dữ liệu và nơi xem kết quả.
Với báo cáo nhỏ dùng một lần, có thể tạo tệp đã kiểm. Với báo cáo đều đặn, xét bảng được quản lý trên data lake hoặc data warehouse riêng theo năng lực vận hành. Trước khi đổi nền tảng, xác định phần chuẩn bị và phục vụ kết quả đang thiếu.
Hướng Dương có nhu cầu khám phá và báo cáo từ cùng lịch sử bán hàng, nhưng người biết quản lý bảng trên data lake không còn thời gian hỗ trợ. Có nên tiếp tục đề xuất data lakehouse không?
Gợi ý
Xem đáp án
Cần xét lại khả năng vận hành. Có thể thu hẹp phạm vi thử, bố trí người hỗ trợ hoặc giữ data lake và data warehouse riêng nếu nhóm duy trì được, tính cả công chuyển và đối chiếu dữ liệu.
Data lakehouse vẫn đáng xét khi bố trí được người, thời gian và thử đạt giờ báo cáo. Nếu cách hiện tại đang ổn mà chưa đủ người cho thay đổi, chưa cần chuyển ngay.
Hiểu nhầm thường gặp
“Data warehouse, data lake và data lakehouse là các nấc nâng cấp.” Chúng có trọng tâm khác nhau. Công ty chủ yếu dùng báo cáo từ bảng có thể tiếp tục dùng data warehouse khi nhu cầu lớn dần.
“Data lake có chỗ lưu rẻ thì toàn bộ phương án sẽ rẻ.” Còn công tìm, hiểu, kiểm và xử lý để ra kết quả. Cần so tổng chi phí cho cùng nhu cầu.
“Data lakehouse nghĩa là không còn phải chuẩn bị bảng.” Bảng báo cáo vẫn cần được chuẩn bị theo cách tính đã thống nhất và kiểm dữ liệu nguồn.
“Chọn nền tảng là việc riêng của kỹ thuật.” Kỹ thuật xác nhận cách làm và công vận hành. Người dùng xác nhận báo cáo trả lời gì, cần lúc nào và chấp nhận giới hạn nào. Người có quyền ngân sách chốt phần đầu tư.
Tóm tắt
- Data warehouse phục vụ báo cáo dùng lại từ bảng; data lake giữ nhiều dạng nguồn để khám phá và xử lý. Data lakehouse quản lý bảng phân tích trên data lake khi cần cả hai cách dùng.
- Chọn theo việc cần làm, độ mới, giờ có kết quả, đội ngũ và chi phí tới lúc dùng được dữ liệu.
- Tệp đã kiểm hoặc data lake và data warehouse riêng vẫn có thể hợp lý. Nếu cách hiện tại đáp ứng nhu cầu, giữ cách đó và ghi điều kiện xét lại.
- Nền tảng không thay việc định nghĩa metric, kiểm dữ liệu hay người có quyền quyết định.
Thuật ngữ trong bài
| Tiếng Việt | Tiếng Anh |
|---|---|
| Kho dữ liệu | data warehouse |
| Hồ dữ liệu | data lake |
| Nền tảng kết hợp hồ và kho | data lakehouse |
Mẫu tải về: Phiếu lựa chọn nền tảng (Word). Nội dung giống bảng đã điền ở mục Ví dụ giải sẵn, để trống cho bạn điền.
Bài liên quan: “OLTP và OLAP”, “Grain, fact và dimension”, “Tổ chức lớp dữ liệu”, “Chất lượng dữ liệu”.