dbt trong hub chạy thế nào mỗi đêm

Phần 01

Một đêm trong một hình

dbt không có lịch riêng. Nó là bước ② của một kịch bản PowerShell do Windows Task Scheduler gọi lúc 01:00. Bước ① hỏng thì dbt không chạy; dbt run hỏng thì các bước sau không chạy.

Thời gian ghi trên từng bước là của lượt đêm 26/09/2026. Mũi tên đỏ là chỗ duy nhất dữ liệu đi vào máy từ bên ngoài.

Phần 02

Thời gian đo được 18–26/09

Phần lớn một đêm là chờ FAST trả lời (3–5,5 phút). dbt run ổn định 1'44"–3'09" và không phụ thuộc số ngày đọc lại, vì nó luôn dựng lại toàn bộ.

"② dbt run" = từ dòng Running with dbt= tới dòng dbt run PASS của wrapper; "dbt tự báo" = con số trong dòng Finished running … (…s), không tính ~4 s dbt đọc dự án. Số model tăng dần: 39 (20/09) → 40 (22/09) → 41 (23–24/09) → 46 (từ 25/09, thêm lớp bantin).

Mỗi lần gọi FAST mất bao lâu

Model dbt chậm nhất

4 luồng chạy song song nên tổng thời gian model (~7 phút) lớn hơn thời gian dbt run (~2,5–3 phút). 14 view staging dựng trong 0,1–0,3 s mỗi cái.

Phần 03

Cách tự đo lại

Ba cách, từ đầy đủ tới nhanh. Cả ba chỉ đọc — không chạm dữ liệu, không gọi FAST.

Cách 1 — script đọc log (đầy đủ nhất)

File do_thoi_gian_dem.py gửi kèm trang này. Nó tách từng lượt trong logs/sync_*.log, tính thời gian từng bước, từng lần gọi FAST, số đơn FAST trả cho từng ngày qua các lần đọc, và model dbt chậm nhất.

sixdo-datahub\.venv\Scripts\python.exe do_thoi_gian_dem.py --ngay 10 --model 15

Cách 2 — một dòng PowerShell

Select-String -Path sixdo-datahub\logs\sync_*.log -Pattern 'sync bat dau','Finished running','dbt run PASS','sync XONG','CANH BAO' | ForEach-Object { $_.Filename + '  ' + $_.Line }

Cách 3 — hỏi cơ sở dữ liệu (chỉ phần sync.py)

select run_id, status, started_at, finished_at,
       finished_at - started_at as thoi_gian_sync_py,
       rows_orders, n_withdrawn
from raw.sync_run order by started_at desc limit 10;

Log ghi theo lô: wrapper chỉ đổ ra file khi một bước xong, nên nhìn log lúc 01:03 không thấy gì của bước đang chạy. Muốn biết lượt đêm đã xong chưa thì chờ dòng sync XONG hoặc CANH BAO.

Phần 04

Lớp raw — FAST đổ vào đâu

Đây là lớp duy nhất dbt không tạo ra: ingest/sync.py ghi vào, dbt khai nó là source('raw', …). Mỗi bản ghi FAST là một dòng JSONB nguyên bản, kể cả mảng con dòng hàng / dòng thanh toán.

Phần 05

Lớp staging — 14 view

Mỗi bảng raw một view (đơn thì hai: đầu đơn và dòng đơn). View không chứa dữ liệu; dựng lại mất 0,1–0,3 s. Việc nặng xảy ra khi mart đọc qua nó.

Phần 06

Lớp mart — 21 model người dùng thật đọc

Mặc định là bảng (+materialized: table): mỗi đêm dbt tạo bảng mới rồi đổi tên thay bảng cũ. Năm model là view để không nhân bản 5 triệu dòng. Bốn bảng bantin là lớp tổng hợp cho bản tin Teams.

Phần 07

Lớp dq và 74 test

11 bảng dq đo chất lượng dữ liệu ngay trong dbt, dựng lại mỗi đêm như mart. Test dbt đọc các bảng này; một test đỏ có chủ đích và phải giữ đỏ.

Phần 08

Sơ đồ phụ thuộc — xương sống doanh thu

46 model vẽ hết thì không đọc được. Hình dưới chỉ vẽ đường đi của doanh thu; các danh mục còn lại đều theo mẫu một-raw → một-staging → một-dim.

Nét đứt xám = view (không lưu dữ liệu). Nét đỏ = cờ từ raw.doc_status, chỉ có khi ngày chứng từ được đọc lại (Phần 09). Danh sách đầy đủ phụ thuộc: dbt ls hoặc dbt docs generate trong transform/.

Phần 09

Mỗi ngày chứng từ được đọc lại mấy lần

Câu hỏi quyết định số trên báo cáo đúng tới đâu. Trả lời: hai lần — 01:00 ngày D+1 và 01:00 ngày D+2 — rồi không bao giờ nữa. dbt thì dựng lại toàn bộ mỗi đêm, nhưng nó chỉ dựng lại được cái đã có trong raw.

Lần đọc cuối của từng ngày chứng từ tháng 9

Đo từ raw.orders.loaded_at ngay sau lượt 26/09.

Hàng trả không sửa ngày bán — nó là chứng từ mới

Phiếu trả HDF dùng lại gốc số stt_rec của hoá đơn bán, nên ghép được. Từ 01/01/2025: 78.557 phiếu HDF, ghép được 70.347; trong đó 70.315 ghi ngày sau ngày bán, 32 cùng ngày, 0 phiếu lùi về trước. Độ trễ trung vị 8 ngày, 90% trong vòng 15 ngày. Vì phiếu trả mang ngày mới, đồng bộ đêm đọc nó như mọi chứng từ khác — tháng có hàng trả thì doanh thu tháng giảm đúng vào ngày trả, giống cách báo cáo FAST tính theo ngày chứng từ.

Nhưng FAST có sửa đơn cũ — bằng chứng từ trạng thái giao vận

Cột delivery_state nằm trên chính hoá đơn bán. Nếu FAST không bao giờ sửa đơn cũ thì tỉ lệ đơn "đang đi đường" phải như nhau bất kể hub đọc lúc nào. Đo trên đơn HDA ngoài POS:

* TPLConfirmed + Shipped + Delivering + ReadyToShip + Delay. Không tính các trạng thái tiếng Việt, "(trống)", hoàn/huỷ. Với thiết kế hiện nay, đơn tuần 14/09 và 21/09 sẽ giữ nguyên trạng thái chụp lúc D+2 vì không được đọc lại.

Phần 10

Quyền và post-hook

Vì bảng mart bị xoá và tạo lại mỗi đêm, mọi GRANT cấp tay sẽ mất sau một đêm. Nên quyền được cấp bằng chính dbt, trong post_hook của từng model.

Phần 11

Bẫy vận hành đã biết

Mỗi dòng đều đã xảy ra thật hoặc đã đo được, kèm một kịch bản hỏng cụ thể.

Phần 12

Khoảng trống và phương án — chưa làm, chờ người quyết

Ba vấn đề nêu ngày 26/09, đặt cạnh số đo. Không có dòng code nào bị đổi để viết trang này.

Giá của việc đọc lại N ngày mỗi lượt

Tính = (N − 2) × đơn giá một ngày đo được (33 s trung vị, 53 s tệ nhất). Chưa chạy thử N > 2; ngày cũ nhiều đơn hơn thì chậm hơn. dbt run không đổi theo N.

Các phương án

Dời lượt đêm sang 07:00?

Đổi giờ chỉ là đổi trigger của task (không đổi code). Lệnh dành cho người chạy, chưa chạy:

Set-ScheduledTask -TaskName "SIXDO-DataHub-NightlySync" -Trigger (New-ScheduledTaskTrigger -Daily -At 07:00)
Set-ScheduledTask -TaskName "SIXDO-DataHub-TeamsDigest" -Trigger @((New-ScheduledTaskTrigger -Daily -At 07:30),(New-ScheduledTaskTrigger -Daily -At 09:30))

Phần 13

Kết quả phương án C — FAST còn sửa tiền tới ~8 tuần

26/09/2026 01:30–02:11: đọc lại từ FAST 90 ngày chứng từ (28/06 → 25/09), so với hub, không ghi gì vào DB (kết nối chế độ chỉ đọc, không đụng load_state, không gắn cờ). 180 lời gọi GET, 40,5 phút, 0 lỗi, 0 ngày nghi FAST trả thiếu.

Theo nhóm ngày chứng từ

"FAST − hub" = tổng tiền dòng (tt_nt, cùng cột amount mà [Doanh thu] dùng) của chứng từ FAST trả hôm nay, trừ phần hub đang tính (đã loại đơn bị cờ rút). Âm = hub đang tính thừa; dương = hub thiếu. Chưa đối chiếu trực tiếp với con số trên Power BI.

Theo tháng

FAST đã đổi những gì

Kênh của các chứng từ có thay đổi ngoài trạng thái giao (mới, mất, đổi ngày, đổi nội dung): TikTok 247, website DSCWEB 158, Shopee 99, POS 56, DSCAPP 11, O2O 1.

Đề xuất sau khi đo (chưa làm, cần người duyệt)

Đã sửa hub — 26/09/2026 08:23–09:21