Reporting / AnalyticsReporting / Analytics

đơn hàng mỗi ngày, 40M dòng order_item mỗi thángorders a day, 40M order_item rows a month

3M

đơn hàng mỗi ngày, 40M dòng order_item mỗi thángorders a day, 40M order_item rows a month

cho mọi biểu đồ dashboardfor every dashboard chart

p95 < 300 ms

cho mọi biểu đồ dashboardfor every dashboard chart

độ trễ số liệu của ngày hôm naystaleness for today's figures

≤ 1 phút

độ trễ số liệu của ngày hôm naystaleness for today's figures

sự kiện có thể tới trễ tối đahow late an event may arrive

72 h

sự kiện có thể tới trễ tối đahow late an event may arrive

Checkout ghi đơn vào PostgreSQL primary. Sự kiện order.paid qua outbox lên Kafka; Rollup Worker đánh dấu ngày bị ảnh hưởng và tính lại vào bảng revenue_daily, ClickHouse nhận cùng luồng sự kiện cho phân tích sâu. Reporting API đọc rollup, có cache Redis; báo cáo ad-hoc chạy trên read replica. Chọn “Sự kiện tới trễ” hoặc “Báo cáo chậm” để xem hai tình huống khó.Checkout writes orders to the PostgreSQL primary. order.paid events go through an outbox to Kafka; the Rollup Worker marks the affected day dirty and recomputes it into revenue_daily, while ClickHouse takes the same event stream for deep analysis. The Reporting API reads rollups behind a Redis cache; ad-hoc reports run on a read replica. Pick “Late events” or “Slow report” to see the two hard cases.

1. 1

   Aggregate nặng trên primaryHeavy aggregates on the primary

   GROUP BY trên hàng chục triệu dòng chiếm CPU, I/O và buffer cache của checkout. Tách đường đọc: dashboard đọc bảng rollup, báo cáo ad-hoc chạy trên replica với pool và statement_timeout riêng.A GROUP BY over tens of millions of rows takes CPU, I/O and buffer cache from checkout. Split the read path: dashboards read rollup tables, ad-hoc reports run on a replica with their own pool and statement_timeout.

   CQRSProxy
2. 2

   Materialized view chặn người đọc khi refreshA materialized view blocks readers on refresh

   REFRESH MATERIALIZED VIEW lấy ACCESS EXCLUSIVE lock. Dùng REFRESH … CONCURRENTLY (cần unique index trên view), nhưng nó vẫn tính lại toàn bộ; khi dữ liệu lớn, chuyển sang bảng rollup cập nhật từng ngày bằng upsert.REFRESH MATERIALIZED VIEW takes an ACCESS EXCLUSIVE lock. Use REFRESH … CONCURRENTLY (it needs a unique index on the view), but it still recomputes everything; at scale switch to a rollup table updated per day with upserts.

   CQRS
3. 3

   Sự kiện trễ và giao lạiLate and redelivered events

   Cộng dồn gross += total sẽ cộng đôi khi Kafka giao lại. Sự kiện chỉ đánh dấu ngày bẩn; job tính lại cả ngày từ bảng gốc và ghi đè. Ngày cũ hơn 72 giờ đóng sổ, chỉ tính lại khi có lệnh thủ công.A running gross += total double-counts when Kafka redelivers. Events only mark the day dirty; a job recomputes the whole day from the source and overwrites it. Days older than 72 hours are closed and only recomputed on a manual command.

   Transactional OutboxPublish-Subscribe
4. 4

   Múi giờ trong báo cáoTime zones in reporting

   Lưu timestamptz (UTC), gom nhóm theo múi giờ tenant: (paid_at AT TIME ZONE 'Asia/Ho_Chi_Minh')::date. Rollup giờ theo UTC không gộp đúng được cho múi lệch nửa giờ như Asia/Kolkata, nên rollup ngày lưu theo ngày địa phương của từng tenant.Store timestamptz (UTC) and group in the tenant's zone: (paid_at AT TIME ZONE 'Asia/Ho_Chi_Minh')::date. UTC hourly rollups cannot be re-bucketed correctly for half-hour zones such as Asia/Kolkata, so daily rollups are stored per tenant-local day.

   Builder
5. 5

   Nhiều loại báo cáo, nhiều nơi chạyMany report types, several engines

   Định nghĩa báo cáo là một cây metric, dimension, filter. Visitor duyệt cây và sinh SQL cho PostgreSQL hoặc ClickHouse; Adapter che khác biệt hàm thời gian (date_trunc ⇄ toStartOfDay) giữa hai engine.A report definition is a tree of metrics, dimensions and filters. A Visitor walks it and emits SQL for PostgreSQL or ClickHouse; an Adapter hides the time-function differences (date_trunc ⇄ toStartOfDay) between engines.

   VisitorBuilderAdapter
6. 6

   Dashboard dồn tải cùng lúcDashboards stampede the database

   Đầu giờ sáng hàng trăm người mở cùng dashboard. Cache Redis TTL 60 s, khoá có version của tenant để vô hiệu hoá khi rollup đổi, single-flight để mỗi khoá chỉ một truy vấn đang chạy.At the start of the day hundreds open the same dashboard. Cache in Redis for 60 s, include the tenant's rollup version in the key to invalidate on change, and use single-flight so each key has one query in flight.

   Proxy
7. 7

   Truy vấn dài trên replica bị huỷLong queries on the replica get cancelled

   Replay WAL xung đột với truy vấn đang đọc gây lỗi “canceling statement due to conflict with recovery”. Tăng max_standby_streaming_delay trên replica dành cho báo cáo, hoặc bật hot_standby_feedback và chấp nhận bloat trên primary; theo dõi replay_lag.WAL replay conflicting with a running read raises “canceling statement due to conflict with recovery”. Raise max_standby_streaming_delay on a reporting-only replica, or enable hot_standby_feedback and accept some bloat on the primary; watch replay_lag.

   CQRS

Java: worker đánh dấu ngày bẩn từ Kafka và job tính lại từng ngày theo múi giờ tenant bằng upsert. Go: Reporting API đọc rollup trên replica, cache có version và single-flight.Java: a worker marks dirty days from Kafka and a job recomputes each day in the tenant's time zone with an upsert. Go: the Reporting API reads rollups on the replica with a versioned cache and single-flight.

@Service
@RequiredArgsConstructor
public class RevenueRollup {
    private final JdbcTemplate jdbc;
    private final DirtyDayRepository dirty;
    private final ApplicationEventPublisher events;

    private static final String RECOMPUTE_DAY = """
        INSERT INTO revenue_daily (tenant_id, day, orders, gross, refunds, computed_at)
        SELECT o.tenant_id, ?::date, count(*), sum(o.total), sum(o.refunded), now()
        FROM orders o JOIN tenant t ON t.id = o.tenant_id
        WHERE o.tenant_id = ? AND o.status IN ('PAID', 'REFUNDED')
          AND o.paid_at >= (?::date)::timestamp AT TIME ZONE t.timezone1
          AND o.paid_at <  (?::date + 1)::timestamp AT TIME ZONE t.timezone
        GROUP BY o.tenant_id
        ON CONFLICT (tenant_id, day) DO UPDATE2
           SET orders = EXCLUDED.orders, gross = EXCLUDED.gross,
               refunds = EXCLUDED.refunds, computed_at = EXCLUDED.computed_at
        """;

    @KafkaListener(topics = {"order.paid", "order.refunded"}, groupId = "revenue-rollup")
    public void onOrderEvent(OrderEvent e) {
        LocalDate day = e.paidAt().atZone(e.tenantZone()).toLocalDate();
        dirty.mark(e.tenantId(), day);   // INSERT … ON CONFLICT DO NOTHING3
    }

    @Scheduled(fixedDelay = 30_000)
    @Transactional
    public void recomputeDirtyDays() {
        for (DirtyDay d : dirty.lockBatch(50)) {          // FOR UPDATE SKIP LOCKED
            jdbc.update(RECOMPUTE_DAY, d.day(), d.tenantId(), d.day(), d.day());
            dirty.delete(d);
            events.publishEvent(new RollupChanged(d.tenantId(), d.day()));4
        }
    }
}

type RevenueReport struct {
	replica *pgxpool.Pool // reporting pool on the read replica
	cache   *redis.Client
	group   singleflight.Group
}

func (r *RevenueReport) Daily(ctx context.Context, q RevenueQuery) ([]DayRow, error) {
	ver, _ := r.cache.Get(ctx, "report:ver:"+q.TenantID).Result()
	key := fmt.Sprintf("report:rev:%s:%s:%s:v%s", q.TenantID, q.From, q.To, ver)1
	if b, err := r.cache.Get(ctx, key).Bytes(); err == nil {
		var rows []DayRow
		return rows, json.Unmarshal(b, &rows)
	}
	v, err, _ := r.group.Do(key, func() (any, error) {2
		ctx, cancel := context.WithTimeout(ctx, 2*time.Second)3
		defer cancel()
		rows, err := r.load(ctx, q)
		if err != nil {
			return nil, err
		}
		if b, err := json.Marshal(rows); err == nil {
			r.cache.Set(ctx, key, b, 60*time.Second)
		}
		return rows, nil
	})
	if err != nil {
		return nil, err
	}
	return v.([]DayRow), nil
}

func (r *RevenueReport) load(ctx context.Context, q RevenueQuery) ([]DayRow, error) {
	rows, err := r.replica.Query(ctx, `
		SELECT day, orders, gross, refunds
		FROM revenue_daily
		WHERE tenant_id = $1 AND day BETWEEN $2 AND $34
		ORDER BY day`, q.TenantID, q.From, q.To)
	if err != nil {
		return nil, err
	}
	return pgx.CollectRows(rows, pgx.RowToStructByName[DayRow])
}

Mỗi pattern mở bài học tương ứng trong menu Pattern.Each one opens its lesson in the Patterns menu.