Notification SystemNotification System

tin mỗi ngàymessages a day

2M

tin mỗi ngàymessages a day

lúc cao điểmat peak

~800/s

lúc cao điểmat peak

OTP phải tớifor an OTP to arrive

< 5s

OTP phải tớifor an OTP to arrive

tin gửi trùngduplicate sends

0

tin gửi trùngduplicate sends

API ghi yêu cầu và sự kiện trong cùng một transaction rồi trả về ngay. Worker riêng cho từng kênh đọc hàng đợi và gọi nhà cung cấp. Bật “Nhà cung cấp SMS lỗi” để xem retry, circuit breaker và DLQ.The API stores the request and its event in one transaction and answers immediately. A worker per channel reads the queue and calls the provider. Turn on “SMS provider fails” to see retries, the circuit breaker and the DLQ.

1. 1

   Gửi trùng khi retryDuplicate sends on retry

   Consumer nhận lại cùng message sau khi crash. Dùng idempotency_key có unique index; worker khoá dòng và bỏ qua nếu đã SENT.A consumer gets the same message again after a crash. Keep an idempotency_key with a unique index; the worker locks the row and skips it when already SENT.

   Transactional Outbox
2. 2

   Nhà cung cấp lỗi hoặc chậmProvider down or slow

   Exponential backoff + jitter (1 s, 2 s, 4 s…, tối đa 5 lần), circuit breaker theo nhà cung cấp; quá số lần thì vào DLQ.Exponential backoff with jitter (1s, 2s, 4s…, up to 5 attempts), a circuit breaker per provider, then the DLQ.

   Retry with Exponential BackoffCircuit Breaker
3. 3

   Mất tin giữa DB và hàng đợiMessages lost between DB and queue

   Ghi notification và outbox trong cùng transaction; relay đẩy sang Kafka/RabbitMQ sau khi commit.Write the notification and the outbox row in one transaction; a relay publishes to Kafka/RabbitMQ after commit.

   Transactional Outbox
4. 4

   OTP bị kẹt sau campaignOTPs stuck behind a campaign

   Tách hàng theo độ ưu tiên critical / default / bulk, mỗi hàng có worker và giới hạn tốc độ riêng.Split queues by priority (critical / default / bulk), each with its own workers and rate limit.

   Worker PoolRate Limiter
5. 5

   Nhiều kênh, nhiều nhà cung cấpMany channels, many providers

   Strategy chọn kênh, Template Method cho render → gửi → ghi kết quả, Adapter bọc SES, Twilio, FCM/APNs.Strategy picks the channel, Template Method runs render → send → record, Adapter wraps SES, Twilio, FCM/APNs.

   StrategyTemplate MethodAdapter
6. 6

   Hẹn giờ trên nhiều instanceScheduling across instances

   Job quét bảng lịch dùng SELECT … FOR UPDATE SKIP LOCKED để hai instance không lấy cùng một tin.The scheduler polls with SELECT … FOR UPDATE SKIP LOCKED so two instances never pick the same message.

   Producer-Consumer

Worker nhận message, bỏ qua nếu đã gửi, lỗi thì để framework thử lại; quá 5 lần thì chuyển vào DLQ.The worker receives a message, skips it if already sent, lets the framework retry on errors and moves it to the DLQ after 5 attempts.

@Component
@RequiredArgsConstructor
public class EmailWorker {
    private final NotificationRepository repo;
    private final EmailProvider provider;
    private final DeadLetterPublisher dlq;

    @KafkaListener(topics = "notify.email")1
    @Transactional
    public void handle(NotifyEvent e) {
        Notification n = repo.lockById(e.id());    // SELECT … FOR UPDATE2
        if (n.isSent()) return;                    // duplicate delivery3
        try {
            provider.send(render(n));
            n.markSent();
        } catch (ProviderException ex) {
            n.recordFailure(ex);                   // attempt++
            if (n.attempts() >= 5) dlq.send(e);
            else throw ex;                         // retried with backoff4
        }
    }
}

type EmailWorker struct {
	tx       TxRunner
	provider EmailProvider
	dlq      Publisher
}

func (w *EmailWorker) Handle(ctx context.Context, e NotifyEvent) error {
	return w.tx.Do(ctx, func(tx Tx) error {1
		n, err := tx.LockNotification(ctx, e.ID) // FOR UPDATE
		if err != nil || n.Sent() {2
			return err // nil when already sent
		}
		if err := w.provider.Send(ctx, render(n)); err != nil {
			n.RecordFailure(err)
			if n.Attempts >= 5 {
				return w.dlq.Publish(ctx, e)
			}
			return fmt.Errorf("retry: %w", err)3
		}
		return tx.MarkSent(ctx, n.ID)
	})
}

Mỗi pattern mở bài học tương ứng trong menu Pattern.Each one opens its lesson in the Patterns menu.