Hồi trước team mình có một bug “ma”: khoảng một tuần một lần, số dư ví của user bị trừ hai lần. Log không có gì bất thường, test pass 100%, staging chạy mãi không ra lỗi. Mất gần một tháng mới tìm ra nguyên nhân: ACK từ server bị mất, client retry, server xử lý lại request lần nữa. Một bug kinh điển, nhưng gần như không thể tái hiện bằng unit test thông thường, vì nó chỉ xảy ra khi thứ tự sự kiện rơi đúng vào một tổ hợp hiếm. Bài viết Deterministic Simulation Testing Is for Everyone đang lên Hacker News nói đúng điều mình muốn chia sẻ: DST không phải đặc sản riêng của FoundationDB hay TigerBeetle. Với vài trăm dòng code, team nhỏ cũng áp dụng được.
Deterministic Simulation Testing là gì, nói ngắn gọn
Ý tưởng cốt lõi: mọi nguồn không xác định (non-determinism) trong hệ thống đều phải đi qua một thứ bạn kiểm soát được. Đó là thời gian, random, network, thứ tự thực thi của thread/task, disk I/O. Thay vì dùng time.time() hay socket thật, code của bạn nhận một clock, một rng và một network được inject từ ngoài vào. Trong production đó là đồ thật. Trong test, đó là bản giả lập điều khiển bởi một con số seed duy nhất.
Kết quả là:
- Bạn chạy 10.000 seed khác nhau, mỗi seed là một “vũ trụ” với độ trễ mạng, packet loss, duplicate message khác nhau.
- Khi một seed làm vỡ invariant, bạn chạy lại đúng seed đó và tái hiện bug 100%, có thể đặt breakpoint, thêm log thoải mái.
- Thời gian là giả lập, nên một kịch bản “3 ngày” có thể chạy trong vài mili giây.
flowchart LR
S[Seed] --> R[PRNG]
R --> SCH[Scheduler / Clock giả]
R --> NET[Network giả: drop, delay, duplicate]
SCH --> SYS[Code hệ thống thật]
NET --> SYS
SYS --> INV{Invariant OK?}
INV -- Có --> NEXT[Seed tiếp theo]
INV -- Không --> REP[In seed và replay để debug]
Các tên tuổi bạn nên biết: FoundationDB (người đi đầu), TigerBeetle với VOPR, bên Rust có madsim và turmoil (cho tokio), còn Go từ 1.25 đã có package testing/synctest với fake clock chính thức. Nhưng bạn không cần framework nào để bắt đầu, chỉ cần hiểu nguyên lý.
Tự viết một simulator mini bằng Python
Dưới đây là ví dụ chạy được với Python 3.12+ và không cần thư viện ngoài. Ta mô phỏng lại đúng con bug “trừ tiền hai lần” ở trên: client gửi lệnh chuyển 30 từ A sang B, retry nếu không nhận được ACK.
# dst_demo.py
import heapq
import random
import sys
class World:
def __init__(self, seed):
self.rng = random.Random(seed) # nguồn random DUY NHẤT
self.now = 0 # clock giả, đơn vị: tick
self.queue = []
self.seq = 0
def schedule(self, delay, fn):
self.seq += 1 # seq để thứ tự ổn định khi trùng thời điểm
heapq.heappush(self.queue, (self.now + delay, self.seq, fn))
def run(self, max_steps=10_000):
steps = 0
while self.queue and steps < max_steps:
self.now, _, fn = heapq.heappop(self.queue)
fn()
steps += 1
class Network:
def __init__(self, world, drop=0.2, dup=0.1):
self.w, self.drop, self.dup = world, drop, dup
def send(self, handler, msg):
r = self.w.rng.random()
if r < self.drop:
return # packet mất
self.w.schedule(self.w.rng.randint(1, 80), lambda: handler(msg))
if r < self.drop + self.dup: # packet bị nhân đôi
self.w.schedule(self.w.rng.randint(1, 80), lambda: handler(msg))
class Server:
def __init__(self, net):
self.net = net
self.balance = {'A': 100, 'B': 0}
def transfer(self, msg):
tx_id, amount, reply_to = msg
# BUG: không kiểm tra tx_id đã xử lý chưa (thiếu idempotency)
if self.balance['A'] >= amount:
self.balance['A'] -= amount
self.balance['B'] += amount
self.net.send(reply_to, tx_id)
class Client:
def __init__(self, world, net, server):
self.w, self.net, self.server = world, net, server
self.acked = False
def start(self, tx_id, amount, attempt=0):
if self.acked or attempt >= 4:
return
self.net.send(self.server.transfer, (tx_id, amount, self.on_ack))
self.w.schedule(100, lambda: self.start(tx_id, amount, attempt + 1))
def on_ack(self, tx_id):
self.acked = True
def run_seed(seed):
w = World(seed)
net = Network(w)
server = Server(net)
Client(w, net, server).start('tx-1', 30)
w.run()
b = server.balance
assert b['A'] + b['B'] == 100, f'seed={seed}: tiền tự sinh ra/mất đi {b}'
assert b['B'] <= 30, f'seed={seed}: chuyển trùng! {b}'
if __name__ == '__main__':
if len(sys.argv) > 2 and sys.argv[1] == '--seed':
run_seed(int(sys.argv[2]))
print('OK')
else:
n = int(sys.argv[1]) if len(sys.argv) > 1 else 1000
for seed in range(n):
run_seed(seed)
print(f'{n} seeds passed')
Vài điểm quan trọng:
-
Chỉ có một
random.Random(seed). Nếu chỗ nào đó trong code gọirandom.random()toàn cục,uuid.uuid4()haytime.time(), tính deterministic sẽ vỡ ngay. -
Event queue có
seqđể hai event cùng thời điểm luôn chạy theo cùng một thứ tự. - Invariant được viết rõ ràng: tổng tiền bảo toàn, B không nhận quá 30. Phần giá trị nhất của DST chính là ở đây, chứ không nằm ở simulator.
Kịch bản mà simulator sẽ tự tìm ra trong vài giây:
sequenceDiagram
participant C as Client
participant N as Network giả
participant S as Server
C->>N: transfer(tx-1, 30)
N->>S: deliver
S->>S: A -= 30, B += 30
S->>N: ACK tx-1
N--xC: ACK bị drop
C->>N: retry transfer(tx-1, 30)
N->>S: deliver
S->>S: A -= 30, B += 30 (lần 2!)
Chạy hàng nghìn seed và replay bug
$ python3 dst_demo.py 5000
AssertionError: seed=7: chuyển trùng! {'A': 40, 'B': 60}
# Replay đúng vũ trụ đó, chạy bao nhiêu lần cũng ra cùng kết quả
$ python3 dst_demo.py --seed 7
AssertionError: seed=7: chuyển trùng! {'A': 40, 'B': 60}
# Debug bằng pdb trên đúng seed lỗi
$ python3 -m pdb dst_demo.py --seed 7
(Số seed cụ thể trên máy bạn có thể khác, nhưng sẽ rất nhỏ vì xác suất drop đang để 20%.)
Cách sửa thì quen thuộc: server giữ một set các tx_id đã xử lý và chỉ trả lại ACK nếu gặp trùng. Sửa xong chạy lại 5000 seed, tất cả pass. Điểm hay là bạn có bằng chứng, chứ không chỉ “chắc là ổn rồi”.
Đưa vào CI cũng rất đơn giản. Mỗi lần chạy dùng một dải seed khác nhau để vùng bao phủ tăng dần theo thời gian:
# .github/workflows/dst.yml
name: dst
on: [push]
jobs:
simulate:
runs-on: ubuntu-24.04
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: 3.13
- name: Run 20k seeds
env:
PYTHONHASHSEED: 0
run: python3 dst_demo.py 20000
Đặt PYTHONHASHSEED=0 vì thứ tự duyệt set chứa string phụ thuộc vào hash seed. Đây là một nguồn non-determinism rất hay bị bỏ sót.
Áp dụng vào code thật: những cái bẫy cần biết
Ví dụ trên là đồ chơi. Đưa vào service thật, bạn sẽ gặp những vấn đề sau:
-
Phải thiết kế để inject được. Business logic không gọi
datetime.now(),asyncio.sleep()hayhttpxtrực tiếp, mà nhậnclock,rng,transportqua constructor. Nếu codebase hiện tại không làm vậy, hãy bắt đầu từ một module quan trọng nhất (thanh toán, đồng bộ kho, job scheduler) thay vì cả hệ thống. -
Thread thật là kẻ thù. OS scheduler không deterministic. Nếu dùng
asyncio, bạn có thể viết một custom event loop hoặc chạy logic dạng state machine thuần, còn I/O để ở rìa. Kiến trúc kiểu sans-I/O (như thư việnh11) cực kỳ hợp với DST. - Database thật thì sao? Không mô phỏng PostgreSQL được. Hãy viết một fake storage trong bộ nhớ có cùng semantics (kể cả các chế độ fail: timeout, ghi được một nửa) và test layer phía trên nó. Phần tích hợp với DB thật để cho integration test lo.
- Invariant khó hơn code. Hãy dành thời gian nghĩ: hệ thống của mình không bao giờ được phép rơi vào trạng thái nào? Tiền không tự sinh ra, mỗi job chỉ chạy đúng một lần, version không đi lùi… Mỗi invariant là một lưới an toàn chạy trên hàng triệu kịch bản.
- Kết hợp với property-based testing. Hypothesis có thể sinh workload (chuỗi request), còn simulator sinh lỗi môi trường. Hai thứ này bổ sung cho nhau rất tốt.
Kết luận
DST không đòi hỏi phải là kỹ sư database mới làm được. Nó chủ yếu là kỷ luật trong thiết kế. Nếu muốn bắt đầu ngay tuần này:
- Chọn một luồng hay có bug “ma” (retry, idempotency, leader election, job queue) và tách logic ra khỏi I/O.
-
Inject
clockvàrng, cấm gọitime.time(),random,uuid4trực tiếp trong module đó. Có thể dùng lint rule hoặc grep trong CI để chặn. - Viết simulator tối giản: một event queue, một network giả có drop/delay/duplicate, tất cả lấy random từ một seed.
- Viết invariant trước, kịch bản sau. Invariant tốt sẽ tìm ra những bug mà bạn không nghĩ ra nổi kịch bản.
- Đưa vào CI với vài nghìn seed mỗi lần push, và luôn in seed khi fail để ai cũng replay được.
Lần tới gặp một bug “chỉ xảy ra trên production, một tuần một lần”, bạn sẽ có một lựa chọn tốt hơn là ngồi đọc log và cầu nguyện.
Top comments (0)