DEV Community

EME GUG
EME GUG

Posted on

When Upstream Disappears: Building a Dependency Safety Net with Lockfiles, Proxy Caches and Git Mirrors

Tuần này trên Hacker News có tin repo ONNX Runtime của Microsoft biến mất khỏi GitHub. Chưa cần biết lý do là gì, câu hỏi mình đặt ra ngay là: nếu sáng mai một dependency quan trọng của team mình bị xóa, bị đổi tên hoặc bị chuyển sang private, thì CI còn build được không? Với nhiều team mình từng làm cùng, câu trả lời thật là không. Build chạy pip install hoặc npm install thẳng lên internet, Dockerfile kéo image từ Docker Hub, Git submodule trỏ thẳng vào GitHub. Chỉ cần một mắt xích upstream đứt là cả pipeline đứng theo.

Bài này chia sẻ cách mình dựng một safety net gồm 3 lớp, vừa sức một team nhỏ và không cần mua công cụ enterprise nào.

Vì sao upstream biến mất là rủi ro có thật

Chuyện này không phải hiếm:

  • left-pad (2016): tác giả gỡ một package 11 dòng khỏi npm, hàng nghìn project build fail.
  • Maintainer xóa repo, bị DMCA takedown, hoặc tài khoản bị khóa.
  • Registry bị rate limit: từ 2020, Docker Hub giới hạn số lần pull ẩn danh, CI dùng chung IP rất dễ dính.
  • Version cũ bị yank trên PyPI, hoặc tag Git bị force-push sang commit khác.

Trường hợp cuối nguy hiểm nhất, vì build vẫn chạy nhưng code bên trong đã khác. Đó cũng là hướng tấn công supply chain phổ biến. Nên ngoài chuyện build được hay không, mình còn phải biết build có đúng thứ mình đã review hay không.

graph LR
    Dev[Developer / CI] --> Proxy[Proxy cache nội bộ]
    Proxy -->|cache miss| PyPI[PyPI]
    Proxy -->|cache miss| NPM[npm registry]
    Dev --> GitMirror[Git mirror nội bộ]
    GitMirror -->|sync định kỳ| GitHub[GitHub upstream]
    Dev --> Lock[Lockfile + hash]
    Lock -.verify.-> Proxy

Lớp 1: Lockfile và hash để biết chính xác mình dùng gì

Đây là lớp rẻ nhất mà nhiều team vẫn bỏ qua. Một file requirements.txt chỉ có requests>=2.31 thì gần như không đảm bảo được gì.

Với Python, mình dùng uv (bản 0.4 trở lên) để compile ra lockfile có kèm hash:

# requirements.in chỉ liệt kê dependency trực tiếp
uv pip compile requirements.in --generate-hashes -o requirements.txt

# Khi cài, bắt buộc kiểm tra hash. Sai một byte là fail ngay
pip install --require-hashes --no-deps -r requirements.txt

# Node.js: luôn dùng npm ci trong CI, không dùng npm install
npm ci --ignore-scripts
Enter fullscreen mode Exit fullscreen mode

Hash giải quyết bài toán "đúng thứ mình review": nếu ai đó thay nội dung của một version đã publish, hoặc proxy trả về file lạ, install sẽ fail ngay. npm ci thì dựa vào package-lock.json, vốn đã có trường integrity (SHA-512) cho từng package. Flag --ignore-scripts chặn các postinstall script, nơi malware hay ẩn nấp. Nếu project có package thật sự cần build native, hãy allowlist riêng chứ đừng mở cho tất cả.

Tuy vậy lockfile chỉ giúp phát hiện thay đổi. Package bị xóa hẳn thì lockfile không cứu được, và đó là việc của lớp 2.

Lớp 2: Proxy cache cho package registry

Ý tưởng đơn giản: mọi request cài package đi qua một proxy nội bộ. Lần đầu proxy lấy từ upstream rồi lưu lại, từ lần sau trả từ cache. Upstream có xóa package thì bản trong cache vẫn còn.

Với npm, mình dùng Verdaccio 6. Chạy bằng Docker là xong:

# docker-compose.yml
services:
  verdaccio:
    image: verdaccio/verdaccio:6
    ports:
      - 4873:4873
    volumes:
      - ./storage:/verdaccio/storage
      - ./conf:/verdaccio/conf

# conf/config.yaml (phần quan trọng)
# uplinks:
#   npmjs:
#     url: https://registry.npmjs.org/
#     cache: true
#     maxage: 30m
# packages:
#   '**':
#     access: $all
#     proxy: npmjs
Enter fullscreen mode Exit fullscreen mode

Sau đó trỏ client về proxy:

# Node
npm config set registry http://verdaccio.internal:4873/

# Python: devpi-server (bản 6.x) đóng vai trò tương tự cho PyPI
pip config set global.index-url http://devpi.internal:3141/root/pypi/+simple/
Enter fullscreen mode Exit fullscreen mode

Vài kinh nghiệm thực tế:

  • Backup thư mục storage. Cache mà mất thì safety net cũng mất theo. Mình snapshot volume mỗi đêm.
  • Warm cache có chủ đích: chạy một job CI cài toàn bộ lockfile của mọi project qua proxy, để những package hiếm khi dùng cũng có sẵn trong cache.
  • Docker image thì dùng registry:2 ở chế độ pull-through cache, hoặc copy hẳn image quan trọng về registry nội bộ bằng skopeo copy docker://python:3.12-slim docker://registry.internal/base/python:3.12-slim.

Lớp 3: Mirror các Git repo quan trọng

Có những thứ không đi qua package registry: Git submodule, dependency cài từ URL Git, hoặc source mình vá lại rồi tự build. Với nhóm này mình mirror toàn bộ repo, gồm mọi branch và tag:

#!/usr/bin/env python3
# mirror_repos.py - chạy bằng cron mỗi 6 tiếng
import subprocess
from pathlib import Path

MIRROR_DIR = Path("/srv/git-mirrors")
REPOS = [
    "https://github.com/microsoft/onnxruntime.git",
    "https://github.com/ggerganov/llama.cpp.git",
]

def sync(url: str) -> None:
    name = url.rstrip("/").split("/")[-1]
    target = MIRROR_DIR / name
    if not target.exists():
        subprocess.run(["git", "clone", "--mirror", url, str(target)], check=True)
        return
    # Không dùng --prune: upstream xóa tag thì mirror vẫn giữ lại
    result = subprocess.run(
        ["git", "-C", str(target), "remote", "update"],
        capture_output=True, text=True,
    )
    if result.returncode != 0:
        print(f"[WARN] {name}: upstream lỗi, giữ nguyên bản mirror cũ")
        print(result.stderr.strip())

if __name__ == "__main__":
    MIRROR_DIR.mkdir(parents=True, exist_ok=True)
    for repo in REPOS:
        sync(repo)
Enter fullscreen mode Exit fullscreen mode

Điểm quan trọng nhất là không prune. Nếu upstream xóa tag hoặc force-push, mirror vẫn giữ commit cũ. Muốn chặt hơn nữa, hãy pin dependency theo commit SHA chứ đừng pin theo tag, vì tag có thể bị dời sang commit khác còn SHA thì không.

Khi có sự cố, quy trình xử lý của team mình như sau:

flowchart TD
    A[CI fail: không tải được dependency] --> B{Proxy cache có bản này?}
    B -->|Có| C[Kiểm tra proxy config / network]
    B -->|Không| D{Git mirror có source?}
    D -->|Có| E[Build từ mirror, push lên registry nội bộ]
    D -->|Không| F[Tìm fork / bản thay thế, review lại code]
    E --> G[Verify hash và chạy test]
    F --> G
    G --> H[Cập nhật lockfile, ghi postmortem]

Kết luận

Upstream biến mất, bị yank hay bị thay nội dung đều là chuyện sớm muộn sẽ gặp. Việc của mình là đảm bảo lúc đó build không chết theo. Checklist bắt đầu ngay trong tuần này:

  1. Hôm nay: chuyển CI sang npm ci và pip install --require-hashes. Mất khoảng 30 phút mà chặn được cả lớp tấn công thay nội dung package.
  2. Tuần này: dựng Verdaccio hoặc devpi bằng Docker, trỏ CI về đó, và nhớ backup thư mục storage.
  3. Liệt kê 5-10 dependency "sống còn" của hệ thống (runtime ML, base image, library tự vá), rồi mirror source bằng git clone --mirror với cron, không prune.
  4. Pin bằng commit SHA hoặc digest (image@sha256:...) thay vì tag cho những thứ quan trọng.
  5. Diễn tập 1 lần: chặn internet trong CI runner rồi thử build. Fail ở đâu thì đó là lỗ hổng tiếp theo cần vá.

Cả ba lớp này đều không tốn nhiều công. Nhưng đến lúc upstream biến mất thật, team đã chuẩn bị chỉ cần đọc tin trên HN, còn team chưa chuẩn bị sẽ phải ngồi chữa cháy cả ngày.

Top comments (0)