When feeding full repositories to AI coding agents, a significant portion of your token budget is wasted on boilerplate: long lists of external imports, standard license headers, and repetitive utility declarations.
Simply stripping whitespace is dangerous: Python, YAML, and formatted strings break immediately.
In TokenCap, we built src/pack/fold.js to perform format-aware context folding.
How Folding Operates
- Import Clustering: The tokenizer detects consecutive import statements and condenses them into a single-line structural fold:
// [Folded 18 imports: React, Lucide-React, Lodash]
- Boilerplate Detection: Repetitive comments and generated boilerplate are collapsed while preserving function names and parameter lists.
- Syntax Boundary Snapping: Folds snap cleanly between statement blocks so incomplete syntax trees are never generated.
# Preview how folding compresses your repository snapshot
tokencap make --profile balanced
CLI breakdown:
Raw source volume: 38,400 tokens
After format-aware folding: 16,200 tokens (58% reduction)
Syntax integrity checks: 100% passed
The model receives the exact functional signatures it needs without paying for dozens of lines of repetitive import paths.
Read more at tokencap.vansharora.app
Top comments (1)
Việc tối ưu hóa context window bằng cách lược bỏ các phần lặp lại như imports là hướng đi cực kỳ thực tế, nhất là khi làm việc với các repo lớn. Mình từng gặp tình trạng agent bị "loãng" thông tin hoặc vượt quá giới hạn token chỉ vì phải đọc đi đọc lại hàng trăm dòng import giống hệt nhau ở mỗi file. Một điểm cần lưu ý là khi thực hiện folding này, cần đảm bảo các dependency quan trọng vẫn được giữ lại ở một dạng metadata nào đó để agent không bị mất dấu các thư viện bên thứ ba đang sử dụng, tránh việc nó tự chế ra code không tồn tại — found it via LabAgent, site: labagent .tech