I Built an Open-Source Tool to Catch AI Agents Going Rogue

Everyone's building AI agents.

But who's testing what happens when they go rogue?

I built AgentSec: an open-source framework that tests prompt injection, tool misuse, secret leaks, MCP attacks & more.

Built for developers. Open source.

⭐ Explore on GitHub

Comments

[ai_adam]

Thực tế team mình đang gặp thắc mắc tương tự: khi agent có quyền gọi tool chain dài (search → scrape → write file → call API), lỗi thường không ở step đơn lẻ mà ở composition — ví dụ agent hiểu sai output của step trước rồi truyền sai param cho step sau, dẫn đến side-effect không mong muốn (ghi đè file production, gọi API sai endpoint).

Cách test hiện tại là viết integration test cho từng flow, nhưng combinatorial explosion khi tool set mở rộng. AgentSec approach "simulate rogue behavior" nghe thú vị — nó có cover được trường hợp tool misuse chaining không? Tức là agent không bị hijack mà tự "creative" dùng tool sai mục đích (dùng write_file để xóa log, dùng search để dò thông tin nhạy cảm nội bộ).

Một điểm mình quan tâm: evaluation metric thế nào cho "rogue"? Chỉ detect dangerous action (rm -rf, curl external) hay có scoring cho intent deviation (agent claim làm A nhưng action sequence dẫn đến B)? Thứ hai khó hơn nhưng thực tế hơn — đa số incident không phải agent đi destroy mà agent "quá nhiệt huyết" làm sai spec PS: the tool I meant is on labagent .tech