DEV Community

Cover image for 포스트맨 컬렉션 러너 제한: 변경점 및 해결 방법
Rihpig
Rihpig

Posted on • Originally published at apidog.com

포스트맨 컬렉션 러너 제한: 변경점 및 해결 방법

요약

Postman이 무료 요금제에서 Collection Runner 접근을 제한하면서, 업그레이드하지 않은 팀의 자동화된 API 테스트 실행이 중단될 수 있습니다. 이 변경은 로컬 테스트 실행, CI/CD 파이프라인, 대량 요청 실행, 다단계 API 플로우 검증에 Runner를 사용하던 워크플로우에 직접적인 영향을 줍니다. 이 글에서는 무엇이 바뀌었는지, 어떤 문제가 발생하는지, 그리고 Apidog Runner를 사용해 제한 없이 테스트 실행을 구성하는 방법을 정리합니다.

지금 Apidog 사용해 보기

서론

Postman의 Collection Runner는 개발자가 API 컬렉션을 순서대로 실행하고, 요청 간 변수를 전달하며, 각 응답에 대한 테스트 어설션을 검증할 수 있게 해주는 핵심 기능이었습니다.

예를 들어 50개의 API 요청으로 구성된 컬렉션을 만든 뒤 Run Collection을 실행하면 다음 작업을 자동으로 처리할 수 있었습니다.

  • 인증 요청 실행
  • 응답에서 토큰 추출
  • 토큰을 환경 변수에 저장
  • 후속 요청에서 해당 토큰 사용
  • 각 응답에 대한 테스트 스크립트 실행
  • 최종 실행 결과 요약 확인

하지만 2026년 무료 요금제 축소 이후, Postman은 Collection Runner 접근을 제한했습니다. 무료 계정은 더 이상 월별 특정 횟수 이상 컬렉션을 실행할 수 없으며, 일부 Runner 기능은 유료 요금제로 이동했습니다.

이 변경은 특히 다음 팀에 영향을 줍니다.

  • PR 병합 전 API 스모크 테스트를 실행하는 팀
  • Newman 기반 CI/CD 파이프라인을 사용하는 팀
  • Postman 컬렉션으로 E2E API 테스트를 구성한 팀
  • 반복 실행을 통해 기본 부하 테스트를 수행하던 팀

Postman이 Collection Runner에서 변경한 내용

Postman 무료 요금제의 Collection Runner 제한은 크게 세 가지입니다.

1. 월별 실행 제한

무료 계정은 한 달에 실행할 수 있는 Collection Runner 횟수에 제한이 있습니다. Postman은 정확한 숫자를 명확히 공개하지 않았지만, 커뮤니티 보고에 따르면 월 약 25회 실행 수준으로 알려져 있습니다.

하루에 여러 번 테스트를 실행하는 개발자나 팀이라면 이 제한은 빠르게 소진됩니다.

예를 들어:

개발자 3명
각자 하루 2회 스모크 테스트 실행
월 제한 약 25회
Enter fullscreen mode Exit fullscreen mode

이 경우 약 4일 이내에 실행 제한에 도달할 수 있습니다.

2. Newman CLI 제한

Newman은 터미널과 CI 환경에서 Postman 컬렉션을 실행하는 오픈소스 CLI 도구입니다.

기존에는 내보낸 Postman 컬렉션 JSON 파일을 사용해 요금제와 무관하게 실행할 수 있었습니다. 하지만 2026년 이후 클라우드 동기화 컬렉션을 사용할 때 일부 Newman 기능이 Postman 계정의 요금제 등급과 다시 연결됩니다.

즉, CI에서 Newman을 사용하더라도 계정 기반 제한의 영향을 받을 수 있습니다.

3. 코드 없는 시각적 Runner 제한

Postman 사이드바에서 접근하는 시각적 Collection Runner도 실행 제한에 도달하면 무료 계정에서 더 이상 사용할 수 없거나 유료 기능으로 표시될 수 있습니다.

다만 다음 작업은 여전히 제한되지 않습니다.

단일 요청에서 Send 버튼을 눌러 수동 실행
Enter fullscreen mode Exit fullscreen mode

즉, 제한 대상은 개별 요청 실행이 아니라 자동화된 컬렉션 단위 일괄 실행입니다.

실제로 무엇이 문제인가

사전 커밋 및 사전 배포 스모크 테스트

많은 팀은 PR을 병합하거나 스테이징 환경에 배포하기 전에 API 스모크 테스트를 실행합니다.

예를 들어 다음과 같은 컬렉션이 있다고 가정합니다.

auth/login
users/me
orders/create
orders/list
payments/prepare
payments/confirm
Enter fullscreen mode Exit fullscreen mode

이 컬렉션을 매번 Runner로 실행해 배포 전 최소 검증을 수행했다면, 실행 제한에 도달하는 순간 해당 워크플로우가 멈춥니다.

결과적으로 팀은 다음 중 하나를 선택해야 합니다.

  • 테스트 실행 횟수 줄이기
  • 일부 요청만 수동 실행하기
  • 유료 요금제로 업그레이드하기
  • 다른 Runner로 마이그레이션하기

CI/CD 파이프라인

Newman 기반 CI 파이프라인은 가장 큰 영향을 받습니다.

기존 GitHub Actions 예시는 다음과 같습니다.

- name: Run API tests
  run: newman run ./collections/api-tests.json -e ./environments/staging.json
Enter fullscreen mode Exit fullscreen mode

이 워크플로우는 다음 이벤트마다 실행될 수 있습니다.

  • pull request 생성
  • push
  • staging 배포
  • release 브랜치 병합
  • nightly build

계정 제한에 도달하면 테스트 단계가 실패하거나 속도 제한 관련 오류가 발생할 수 있습니다. 이 경우 애플리케이션 코드 문제가 아닌 도구 사용량 제한 때문에 CI가 실패합니다.

종단 간 API 테스트 스위트

Postman Runner는 요청 간 데이터를 전달하는 다단계 테스트에 자주 사용됩니다.

예를 들어 첫 번째 요청에서 토큰을 저장합니다.

const json = pm.response.json();
pm.environment.set("access_token", json.access_token);
Enter fullscreen mode Exit fullscreen mode

다음 요청에서는 해당 토큰을 사용합니다.

Authorization: Bearer {{access_token}}
Enter fullscreen mode Exit fullscreen mode

Runner 제한이 적용되면 이런 흐름을 자동으로 실행하기 어렵습니다. 개발자는 요청을 하나씩 수동 실행해야 하고, 테스트 재현성과 속도가 떨어집니다.

부하 및 성능 테스트

Postman Collection Runner에는 다음 옵션이 있습니다.

  • iterations
  • delay
  • data file

이를 사용하면 같은 컬렉션을 여러 번 반복 실행해 간단한 부하 테스트를 구성할 수 있습니다.

예:

iterations: 100
delay: 200ms
Enter fullscreen mode Exit fullscreen mode

하지만 실행 제한이 적용되면 무료 요금제에서 이 사용 사례는 사실상 유지하기 어렵습니다.

Postman 내에서 즉시 적용 가능한 해결 방법

도구를 바로 전환하기 어렵다면, Postman 생태계 안에서 다음 우회 방법을 사용할 수 있습니다.

1. 컬렉션을 내보내고 Newman을 로컬 파일로 실행하기

Newman은 로컬 JSON 파일을 읽어 실행할 수 있습니다. 클라우드 동기화 기능을 사용하지 않는다면 Postman 계정 로그인 없이 실행할 수 있습니다.

먼저 Postman에서 다음 파일을 내보냅니다.

  • collection.json
  • environment.json

그다음 로컬에서 실행합니다.

newman run collection.json -e environment.json
Enter fullscreen mode Exit fullscreen mode

JSON 리포트가 필요하다면 다음과 같이 실행합니다.

newman run collection.json \
  -e environment.json \
  --reporters cli,json \
  --reporter-json-export results.json
Enter fullscreen mode Exit fullscreen mode

장점:

  • 계정 기반 Runner 제한을 피할 수 있음
  • CI에서 계속 Newman 사용 가능

단점:

  • Postman 워크스페이스와 실시간 동기화되지 않음
  • 컬렉션이 바뀔 때마다 다시 내보내야 함

2. 큰 컬렉션을 작은 컬렉션으로 분할하기

월간 실행 제한에 가까워졌다면 큰 컬렉션을 여러 개로 나눌 수 있습니다.

예:

api-tests-full.json
Enter fullscreen mode Exit fullscreen mode

대신:

auth-tests.json
user-tests.json
order-tests.json
payment-tests.json
Enter fullscreen mode Exit fullscreen mode

이 방식은 특정 테스트만 선택 실행할 수 있다는 장점이 있지만, 근본적인 해결책은 아닙니다. 특히 인증 → 주문 → 결제처럼 흐름이 이어지는 테스트는 분리하면 관리가 어려워집니다.

3. CI 실행 계정만 선택적으로 업그레이드하기

팀 전체를 유료 요금제로 업그레이드하기 어렵다면 CI에서 사용하는 계정만 유료 요금제로 전환하는 방법도 있습니다.

구성 예시는 다음과 같습니다.

개발자 계정: 무료 요금제
CI 전용 계정: 유료 요금제
Enter fullscreen mode Exit fullscreen mode

이 방식은 비용을 줄일 수 있지만, 여전히 특정 계정과 요금제에 CI 안정성이 의존합니다.

Apidog의 Collection Runner가 다른 방식

Apidog의 Runner는 테스트 시나리오(Test Scenarios) 또는 각 컬렉션의 Run 버튼을 통해 사용할 수 있습니다.

핵심 차이는 다음과 같습니다.

  • 무료 요금제에서도 월별 Runner 실행 제한 없음
  • CLI 기반 CI/CD 실행 가능
  • 요청 간 변수 전달 가능
  • 테스트 어설션 실행 가능
  • 실행 결과 요약 제공

Postman 무료 요금제의 제한과 비교하면 다음과 같습니다.

기능 Postman 무료 Apidog 무료
Runner 실행 횟수/월 약 25회로 보고됨 무제한
CI/CD 실행 CLI 제한됨 무제한
실행당 반복 횟수 제한됨 무제한
변수를 사용한 요청 연결 제한됨 무제한
테스트 어설션 사용 가능 사용 가능
실행 요약 보고서 사용 가능 사용 가능

Apidog CLI Runner인 apidog-cli는 Newman과 비슷한 방식으로 CI/CD에 통합할 수 있습니다.

예:

apidog run {project-id} --collection {collection-id} --environment {env-id}
Enter fullscreen mode Exit fullscreen mode

또는 프로젝트 기반 실행을 구성할 수 있습니다.

apidog run --project {project-id} --env {env-id}
Enter fullscreen mode Exit fullscreen mode

CI 파이프라인에 Apidog Runner 설정하기

Newman 기반 파이프라인을 Apidog로 마이그레이션할 때의 기본 흐름은 다음과 같습니다.

기존 Newman 워크플로우 

- name: Install Newman
  run: npm install -g newman

- name: Run API tests
  run: newman run ./collections/api-tests.json -e ./environments/staging.json --reporters cli,json --reporter-json-export results.json
Enter fullscreen mode Exit fullscreen mode

이 방식은 로컬에 저장된 컬렉션과 환경 파일을 기준으로 실행합니다.

Apidog CLI 워크플로우 

- name: Install Apidog CLI
  run: npm install -g apidog-cli

- name: Run API tests
  run: apidog run --project {project-id} --env {env-id} --output results.json
  env:
    APIDOG_ACCESS_TOKEN: ${{ secrets.APIDOG_ACCESS_TOKEN }}
Enter fullscreen mode Exit fullscreen mode

주요 차이는 다음과 같습니다.

항목 Newman Apidog CLI
인증 Postman API 키 또는 로컬 파일 Apidog 액세스 토큰
실행 대상 로컬 collection/environment JSON Apidog 프로젝트 및 환경
CI 연동 가능 가능
JSON 결과 출력 가능 가능

GitHub Actions에서는 APIDOG_ACCESS_TOKEN을 repository secret으로 저장한 뒤 환경 변수로 주입하면 됩니다.

env:
  APIDOG_ACCESS_TOKEN: ${{ secrets.APIDOG_ACCESS_TOKEN }}
Enter fullscreen mode Exit fullscreen mode

Newman을 계속 사용하고 싶은 경우

Newman 인터페이스를 유지하고 싶다면 Apidog 컬렉션을 Postman 호환 JSON으로 내보낸 뒤 Newman으로 실행할 수 있습니다.

newman run apidog-exported-collection.json -e environment.json
Enter fullscreen mode Exit fullscreen mode

이 방식은 다음 상황에 적합합니다.

  • 팀이 이미 Newman 리포터를 사용 중인 경우
  • 기존 CI 스크립트를 크게 바꾸고 싶지 않은 경우
  • 로컬 파일 기반 오프라인 실행이 필요한 경우

Apidog의 고급 Runner 기능

Apidog Runner는 기본 컬렉션 실행 외에도 자동화 테스트에 필요한 기능을 제공합니다.

데이터 기반 테스트

CSV 또는 JSON 파일을 사용해 같은 컬렉션을 여러 데이터 세트로 실행할 수 있습니다.

예를 들어 CSV 파일이 다음과 같다고 가정합니다.

email,password
user1@example.com,password1
user2@example.com,password2
user3@example.com,password3
Enter fullscreen mode Exit fullscreen mode

Runner는 각 행을 하나의 반복으로 처리할 수 있습니다.

이 방식은 다음 테스트에 유용합니다.

  • 로그인 케이스 반복 검증
  • 여러 사용자 역할별 API 테스트
  • 다양한 입력값에 대한 validation 테스트

사용자 지정 반복 횟수

Runner 실행 시 반복 횟수를 지정할 수 있습니다.

예:

iterations: 500
Enter fullscreen mode Exit fullscreen mode

이를 사용하면 기본적인 스트레스 테스트 또는 안정성 검증을 수행할 수 있습니다. 월별 실행 카운터를 걱정하지 않고 필요한 만큼 반복 실행할 수 있다는 점이 핵심입니다.

스마트 목(Mock) 통합

Apidog Runner는 Apidog의 내장 목 서버와 함께 사용할 수 있습니다.

활용 예시는 다음과 같습니다.

아직 실제 API가 구현되지 않음
↓
Apidog Mock Server로 응답 정의
↓
Runner로 클라이언트 요청 테스트
Enter fullscreen mode Exit fullscreen mode

이 방식은 프론트엔드와 백엔드가 병렬로 개발되는 환경에서 유용합니다. 별도의 목 서버를 직접 구축하지 않아도 API 계약 기반 테스트를 실행할 수 있습니다.

예약 실행

Apidog에서는 외부 cron 작업이나 CI 트리거 없이 예약된 테스트 실행을 설정할 수 있습니다.

예:

매시간 실행
매일 오전 9시 실행
매주 월요일 실행
Enter fullscreen mode Exit fullscreen mode

실행 결과는 프로젝트의 테스트 기록에서 확인할 수 있습니다.

마무리

Postman의 Collection Runner 제한은 무료 요금제에서 자동화된 API 테스트와 CI 파이프라인을 구성한 팀에게 실질적인 장애물이 될 수 있습니다.

즉시 적용 가능한 선택지는 다음과 같습니다.

  1. Postman 컬렉션을 내보내 Newman으로 로컬 실행
  2. 컬렉션을 작은 단위로 분할
  3. CI 전용 계정만 유료 요금제로 업그레이드
  4. 실행 제한이 없는 Runner로 전환

Apidog Runner는 무료 요금제에서도 Runner 실행 제한 없이 컬렉션 실행, CLI 기반 CI/CD 통합, 변수 전달, 테스트 어설션, 반복 실행을 지원합니다. 기존 Newman 기반 파이프라인도 약간의 설정 변경으로 Apidog CLI 또는 Postman 호환 JSON 내보내기 방식으로 전환할 수 있습니다.

Top comments (0)