claude plugin eval: 플러그인의 가치를 숫자로 증명하는 시대

플러그인을 만들었다고 치자. 그런데 그 플러그인이 정말 Claude를 더 잘 동작하게 하는가? 추측이 아니라 숫자로 보고 싶다. 이제 그게 가능해졌다.

2026년 9월 11일, Anthropic이 Claude Code v2.1.269에 claude plugin eval 명령어를 공개했다. 플러그인이 실제로 얼마나 효과가 있는지 측정하는 전용 eval 하네스다.

핵심 아이디어: "플러그인 있을 때 vs 없을 때"

Δ(델타)의 의미

claude plugin eval의 핵심 설계는 단순하다. 모든 테스트 케이스를 두 번 실행한다:

• with-arm: 플러그인이 로드된 상태
• without-arm: 플러그인이 없는 기본 상태

두 결과의 차이, **Δ(델타)**가 플러그인의 실제 기여값이다. 점수가 올랐으면 플러그인이 기여한 것이고, 떨어졌으면 오히려 방해가 된 것이다.

기존에는 플러그인이 "잘 되는 것 같다"는 직관에 의존했다. 이제는 Δ = +0.23이라고 말할 수 있다.

6가지 그레이더 타입

Anthropic은 6가지 그레이더를 제공한다. 4가지는 무료, 2가지는 유료(LLM 호출 기반)다.

무료 그레이더 (트랜스크립트·파일 기반)

유료 그레이더 (LLM 호출)

• llm: LLM이 출력을 읽고 품질을 평가
• baseline: with-arm과 without-arm 출력을 직접 비교해 더 나은 쪽을 선택

CI 파이프라인에 통합하기

핵심 플래그

claude plugin eval --threshold 0.8 --max-cost-usd 20

• --threshold 0.8: 총점이 0.8 미만이면 빌드 실패
• --max-cost-usd 20: LLM 그레이더 비용이 $20 초과 시 중단

이 두 플래그를 GitHub Actions나 CI 파이프라인에 추가하면, 플러그인 점수가 기준 이하로 떨어지는 코드 변경이 병합되지 않는다.

리포트 형식

실행 후 JSON + HTML 리포트가 생성된다. HTML 리포트에서는 각 테스트 케이스별 with/without 결과를 시각적으로 비교할 수 있다.

플러그인 개발자에게 달라지는 것

이 기능이 등장하기 전, 플러그인 개발의 피드백 루프는 길었다: 만들고 → 직접 써보고 → "괜찮은 것 같다"는 느낌으로 배포. 이제는:

1. 테스트 케이스 작성
2. claude plugin eval 실행
3. Δ 확인
4. 점수 낮은 케이스 개선
5. CI에 임계값 통합

플러그인이 코드처럼 품질 관리되는 시대가 됐다. 설명서 없이 "써보면 알아요"로 배포하는 플러그인과 "Δ = +0.31, 정확도 87%"를 보여주는 플러그인 중 어떤 것을 선택하겠는가.

교육 도구 개발에서의 시사점

에듀테크 관점에서 이 기능은 중요한 변곡점이다. 교육 특화 Claude 플러그인(학생 언어 수준 조정, 교사 수업 설계 지원, 오답 피드백 생성 등)을 만드는 개발자들이 이제 "이 플러그인이 교육 맥락에서 더 좋은 결과를 내는가"를 수치로 증명할 수 있다.

활용 팁

• 첫 테스트 케이스는 5개로 시작: 범위를 좁혀 파이프라인 동작을 먼저 확인한다.
• regex 그레이더로 비용 없이 시작: 무료 그레이더로 기본 동작을 검증한 뒤 유료 llm 그레이더로 품질을 심화 평가한다.
• --max-cost-usd 설정 필수: LLM 그레이더 비용은 테스트 케이스 수에 따라 급증할 수 있다.

Sources:

• Anthropic Adds Plugin Evals to Claude Code With Six Graders
• Claude Code Plugin Evals Make Agent Extensions Testable
• Test plugins with evals - Claude Code Docs
• Anthropic Adds Plugin Evals to Claude Code: 6 Grader Types, a No-Plugin Baseline, and a CI Gate for Skills