claude plugin eval: プラグインの価値を数字で証明する時代

プラグインを作ったとする。でもそのプラグインは本当にClaudeをより良く動作させているか？直感ではなく数字で確かめたい。 それが今できるようになった。

2026年9月11日、AnthropicがClaude Code v2.1.269にclaude plugin evalコマンドを公開した。プラグインが実際にどれだけ効果があるかを測定する専用evalハーネスだ。

核心アイデア: 「プラグインあり vs なし」

Δ（デルタ）の意味

claude plugin evalの設計は単純だ。すべてのテストケースを2回実行する:

• with-arm: プラグインがロードされた状態
• without-arm: プラグインがない基本状態

2つの結果の差、**Δ（デルタ）**がプラグインの実際の貢献値だ。スコアが上がればプラグインが貢献し、下がれば逆に邪魔をしていることになる。

以前は「うまく動いている気がする」という直感に頼っていた。今はΔ = +0.23と言える。

6種類のグレーダータイプ

Anthropicは6種類のグレーダーを提供する。4つは無料、2つは有料（LLM呼び出しベース）だ。

無料グレーダー（トランスクリプト・ファイルベース）

有料グレーダー（LLM呼び出し）

• llm: LLMが出力を読んで品質を評価する
• baseline: with-armとwithout-armの出力を直接比較してより良い方を選ぶ

CIパイプラインへの統合

主要フラグ

claude plugin eval --threshold 0.8 --max-cost-usd 20

• --threshold 0.8: 合計スコアが0.8未満ならビルド失敗
• --max-cost-usd 20: LLMグレーダーコストが$20超で停止

この2つのフラグをGitHub ActionsやCIパイプラインに追加すれば、プラグインスコアが基準を下回るコード変更がマージされなくなる。

レポート形式

実行後にJSON + HTMLレポートが生成される。HTMLレポートでは各テストケースごとのwith/without結果を視覚的に比較できる。

プラグイン開発者にとって変わること

この機能が登場する前、プラグイン開発のフィードバックループは長かった: 作る → 手動で試す → 「いい感じ」の感覚でリリース。今は:

1. テストケースを書く
2. claude plugin evalを実行する
3. Δを確認する
4. スコアが低いケースを改善する
5. CIにしきい値を統合する

プラグインがコードのように品質管理される時代になった。「使えばわかる」でリリースするプラグインと「Δ = +0.31、精度87%」を示すプラグイン、どちらを選ぶか。

教育ツール開発における示唆

エドテック視点では、この機能は重要な転換点だ。教育特化のClaudeプラグイン（学生の言語レベル調整、教師の授業設計支援、誤答フィードバック生成など）を開発者が「このプラグインは教育文脈でより良い結果を出すか」を数値で証明できる。

活用のヒント

• 最初は5テストケースから: 範囲を絞ってパイプラインの動作を確認してから拡大する。
• まず無料のregexグレーダーから: 無料グレーダーで基本動作を検証した後、有料llmグレーダーで品質を深掘りする。
• --max-cost-usdは必須設定: LLMグレーダーのコストはテストケース数によって急増する。

Sources:

• Anthropic Adds Plugin Evals to Claude Code With Six Graders
• Claude Code Plugin Evals Make Agent Extensions Testable
• Test plugins with evals - Claude Code Docs
• Anthropic Adds Plugin Evals to Claude Code: 6 Grader Types, a No-Plugin Baseline, and a CI Gate for Skills