feat(metrics): aggregated FP/FN/cost/verdict-consistency dashboard

[justn-hyeok]

Problem

Telemetry hook 들이 session metadata 에 남지만 aggregated view 없음. "우리 시스템 FP rate 얼마?" 질문에 답 불가. 개선 효과 측정 기반 없음.

Why this matters

Metric 없이 튜닝 = 감으로 개선 주장. Reviewer 선택 / threshold / prompt 변경의 효과 입증하려면 dashboard 필수.

Proposed approach

수집 지표

• FP rate: human-labeled "false alarm" / total findings (feat(chunking): context-aware diff truncation for large PRs #470 FN framework 와 공유 infra)
• FN rate: missed bugs / known bugs (same)
• Verdict consistency: 동일 PR 반복 시 일치율 (feat(evidence): score evidence quality not just presence #468)
• Cost/PR: token 사용량 × 모델별 단가
• Latency p50/p95: review 총 소요 시간
• Forfeit rate: 리뷰어 실패율 per provider

Surface

• agora metrics --from 2026-01-01 — CLI 보고서
• agora dashboard — localhost web (기존 web 패키지 확장)
• CI integration: PR 마다 주요 지표 post 옵션

Data flow

• Session metadata 를 sqlite 나 json index 에 aggregate
• 주기적 집계 job (agora metrics aggregate)

Acceptance criteria

• MetricsStore 추상화 (packages/core/src/metrics/)
• Aggregator 스크립트
• CLI 보고서 출력
• Web 대시보드 차트 (기존 web 패키지에 추가)
• 문서: 각 지표 정의 + 측정 방법

References

• packages/core/src/pipeline/telemetry.ts (기존 훅)
• packages/core/src/pipeline/session-manager.ts
• packages/web/ (기존 web 패키지)