[Future][Token Efficiency] Re-evaluate MCP compact default with frozen evidence

[kevintseng]

Parent roadmap: #250

目標

用 #251 凍結的合約與 #252 的同一 runner，比較 current-full 與 MCP compact candidate，決定是否改變 MCP 預設。此任務是決策 gate，不預設 compact 一定勝出。

候選與重跑規則

• 固定一個 source revision、package digest、tool-registry digest 與 corpus digest。
• 正式結果開始後不得修改 prompts、cases、scorer、sample size 或 gates。
• 若發現 benchmark defect，建立新 contract version，baseline 與 candidate 全部重跑；不得只修不利的 rows。
• [Future][Optional] Add privacy-safe recall cost/usefulness observability #255 可為 deferred；[Future][Safety] Add source provenance and stale-memory safeguards #257 是獨立安全路線；[Future][Research] Measure tool-schema context cost and decide GO/NO-GO #256 只需有 GO/NO-GO disposition。

決策 gates

• Critical correctness、unsupported/stale answer、privacy 與 scope bypass：零 regression。
• Aggregate task success 通過 [Future][Token Efficiency] Confirm measurable usage and freeze benchmark contract #251 預先凍結的 non-inferiority rule。
• Paired session input-token savings 達到 [Future][Token Efficiency] Confirm measurable usage and freeze benchmark contract #251 凍結的最小有意義效果，且 95% confidence interval 下界大於 0。
• Tool calls、fallback full reads、retries 與 latency 沒有超過預先凍結的回退門檻。
• 每個 MCP compact response 都符合最終 wire byte cap，並保留 semantic-only、degraded、conflict 與兩種 truncation signals。
• 沒有權威 usage 的 rows 保留為 UNMEASURABLE，不加入 token-saving claim。

決策結果

• GO：只對實際量測且通過的 MCP host/client 改變預設，並保留明確 full escape hatch。
• OPT-IN：品質可接受但節省證據不足，維持 compact opt-in。
• NO-GO：品質、安全或成本 gate 失敗，移除或不推出預設變更，並公開失敗 gate。

完成證據

• Raw rows、excluded ledger、deterministic summary 與 artifact manifest 齊全。
• Reviewer 從 raw rows 獨立重算每個數字與 gate。
• Fresh packaged-install replay 覆蓋被量測的 MCP clients 與 legacy full consumer。
• 報告分開呈現 quality、tokens、tool calls、fallbacks、latency 與 failures。
• 結論只描述實際 workload/model/host/client/revision，不宣稱普遍節省。
• Merge、release、publication 或預設值變更仍需另外授權。

相依關係

Blocked by #251、#252、#253、#254 與 #259。