[Future][Research] Evaluate whether graph relations improve agent answers beyond text recall

[kevintseng]

目標

以可重播的 paired evaluation 回答：在相同事實、模型與任務下，現有 graph relations 是否比純文字 recall 更能提升正確率、降低探索成本，並在缺少證據時保持正確 abstention。這是研究與 GO/NO-GO gate，不預設關係圖一定有正收益。

實驗設計

• 延用 [Future][Token Efficiency] Confirm measurable usage and freeze benchmark contract #251 的 benchmark contract 與 [Future][Token Efficiency] Build isolated paired A/B runner and freeze baseline #252 的隔離 runner，不建立第二套 harness、scorer 或 telemetry store。
• 使用相同 ground truth 與相同 memories，至少比較：
  • text-only：只使用 entity text 與既有文字 ranking；
  • relation-aware：允許使用現有關係與方向，但不新增或推測 edge。
• 案例覆蓋 dependency、ownership、supersedes、contradicts、evidence-for、learned-from，以及 missing、stale、cyclic、duplicate、malformed 與跨 project/scope 邊界。
• 正面 case 必須真的需要關係才能更有效回答；負面 case 必須拒絕由相似文字或不存在的 edge 推出結論。
• 分開記錄 task correctness、abstention、false grounding、unsupported answer、tool calls、authoritative token usage、wall time、fallback 與 termination reason。

決策 gates

• Critical scope、privacy、stale/unsupported answer：零 regression。
• 關係型案例的 paired task success 達到 [Future][Token Efficiency] Confirm measurable usage and freeze benchmark contract #251 預先凍結的最小有意義效果。
• 非關係型案例沒有因載入 relations 造成顯著成本或錯誤回退。
• 每個 relation-backed answer 能指出實際使用的 entity／edge；citation 只證明使用，不自動證明答案正確。
• 缺少權威 token usage 時標為 UNMEASURABLE，不得以字元數冒充。

完成證據

• Corpus、edge set、case identity、source SHA、package digest 與 scorer contract 在正式結果前凍結。
• 故意刪除、反轉或加入錯誤 edge 時，對應 case 會失敗或 abstain。
• Text-only 與 relation-aware arms 取得相同底層事實與限制。
• 結果包含 raw rows、excluded ledger、95% confidence interval 與可重算 summary。
• 產出 GO、LIMITED-GO 或 NO-GO disposition，並限定到實際量測的 relation types 與 workload。
• 若需要產品修改，另開最小 implementation issue；本研究 issue 不授權改 ranking、storage 或 injection。

非目標

• 不建立大型企業索引、AST/call graph 或自動 relation inference。
• 不以節點／edge 數量、citation 數或展示圖表作為成功指標。
• 不指定版本號、日期或 assignee。