Skip to content

[Future][Governance] Turn recurring agent papercuts into evidence-linked improvement proposals #263

Description

@kevintseng

目標

讓重複出現、可歸因的 agent friction 或 skill papercut 能被整理成有證據的 improvement 提案,交由人類接受、拒絕或延後;系統不得自動修改 Skill、產品行為或正式政策。

問題

單次錯誤可能只是偶發事件,原始 transcript 或 tool trace 又可能包含私人內容與高 cardinality 資料。若完全不整理,重複摩擦會持續浪費工作;若直接自我修改,則會把不完整觀察升格為未授權政策。

工作內容

  • 定義可接受的最小 papercut signal:失敗分類、surface、bounded fingerprint、發生次數、版本/host identity、已知 workaround 與 evidence handles。
  • 只從既有、允許的 lesson/receipt/evaluation 路徑建立候選,不新增第二套 event store。
  • 在達到預先定義的 recurrence、evidence quality 與 privacy gate 後,以 idempotent 方式建立或更新一個 evidence-linked improvement proposal。
  • 合併相同 root cause,分開不同 root cause;不得只因錯誤文字相似就合併。
  • 提案必須包含問題、候選改變、success criteria、failure scenario、來源與限制。
  • human accept/reject/defer 仍使用既有治理路徑;accept 只代表工作被接受,不代表 implementation 或 outcome verified。
  • 定義 retention、cardinality、redaction、secret rejection 與 owner graph isolation。

完成證據

  • 一次性或低證據事件不會自動產生公開政策或重複提案。
  • 相同 bounded fingerprint 的重跑保持 idempotent,且來源 evidence 可追溯。
  • 不同 root cause 不會被錯誤合併;故意相似的錯誤文字有負面測試。
  • Raw prompts、transcripts、tool arguments、credentials、私人 payload 與 secrets 不被寫入 proposal。
  • Agent 無法透過 public input 自行宣稱 proposal 已被人類接受。
  • Proposal acceptance 不會自動修改 Skill、source、configuration、release scope 或 task state。
  • Simplification review 證明重用現有 improvement/dream staging 與 review lifecycle,沒有平行 approval system。
  • Fresh packaged/runtime replay 證明 create、dedupe、reject/defer、accept 與 evidence readback 的完整邊界。

相依與非目標

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions