Skip to content

fix(cache): improve hybrid attention snapshot eviction - #1551

Open
sufubao wants to merge 1 commit into
ModelTC:mainfrom
sufubao:hybrid-cache-eviction
Open

fix(cache): improve hybrid attention snapshot eviction#1551
sufubao wants to merge 1 commit into
ModelTC:mainfrom
sufubao:hybrid-cache-eviction

Conversation

@sufubao

@sufubao sufubao commented Sep 8, 2026

Copy link
Copy Markdown
Collaborator

混合注意力模型匹配或插入更长前缀时,当前实现会刷新沿途所有节点的时间,使未实际使用的历史快照也被视为近期使用。快照容量紧张时,这可能挤掉其他对话的有效恢复点。另外,KV 回收达到目标后立即停止,可能在删除尾部快照后,仍保留一段已经无法独立恢复的 KV。

本次修改:

  • 小页快照独立记录使用时间,只在实际恢复该快照后刷新 LRU;遍历和重复插入不刷新已有快照,新补入的快照使用当前时间。
  • 删除尾部节点后,继续向上回收无引用、无快照的连续叶节点;遇到根节点、被引用的前缀、其他分支或有效的大小页快照时停止。
  • 补充中文注释,说明快照使用时机、排序维护和回收边界。

验证:开发期间的 13 项针对性 CPU 控制逻辑测试通过,覆盖快照新旧顺序、大小页恢复与回退、引用计数和回收边界;临时测试文件未纳入本 PR。Flake8 和 git diff --check 通过。尚未进行 GPU 推理或多轮对话性能实测。

@sufubao sufubao changed the title fix(cache): improve hybrid attention snapshot eviction fix(cache): 优化混合注意力快照淘汰与失效 KV 回收 Sep 8, 2026
@sufubao sufubao changed the title fix(cache): 优化混合注意力快照淘汰与失效 KV 回收 fix(cache): improve hybrid attention snapshot eviction Sep 8, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant