Skip to content

Latest commit

 

History

7 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

TaskContext-Kit (TCK)

LLM Context Management System — Memory-Feeding Separation for AI Conversations

大模型上下文管理系统 —— 记忆与投喂分离,让每一次对话都精准高效

Keywords: LLM Context Management Context Window Context Drift 上下文漂移 Context Pollution 上下文污染 Token Optimization Multi-turn Dialogue Prompt Engineering Memory Management ChatGPT Claude AI Conversation 上下文管理 大模型 长对话


🚀 立即体验

系统访问地址: https://ctk.cyber001.cn/official/

打开即用,无需注册会员,无需积分,自备大模型 API Key 即可开始。


📖 项目简介

TaskContext-Kit(简称 TCK)是一个面向开发者的大模型上下文管理系统。

它解决一个核心问题:大模型在长对话中越聊越"笨"(Context Drift / Context Pollution / Token Waste)。

你是否遇到过以下场景:

  • 聊到第 20 轮,模型已经忘了你最开始的需求(Context Drift)
  • 对话里混入了无关信息,模型被带偏越走越远(Context Pollution)
  • 敏感信息混入上下文,存在泄露风险(Data Security Risk)
  • 被迫新建对话,之前所有背景丢失,重新描述需求(Context Loss)
  • 冗余消息堆积导致 Token 成本翻倍(Token Waste)

TCK 通过"记忆与投喂分离"的架构,从工程层面系统性地解决了这些问题。

核心痛点

上下文漂移(Context Drift):随着对话轮次增加,模型对早期设定的关注度持续下降。你最开始明确的需求和约束,在十几轮讨论后被海量后续消息稀释,模型逐步"忘记"初衷,输出开始跑偏走样。这不是模型能力问题,而是上下文窗口中信息权重随长度增加而自然衰减的结果。

上下文污染(Context Pollution):无关信息、错误推断、甚至试探性的想法一旦进入上下文,就会持续干扰后续推理。你随口问了一句"如果用另一种方案会怎样",模型可能就把这当成了既定决策,越走越偏。被否定的思路也不会自动消失,而是留在上下文中反复干扰。


🏗️ 核心架构

记忆与投喂分离

传统大模型对话中,所有消息全量塞入上下文,无法裁剪。TCK 将上下文管理拆分为两层:

层级 说明 特点
记忆层 所有消息永久完整保存在本地数据库 可回溯、可搜索、可恢复
投喂层 每次请求精确裁剪子集发送给模型 可控、精准、高效

六种上下文裁剪策略

策略 说明 典型场景
headTail 首尾保留 保留开头系统设定 + 最近对话,中间省略 常规长对话,需保持设定一致性
manualCut 手动截断 手动指定截断点,之后内容不送入模型 阶段切换,归档已完成的讨论
slidingWindow 滑动窗口 只保留最近 N 条消息 快速迭代、短期任务
expireTime 过期时间 设定时间窗口,仅保留范围内消息 按时间段管理的任务
fieldCut 字段截取 只保留特定字段,过滤推理过程 信息密度高但冗余多的场景
full 全量上下文 不裁剪,全部送入模型 重大决策点,需完整信息

⚡ 模型输出模式:标准输出与深度思考

TCK 支持两种模型输出模式,根据任务需求灵活切换:

输出模式 说明 适用场景
标准输出 模型直接给出回答,不包含推理过程 日常问答、代码生成、简单任务
深度思考 模型展示完整思考链(thinking),再给出最终结论 架构设计、复杂推理、Bug 根因分析、技术选型

深度思考不浪费 Token

这是 TCK 的一个重要设计。深度思考模式下,模型会生成较长的思考链,但通过 TCK 的上下文裁剪机制,思考链不会持续堆积在上下文中:

  • 思考链不入投喂层:使用 fieldCut 策略时,可以只保留模型的最终结论,过滤掉中间的思考过程
  • 记忆层完整保存:思考链仍然完整保存在记忆层中,需要时可以随时回看
  • Token 消耗可控:每轮思考链用完即弃,不会像原生对话那样累积膨胀

也就是说,你可以放心使用深度思考模式来处理复杂问题,不用担心思考链导致后续对话的 Token 成本飙升。


📐 Token 节约可视化

TCK 对话界面中实时显示 裁剪后 Token 数量 与 原生会话 Token 数量 的对比,让节约一目了然。

每次发送请求时,界面会同时展示两个数值:

显示指标 说明
原生 Token 如果不裁剪,全量上下文将消耗的 Token 数
实际投喂 Token 经过裁剪策略处理后,实际发送给模型的 Token 数
节约量 两者差值,即本次裁剪节约的 Token 数

这意味着你不需要自己估算,切换策略的瞬间就能看到效果:从 headTail 切换到 slidingWindow,Token 数从 12000 降到 3000,界面直接告诉你省了 9000 Token。每一次裁剪、每一次策略切换,节约都可见、可量化。


🔬 理论依据

上下文衰减不是主观感受,而是已被学术研究反复验证的客观现象。以下是与 TCK 设计理念密切相关的研究:

论文 核心发现 与 TCK 的关联
arXiv:2510.07777 多轮对话中上下文漂移最终稳定在有限噪声平衡态,干预可显著降低 TCK 的裁剪策略即"干预"手段
arXiv:2509.01093 "Natural Context Drift":LLM 准确率随上下文偏离下降超 30% 量化了上下文漂移的危害
arXiv:2512.06869 Rhea 论文定义"累积上下文衰减":注意力污染、稀释和漂移 TCK 记忆/投喂分离直接对抗三者
Chroma Research 2025 Context Rot 测试 18 个前沿模型,全部随输入长度增加而性能下降 证明问题普遍性,非个别模型缺陷
arXiv:2508.04664 Sculptor:前摄干扰导致长上下文性能下降,提出主动上下文管理 TCK 的 manualCut 策略即"主动管理"
arXiv:2504.01707 InfiniteICL:上下文窗口限制对 ICL 的制约,短期记忆转长期记忆 TCK 记忆层即"长期记忆"实现

🆚 与原生大模型对话对比

对比维度 原生对话 (ChatGPT/Claude 等) TCK
上下文控制 全量塞入,无法裁剪 六种策略精准裁剪
污染处理 污染后只能新建对话 可屏蔽无效对话,不丢失历史
历史管理 新建即丢失全部背景 记忆层完整保存,可回溯可恢复
模型切换 切换模型需重新对话 同一上下文无缝切换多模型
数据安全 数据存储在服务商服务器 记忆层存储在本地数据库
Token 成本 随对话增长线性膨胀 裁剪后可节约 40%-70% Token
可复现性 不同阶段答案不一致 投喂层可控,结果可复现

📊 实际使用效果(个人体验估算)

指标 原生对话 使用 TCK 后 提升
Token 消耗 基准值 减少 40%-70% 显著节约
响应速度 基准值 提升 2-8 秒/次 更快
需求重述次数 频繁 大幅减少 减少重复劳动
项目周期 基准值 中型项目节约 3-7 天 效率提升

以上数据为个人使用体验估算,实际效果因使用场景而异。


💡 典型应用场景

  • 架构设计评审:多轮讨论中保持架构原则一致性,防止决策漂移
  • Bug 排查与调试:屏蔽已排除的错误方向,聚焦当前排查路径
  • 代码重构:保留重构目标和约束,过滤中间讨论噪音
  • 技术选型对比:同一上下文切换不同模型对比方案
  • 需求迭代开发:按阶段管理上下文,阶段间无缝切换

🔧 使用方式

平台说明

TCK 为网页端 Web 版本,无需下载安装任何客户端。在浏览器中打开即用,切换电脑或设备也能正常访问,任务和数据不丢失。目前暂无手机端 App,建议在电脑端浏览器使用以获得最佳体验。

快速开始

  1. 访问系统地址:https://ctk.cyber001.cn/official/
  2. 配置你的大模型 API Key(支持所有 OpenAI 兼容接口)
  3. 创建任务,开始对话
  4. 根据场景选择裁剪策略

使用门槛

  • 无需会员
  • 无需订阅
  • 无需积分
  • 打开就能用

费用说明

  • 系统本身不收费
  • 只需自备大模型 API Key(OpenAI 兼容接口)
  • 系统不代收、不转售、不加价
  • Token 费用由模型服务商直接收取

📁 项目结构

TaskContext-Kit/
├── README.md                  # 项目介绍(本文件)
├── docs/
│   ├── getting-started.md     # 快速上手
│   ├── strategies.md          # 六种裁剪策略详解
│   ├── architecture.md        # 架构设计说明
│   └── faq.md                 # 常见问题
├── .github/
│   └── ISSUE_TEMPLATE/
│       └── bug-report.md      # 问题反馈模板
└── LICENSE                    # 许可证(不开源,保留所有权利)

📝 许可证

本项目为闭源项目,保留所有权利(All Rights Reserved)。

本仓库仅用于项目介绍、文档分享和技术推广,不包含源代码。


🤝 联系与反馈


⭐ 支持项目

如果 TCK 对你的工作有帮助,欢迎 Star 支持一下!

About

LLM Context Management System | Memory-Feeding Separation | Context Drift & Pollution Solution | Token Optimization | 大模型上下文管理

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors