rag-kb — 本地 Agent 记忆服务 + 多 Agent 协作系统

English | 中文

本地优先、完全离线可用的 Agent 记忆与知识服务——REST + MCP 双协议，混合检索（向量 + BM25 归一化加权融合），文档/网页入库与 RAG 问答；无 LLM 时存取与检索完整可用。

本仓库含两个子系统（ROADMAP）：

开源协议：Apache-2.0（含专利授权，可商用）。

kb — 本地优先的 Agent 记忆与知识服务

Windows 单进程常驻（python -m kb serve），REST + MCP 双协议，向 Claude Code / Cursor / TraeWork / 自建 Agent 提供记忆写入、文档与网页入库、混合检索 （向量 + BM25 归一化加权融合）与 RAG 问答。

无 LLM 时存取与检索完整可用——记忆写入、文档入库、混合检索不依赖任何大模型； 配置本地 Ollama 或云端 API 后，/ask 问答能力自动启用。

核心特性

• 单进程常驻：一个 python -m kb serve 同时提供 REST API 与 MCP 端点，无需额外组件
• 混合检索：BGE-M3 向量检索 + BM25 关键词检索，归一化加权融合排序（每路 min-max 归一化后按生效路数均权，N32/N33），中文分词友好
  • 可选精排：KB_RERANK_ENABLED=true 启用 bge-reranker-v2-m3 交叉重排（默认关）
  • 可选三路：KB_SPARSE_ENABLED=true 启用 BGE-M3 稀疏向量第三路（默认关，失败自动降级双路）
• 记忆管理：写入 / 更新 / 删除 / 列表，支持 namespace、tags、type 过滤
• 记忆全共享（v3）：所有记忆/知识与任何客户端、任务、AI 全共享——本地单用户定位，跨 agent、跨任务读到同一份用户记忆；client/project 仅用于审计归类与元数据（不再隔离读写）；主键服务端生成
• 存取审计：每次写/读/改/删/检索/问答记 JSON 到 logs/agent-audit/<客户端>__<项目>.log（按 client+project 分文件）；用户可查：REST GET /api/v1/audit?client=<客户端>[&project=<项目>] 或 CLI kb audit --client <客户端>
• 知识入库：本地文档（txt/md/pdf/docx 等）上传或路径导入，网页正文抓取入库
• 目录监听：指定目录内新增/删除文件自动入库/清理（KB_WATCH_DIR）
• CLI 工具：kb add/search/stats/ask/eval/forget/dedup——终端直接完成写入、检索、统计与 RAG 问答
• 隐私护栏：敏感 namespace 强制本地回答不出网；/ask 智能路由（本地优先，难题可选云端）
• 断网可用：模型与数据全部落本地，无网络时存取与检索功能完整

快速开始（Windows / Linux / macOS）

Windows PowerShell：

# 1. 创建并激活虚拟环境
python -m venv venv
.\venv\Scripts\Activate.ps1

# 2. 安装依赖
pip install -r requirements.txt

# 3. 启动服务（默认监听 http://127.0.0.1:8000）
python -m kb serve

Linux / macOS：

# 1. 创建并激活虚拟环境
python3 -m venv venv
source venv/bin/activate

# 2. 安装依赖
pip install -r requirements.txt

# 3. 启动服务
python -m kb serve

重要：kb 命令只装在虚拟环境内。每个新终端都要先激活虚拟环境 （Windows .\venv\Scripts\Activate.ps1，Linux/macOS source venv/bin/activate）， 否则会提示 kb：未找到命令。改用 python -m kb <子命令> 可绕过激活。

快速安装备选（免虚拟环境，Python 3.10+）：pip install --user -r requirements.txt 后 用 python -m kb serve 运行，但建议优先使用 venv 隔离依赖。

启动后健康检查：

curl http://127.0.0.1:8000/api/v1/healthz

首次启动会加载本地嵌入模型（默认 BAAI/bge-m3，约 2GB，需提前下载缓存）； 未配置 LLM 时服务照常启动，/ask 返回 503 与配置指引。

LLM 默认关闭（KB_LLM_MODE=off）：服务启动不会探测/加载/调用任何大模型， 零显存、零成本、纯离线；记忆写入、文档入库、混合检索完整可用。 需要 RAG 问答（/ask）时再按下面方式配置本地或云端 LLM。

配置 LLM（可选，/ask 问答需要）

KB_LLM_MODE 默认 off（不加载不调用）；四个档位：

本地 LLM（Ollama）：

# 1. 安装并启动 Ollama（Windows 从开始菜单/托盘启动，不要从 AI 沙箱终端拉起）
# 2. 拉取一个适合你电脑的模型（按显存/内存选择，如 qwen3:4b 约 3.2GB、
#    qwen3:1.7b 约 1.8GB；国内可用魔搭加速，拉完 ollama cp 改成短名）
ollama pull <你的模型名>
# 3. 在 .env 配置后重启服务：
#    KB_LLM_MODE=local            # 仅本地
#    KB_LLM_MODEL=<你的模型名>    # 以 `ollama list` 输出的名称为准
#    KB_OLLAMA_BASE_URL=http://localhost:11434

云端 LLM（任意 OpenAI 兼容服务商，不绑定 DeepSeek）： DeepSeek / OpenAI / 通义千问 / 硅基流动 / Moonshot 等均可，通用三键：

# .env
KB_LLM_MODE=auto                 # 本地优先、云端降级；或 cloud 全云端
KB_LLM_API_KEY=sk-xxx            # 服务商 API Key
KB_LLM_BASE_URL=https://api.deepseek.com   # 换成你所用服务商的 OpenAI 兼容端点
KB_LLM_CLOUD_MODEL=deepseek-v4-flash       # 云端模型名

验证：GET /api/v1/healthz 的 llm 字段——local/cloud 表示 LLM 已就绪，disabled 表示未启用。

常见问题：嵌入模型下载失败

• 中国大陆直连 huggingface.co 会超时。设置 HF 镜像后重启即可：
  server.ts

  Copy

  export HF_ENDPOINT=https://hf-mirror.com   # 或写入 ~/.bashrc 永久生效
  python -m kb serve
  

  模型会自动从镜像下载并缓存到 ~/.cache/huggingface/hub/，之后断网也能离线加载。
• 模型已在本机缓存，但无外网：kb 采用离线优先（先命中本地缓存，失败才联网）， 只要缓存目录完整即可完全离线运行。

让 Agent 接入 kb（客户端无关）

把 kb 的接入规约交给 AI 客户端（TraeWork / Claude Code / Cursor / 自建 Agent）， 让它们知道怎么读写记忆、按什么身份规约、怎么查审计。两种方式，任选其一：

1. skill（推荐，能自动触发）——可选的独立步骤：仓库内 skills/kb-memory/SKILL.md 是客户端无关的 Anthropic 开格式 skill。把它安装到你所用客户端的用户级 skills 目录后， 该客户端的任何项目会话都会在读写记忆/RAG 问答/审计查询时自动识别并触发。 安装 = 把 skills/kb-memory 目录复制过去即可（有脚本，也可手动复制，无需任何依赖）； 更新（重新覆盖）、卸载、以及装好后的使用说明见 scripts/README.md。

   不装也不影响 kb 服务：skill 只是给 AI 客户端的「提示词包装」，与服务的安装、 启动无关——跳过这一步，服务照常运行，你随时可用方法 2 的纯文本提示词接入； skill 安装是一次性、按需、独立执行的，不会随 kb serve 自动触发， 也不会写入你的任何客户端目录以外的文件。

2. 纯文本提示词（兜底，任何客户端通用）：整段复制 docs/AGENT_PROMPT.md 粘贴给 Agent 即可，不依赖 skill 机制。

.trae-cn/skills / .claude/skills / .cursor/skills 是任何客户端都认的「标准」吗？——不是。 这些只是各家客户端各自的用户级约定目录：SKILL.md 本身是统一的 Anthropic 开格式， 但「装到哪个目录、能否自动触发」由各客户端自行决定，支持程度不一：

不存在「所有客户端都遵循」的统一目录；你的客户端若不支持 skill，永远有方法 2 兜底 （粘贴 AGENT_PROMPT.md，纯文本任何客户端可用）。安装方法、各客户端目录差异与加载机制、 相互引用关系：详细见 scripts/README.md（此处不重复）。

MCP 挂载

MCP 端点（streamable HTTP）：http://127.0.0.1:8000/mcp/

Claude Code：本仓库已内置项目级 .mcp.json，在本目录启动 Claude Code 即自动挂载； 也可全局添加：

claude mcp add --transport http kb http://127.0.0.1:8000/mcp/

Cursor / TraeWork 及其他支持 MCP 的客户端：在 MCP 配置中加入以下 JSON （Cursor 放 ~/.cursor/mcp.json 或项目 .cursor/mcp.json；TraeWork 在设置中添加 MCP 服务器）：

{
  "mcpServers": {
    "kb": {
      "type": "http",
      "url": "http://127.0.0.1:8000/mcp/"
    }
  }
}

挂载后可用的 MCP 工具：write_memory / search_memory / read_memory / update_memory / delete_memory / add_document / add_webpage / ask_kb。

启用 KB_API_KEY 鉴权后，MCP 客户端需在连接配置加 headers（Authorization: Bearer <key>）； 仓库内 .mcp.json 模板不含真实 key（JSON 不支持注释），配法见 USER_GUIDE §5.2。

REST 端点速查

记忆治理（去重/衰减/新鲜度）均默认关闭、零行为变化；用法见 USER_GUIDE §3.5。

示例：

# 写入一条记忆
curl -X POST http://127.0.0.1:8000/api/v1/memories `
  -H "Content-Type: application/json" `
  -d '{"content": "用户偏好深色主题", "tags": ["偏好"]}'

# 混合检索
curl -X POST http://127.0.0.1:8000/api/v1/search `
  -H "Content-Type: application/json" `
  -d '{"query": "用户界面偏好", "top_k": 5}'

# RAG 问答（需配置 LLM）
curl -X POST http://127.0.0.1:8000/api/v1/ask `
  -H "Content-Type: application/json" `
  -d '{"question": "用户喜欢什么主题？"}'

配置项简表

全部配置以 KB_ 前缀的环境变量或 .env 文件提供；完整键名见 .env.example （复制为 .env 后填写，.env 已被 gitignore，真实密钥只放本机，严禁入库）。

CLI 速查（无需启动服务）

python -m kb add "记忆内容" --tags 偏好 --client TraeWork                       # 写入（project 缺省自动取当前目录名）
python -m kb search "查询词" --client TraeWork                                 # 混合检索（v3：全共享，不分客户端/项目）
python -m kb stats                            # 统计：类型分布 / 访问热度 / 陈旧分布
python -m kb ask "问题" --client TraeWork      # 终端 RAG 问答（LLM 不可用时输出检索命中）
python -m kb audit --client TraeWork --days 7   # 查某客户端/项目存过/读过什么
python -m kb eval --file tests/eval_zh_50.jsonl   # 检索质量评测（Recall@1/@5 + MRR）
python -m kb forget --stale --days 90         # 清理超期未命中记忆
python -m kb dedup --threshold 0.92           # 语义去重

kb ask 直连本地服务逻辑（不经 HTTP）；建议 serve 停止时使用，避免双进程写库竞争。

agent-orchestra — 多 Agent 协作系统（实验）

让多个 AI 助手（不同 TraeWork 任务 / Claude Code 会话，模型可不同）通过 kb 共享任务板 协作开发：协调者 AI 拆卡分发，worker AI 领卡执行、单卡单轮、回写结果，协调者核验流转。

# 前置：kb serve 已运行。开一个新 TraeWork 任务，粘贴以下引导语即可唤醒一个 worker：
venv\Scripts\python.exe orchestra\board.py new-worker worker-1

完整使用方法（协调者怎么拆卡、多个 worker 怎么并行、协作纪律与已知限制） 见 用户使用手册 第 4 节。

目录结构

kb/            kb 服务源码（config / models / embedder / storage / bm25 / retriever /
               service / llm / ingest / watcher / api / mcp / cli + reranker / sparse / eval）
tests/         kb 验收测试（375 项，含 eval_zh_50.jsonl 检索评测数据集）
orchestra/     多 Agent 协作系统（board.py CLI + 协议三件套 + skill + 245 项测试）
docs/          设计文档、节点计划、用户使用手册
kb_data/       kb 运行数据（gitignore）
_archive/      旧学习项目归档（仅保留历史，禁止参考）

更多文档

• 用户使用手册（人类用户入口）：docs/USER_GUIDE.md
• AI 接力文档（AI 助手入口）：PROJECT.md（项目状态 / 进度看板 / 接手指南）
• 设计文档（需求、架构、API、里程碑）：docs/superpowers/specs/2026-08-23-kb-memory-service-design.md
• P2 日志设计：docs/superpowers/specs/2026-08-24-logging-design.md
• P2 路线图：docs/superpowers/plans/2026-08-24-p2-roadmap.md
• 节点开发计划：docs/superpowers/plans/2026-08-23-kb-dev-nodes.md
• AI 协作规范：AGENTS.md