bk-cmdb · 主机快照采集与变更事件数据流

bk-cmdb · 主机快照采集与变更事件数据流 由 Archify 生成的数据流图。 01 / 数据来源 02 / 队列 / 写入 03 / 处理 04 / 存储 / 分发 05 / 消费 GSE 管控平台 · Agent 上报 · 01 / 数据来源 GSE 管控平台 Agent 上报 场景服务 · topo · host · proc · 01 / 数据来源 场景服务 topo · host · proc Redis 队列 · 快照延迟队列 · 02 / 队列 / 写入 Redis 队列 快照延迟队列 coreservice · 落库 + 事件写入 · 02 / 队列 / 写入 coreservice 落库 + 事件写入 datacollection · hostsnap porter · 03 / 处理 datacollection hostsnap porter MongoDB 事件集合 · watch cursor · 03 / 处理 MongoDB 事件集合 watch cursor Redis 快照缓存 · TTL 10 分钟 · 04 / 存储 / 分发 Redis 快照缓存 TTL 10 分钟 event_server · 游标 watch 服务 · 04 / 存储 / 分发 event_server 游标 watch 服务 主机详情展示 · 实时状态 · 05 / 消费 主机详情展示 实时状态 事件订阅方 · 游标拉取 / 回调 · 05 / 消费 事件订阅方 游标拉取 / 回调 主机快照上报 agent porter 消费 延迟队列 写快照 TTL 10min 仅缓存不落库 读快照渲染 读模型 资源变更 原子接口 写 watch 事件 cacheservice 游标 watch 增量 变更事件分发 订阅 图例 主要数据 数据存储 数据流

两条异步链路

  • • 快照链路:GSE → Redis 队列 → datacollection → Redis 快照缓存 → 主机详情
  • • 事件链路:场景服务 → coreservice → MongoDB 事件集合 → event_server → 订阅方
  • • 两条链路互相独立,互不阻塞

快照为什么只在 Redis

  • • 快照是分钟级实时状态,10 分钟 TTL 自动过期
  • • datacollection 只写缓存不落配置库(hostsnap.go:1263)
  • • 配置库只保存持久资产数据,职责清晰

事件即契约

  • • 所有资源变更统一经 coreservice 落库并产生 watch 事件
  • • 订阅方按游标增量拉取,无需轮询全量
  • • README 承诺的“变更事件主动推送”即由这条链路承载