部署高可用 Kafka 消息集群 #74

Open
opened 2026-03-26 11:09:01 +08:00 by dingshuo · 0 comments
Owner

溯源

  • Parent: ENAB_KAFKA_001

任务上下文

为支撑 50 万车辆高频上报(50k TPS),需搭建高可用 Kafka 集群,作为数据接入的缓冲层,解耦采集与分析模块。

验收标准

  • 完成 Kafka 集群部署(至少 3 节点 Broker,Zookeeper 高可用)
  • 配置 Topic 策略:分区数>=50,副本数>=3,保留策略>=7 天
  • 压测验证吞吐量 >= 60,000 TPS (预留 20% buffer)
  • 验证消费者组重平衡机制正常

NFRs

  • 性能: 单 Broker 写入延迟 P99 < 10ms
  • 安全: 开启 SASL/SSL 认证,仅允许内网访问

技术实现思路

  • 使用 Docker Compose 或 K8s Helm Chart 部署
  • 监控集成 Prometheus + Grafana

📋 SAFe 元数据

  • 溯源 (Parent Reference): ENAB_KAFKA_001
  • 预估工时: 24 小时
  • 标签: type/enabler, domain/infra, priority/high, status/todo
## 溯源 - Parent: ENAB_KAFKA_001 ## 任务上下文 为支撑 50 万车辆高频上报(50k TPS),需搭建高可用 Kafka 集群,作为数据接入的缓冲层,解耦采集与分析模块。 ## 验收标准 - [ ] 完成 Kafka 集群部署(至少 3 节点 Broker,Zookeeper 高可用) - [ ] 配置 Topic 策略:分区数>=50,副本数>=3,保留策略>=7 天 - [ ] 压测验证吞吐量 >= 60,000 TPS (预留 20% buffer) - [ ] 验证消费者组重平衡机制正常 ## NFRs - 性能: 单 Broker 写入延迟 P99 < 10ms - 安全: 开启 SASL/SSL 认证,仅允许内网访问 ## 技术实现思路 - 使用 Docker Compose 或 K8s Helm Chart 部署 - 监控集成 Prometheus + Grafana --- ## 📋 SAFe 元数据 - **溯源 (Parent Reference)**: `ENAB_KAFKA_001` - **预估工时**: 24 小时 - **标签**: type/enabler, domain/infra, priority/high, status/todo
dingshuo added the
type/enabler
domain/infra
priority/high
status/todo
labels 2026-03-26 11:09:01 +08:00
Sign in to join this conversation.
No description provided.