搭建 Flink 实时计算作业 #75

Open
opened 2026-03-26 11:09:05 +08:00 by dingshuo · 0 comments
Owner

溯源

  • Parent: ENAB_FLINK_001

任务上下文

为 AI 预测引擎提供低延迟流式计算能力,支撑实时数据流的窗口聚合、特征提取及乱序数据处理。

验收标准

  • 完成 Flink 集群部署(Standalone 或 K8s 模式)
  • 开发基础数据清洗算子(过滤异常值、字段解析)
  • 实现乱序数据重排序逻辑(基于事件时间戳 + Watermark)
  • 验证端到端处理延迟 < 300ms

NFRs

  • 性能: 单并行度处理能力 >= 10k events/s
  • 可靠性: 开启 Checkpoint,故障恢复时间 < 1min

技术实现思路

  • 使用 Flink DataStream API
  • 状态后端选用 RocksDB
  • 集成 Kafka Source 和 Sink

📋 SAFe 元数据

  • 溯源 (Parent Reference): ENAB_FLINK_001
  • 预估工时: 24 小时
  • 标签: type/enabler, domain/infra, priority/high, status/todo
## 溯源 - Parent: ENAB_FLINK_001 ## 任务上下文 为 AI 预测引擎提供低延迟流式计算能力,支撑实时数据流的窗口聚合、特征提取及乱序数据处理。 ## 验收标准 - [ ] 完成 Flink 集群部署(Standalone 或 K8s 模式) - [ ] 开发基础数据清洗算子(过滤异常值、字段解析) - [ ] 实现乱序数据重排序逻辑(基于事件时间戳 + Watermark) - [ ] 验证端到端处理延迟 < 300ms ## NFRs - 性能: 单并行度处理能力 >= 10k events/s - 可靠性: 开启 Checkpoint,故障恢复时间 < 1min ## 技术实现思路 - 使用 Flink DataStream API - 状态后端选用 RocksDB - 集成 Kafka Source 和 Sink --- ## 📋 SAFe 元数据 - **溯源 (Parent Reference)**: `ENAB_FLINK_001` - **预估工时**: 24 小时 - **标签**: type/enabler, domain/infra, priority/high, status/todo
dingshuo added the
type/enabler
domain/infra
priority/high
status/todo
labels 2026-03-26 11:09:05 +08:00
Sign in to join this conversation.
No description provided.