Folder: 大数据/Spark/Spark-Structured-Streaming流处理深度解析

Feb 28, 2026

• Spark
• Structured-Streaming
• 流处理
• 实时计算
• Watermark
• 有状态算子

Feb 28, 2026

• Spark
• Structured-Streaming
• MicroBatch
• Continuous-Processing
• 流处理
• 执行模型
• 触发器

Feb 28, 2026

• Spark
• Structured-Streaming
• Source
• Sink
• Kafka
• DataSource-V2
• Exactly-once
• Offset管理

Feb 28, 2026

• Spark
• Structured-Streaming
• 输出模式
• Append
• Update
• Complete
• 聚合
• Watermark

Feb 28, 2026

• Spark
• Structured-Streaming
• Watermark
• 事件时间
• 乱序数据
• 延迟数据
• 水位线
• 窗口
• State清理

Feb 28, 2026

• Spark
• Structured-Streaming
• Trigger
• ProcessingTime
• AvailableNow
• Once
• Continuous
• 微批
• 延迟

Feb 28, 2026

• Spark
• Structured-Streaming
• 窗口聚合
• 滚动窗口
• 滑动窗口
• 会话窗口
• Tumbling-Window
• Sliding-Window
• Session-Window
• State-Store

Feb 28, 2026

• Spark
• Structured-Streaming
• flatMapGroupsWithState
• mapGroupsWithState
• GroupState
• 有状态算子
• 状态机
• 超时机制
• 欺诈检测

Feb 28, 2026

• Spark
• Structured-Streaming
• 流-流Join
• Stream-Stream-Join
• Watermark
• Join-Buffer
• State-Store
• 时间对齐

Feb 28, 2026

• Spark
• Structured-Streaming
• dropDuplicates
• 去重
• Exactly-once
• Watermark
• State-Store
• 幂等

Feb 28, 2026

• Spark
• Structured-Streaming
• 流批一体
• 流批Join
• Static-DataFrame
• Streaming-DataFrame
• 维表关联
• 广播Join

Feb 28, 2026

• Spark
• Structured-Streaming
• 监控
• 可观测性
• StreamingQueryListener
• Metrics
• Spark-UI
• Watermark
• 告警
• Prometheus

Feb 28, 2026

• Spark
• Structured-Streaming
• 调优
• 吞吐量
• 延迟
• 背压
• 资源配置
• State-Store
• RocksDB
• 生产实践