Tag: Structured-Streaming

Feb 28, 2026

• Spark
• Structured-Streaming
• 流处理
• 实时计算
• Watermark
• 有状态算子

Feb 28, 2026

• Spark
• Structured-Streaming
• MicroBatch
• Continuous-Processing
• 流处理
• 执行模型
• 触发器

Feb 28, 2026

• Spark
• Structured-Streaming
• Source
• Sink
• Kafka
• DataSource-V2
• Exactly-once
• Offset管理

Feb 28, 2026

• Spark
• Structured-Streaming
• 输出模式
• Append
• Update
• Complete
• 聚合
• Watermark

Feb 28, 2026

• Spark
• Structured-Streaming
• Watermark
• 事件时间
• 乱序数据
• 延迟数据
• 水位线
• 窗口
• State清理

Feb 28, 2026

• Spark
• Structured-Streaming
• Trigger
• ProcessingTime
• AvailableNow
• Once
• Continuous
• 微批
• 延迟

Feb 28, 2026

• Spark
• Structured-Streaming
• 窗口聚合
• 滚动窗口
• 滑动窗口
• 会话窗口
• Tumbling-Window
• Sliding-Window
• Session-Window
• State-Store

Feb 28, 2026

• Spark
• Structured-Streaming
• flatMapGroupsWithState
• mapGroupsWithState
• GroupState
• 有状态算子
• 状态机
• 超时机制
• 欺诈检测

Feb 28, 2026

• Spark
• Structured-Streaming
• 流-流Join
• Stream-Stream-Join
• Watermark
• Join-Buffer
• State-Store
• 时间对齐

Feb 28, 2026

• Spark
• Structured-Streaming
• dropDuplicates
• 去重
• Exactly-once
• Watermark
• State-Store
• 幂等

Feb 28, 2026

• Spark
• Structured-Streaming
• 流批一体
• 流批Join
• Static-DataFrame
• Streaming-DataFrame
• 维表关联
• 广播Join

Feb 28, 2026

• Spark
• Structured-Streaming
• 监控
• 可观测性
• StreamingQueryListener
• Metrics
• Spark-UI
• Watermark
• 告警
• Prometheus

Feb 28, 2026

• Spark
• Structured-Streaming
• 调优
• 吞吐量
• 延迟
• 背压
• 资源配置
• State-Store
• RocksDB
• 生产实践

Feb 28, 2026

• Spark
• 容错
• 状态管理
• Checkpoint
• Lineage
• Structured-Streaming
• State-Store

Feb 28, 2026

• Spark
• Structured-Streaming
• 容错
• Checkpoint
• Offset
• Epoch
• Exactly-once
• StreamExecution

Feb 28, 2026

• Spark
• Structured-Streaming
• WAL
• 幂等
• Exactly-once
• Kafka-Sink
• Delta-Lake
• ForeachBatch
• 事务

Feb 28, 2026

• Spark
• Structured-Streaming
• State-Store
• HDFSBackedStateStore
• 有状态计算
• 状态快照
• 增量文件
• StateStoreProvider

Feb 28, 2026

• Spark
• Structured-Streaming
• RocksDB
• State-Store
• LSM-Tree
• 堆外内存
• 大状态
• Spark-3.2

Feb 28, 2026

• Spark
• Structured-Streaming
• Watermark
• TTL
• 状态过期
• GroupState
• dropDuplicates
• 事件时间

Feb 28, 2026

• Spark
• 容错
• 故障恢复
• Executor崩溃
• Driver重启
• Structured-Streaming
• YARN
• 全流程

Feb 28, 2026

• Delta-Lake
• Structured-Streaming
• 流批一体
• Exactly-once
• Delta-Source
• Change-Data-Feed
• 增量读取
• 流式写入