Folder: 大数据/Spark/Spark-容错与状态管理深度解析

Feb 28, 2026

• Spark
• 容错
• 状态管理
• Checkpoint
• Lineage
• Structured-Streaming
• State-Store

Feb 28, 2026

• Spark
• RDD
• Lineage
• 容错
• 窄依赖
• 宽依赖
• DAGScheduler
• 分区重算

Feb 28, 2026

• Spark
• 容错
• Task重试
• Stage重试
• 推测执行
• FetchFailedException
• TaskScheduler
• DAGScheduler

Feb 28, 2026

• Spark
• RDD
• Checkpoint
• Lineage
• 容错
• 迭代算法
• HDFS
• localCheckpoint
• persist

Feb 28, 2026

• Spark
• Structured-Streaming
• 容错
• Checkpoint
• Offset
• Epoch
• Exactly-once
• StreamExecution

Feb 28, 2026

• Spark
• Structured-Streaming
• WAL
• 幂等
• Exactly-once
• Kafka-Sink
• Delta-Lake
• ForeachBatch
• 事务

Feb 28, 2026

• Spark
• Structured-Streaming
• State-Store
• HDFSBackedStateStore
• 有状态计算
• 状态快照
• 增量文件
• StateStoreProvider

Feb 28, 2026

• Spark
• Structured-Streaming
• RocksDB
• State-Store
• LSM-Tree
• 堆外内存
• 大状态
• Spark-3.2

Feb 28, 2026

• Spark
• Structured-Streaming
• Watermark
• TTL
• 状态过期
• GroupState
• dropDuplicates
• 事件时间

Feb 28, 2026

• Spark
• 容错
• 故障恢复
• Executor崩溃
• Driver重启
• Structured-Streaming
• YARN
• 全流程

Feb 28, 2026

• Spark
• 容错
• 生产调优
• 故障诊断
• Task失败
• Stage回滚
• State-Store-OOM
• Watermark
• FetchFailedException