Tag: Spark

Mar 05, 2026

• JuiceFS
• Hadoop
• Spark
• Flink
• AI训练
• 数据湖
• HDFS替代
• 大数据存储

Mar 03, 2026

• 分布式事务
• 大数据
• Hive
• Spark
• Flink
• Delta-Lake
• Iceberg
• 数据湖
• 幂等写入

Feb 28, 2026

• Spark
• SparkSQL
• Catalyst
• AQE
• CodeGen
• 向量化
• 性能调优
• 专栏

Feb 28, 2026

• Spark
• SparkSQL
• Catalyst
• DataFrame
• Dataset
• LogicalPlan
• PhysicalPlan
• RDD
• 架构

Feb 28, 2026

• Spark
• SparkSQL
• Catalyst
• Parser
• Analyzer
• AST
• LogicalPlan
• Catalog
• Antlr4
• Resolution

Feb 28, 2026

• Spark
• SparkSQL
• Catalyst
• Optimizer
• RBO
• 谓词下推
• 列裁剪
• 常量折叠
• 子查询优化
• LogicalPlan

Feb 28, 2026

• Spark
• SparkSQL
• CBO
• 代价模型
• 统计信息
• Join-Reordering
• 直方图
• ANALYZE-TABLE
• 基数估算

Feb 28, 2026

• Spark
• SparkSQL
• Physical-Planning
• Join策略
• BroadcastHashJoin
• SortMergeJoin
• ShuffleHashJoin
• BucketJoin
• SparkPlan
• Exchange

Feb 28, 2026

• Spark
• SparkSQL
• AQE
• AdaptiveQueryExecution
• 动态分区合并
• Skew-Join
• 动态Join策略
• QueryStage
• Spark3.0

Feb 28, 2026

• Spark
• SparkSQL
• CodeGen
• Whole-Stage-CodeGen
• Volcano模型
• JVM
• 字节码
• Tungsten
• 性能优化

Feb 28, 2026

• Spark
• SparkSQL
• 向量化执行
• Vectorized-Execution
• ColumnarBatch
• Arrow
• SIMD
• Parquet向量化读取
• 列式存储

Feb 28, 2026

• Spark
• SparkSQL
• IO优化
• Parquet
• 分区裁剪
• 谓词下推
• 布隆过滤器
• 列裁剪
• 文件合并
• DataSource-V2
• 缓存

Feb 28, 2026

• Spark
• SparkSQL
• 数据倾斜
• Skew
• Salting
• AQE
• 两阶段聚合
• Broadcast
• Join倾斜
• 长尾Task

Feb 28, 2026

• Spark
• SparkSQL
• 调优
• 性能诊断
• 慢查询
• SparkUI
• EXPLAIN
• Join调优
• OOM
• 调优方法论

Feb 28, 2026

• Spark
• SparkSQL
• 配置参数
• 调优参数
• 速查手册
• AQE
• CBO
• Join
• Shuffle
• 内存
• IO

Feb 28, 2026

• Spark
• RSS
• Remote-Shuffle-Service
• Apache-Celeborn
• Uber-RSS
• Linkedin-Magnet
• 云原生
• Push-based-Shuffle

Feb 28, 2026

• Spark
• Structured-Streaming
• 流处理
• 实时计算
• Watermark
• 有状态算子

Feb 28, 2026

• Spark
• Structured-Streaming
• MicroBatch
• Continuous-Processing
• 流处理
• 执行模型
• 触发器

Feb 28, 2026

• Spark
• Structured-Streaming
• Source
• Sink
• Kafka
• DataSource-V2
• Exactly-once
• Offset管理

Feb 28, 2026

• Spark
• Structured-Streaming
• 输出模式
• Append
• Update
• Complete
• 聚合
• Watermark

Feb 28, 2026

• Spark
• Structured-Streaming
• Watermark
• 事件时间
• 乱序数据
• 延迟数据
• 水位线
• 窗口
• State清理

Feb 28, 2026

• Spark
• Structured-Streaming
• Trigger
• ProcessingTime
• AvailableNow
• Once
• Continuous
• 微批
• 延迟

Feb 28, 2026

• Spark
• Structured-Streaming
• 窗口聚合
• 滚动窗口
• 滑动窗口
• 会话窗口
• Tumbling-Window
• Sliding-Window
• Session-Window
• State-Store

Feb 28, 2026

• Spark
• Structured-Streaming
• flatMapGroupsWithState
• mapGroupsWithState
• GroupState
• 有状态算子
• 状态机
• 超时机制
• 欺诈检测

Feb 28, 2026

• Spark
• Structured-Streaming
• 流-流Join
• Stream-Stream-Join
• Watermark
• Join-Buffer
• State-Store
• 时间对齐

Feb 28, 2026

• Spark
• Structured-Streaming
• dropDuplicates
• 去重
• Exactly-once
• Watermark
• State-Store
• 幂等

Feb 28, 2026

• Spark
• Structured-Streaming
• 流批一体
• 流批Join
• Static-DataFrame
• Streaming-DataFrame
• 维表关联
• 广播Join

Feb 28, 2026

• Spark
• Structured-Streaming
• 监控
• 可观测性
• StreamingQueryListener
• Metrics
• Spark-UI
• Watermark
• 告警
• Prometheus

Feb 28, 2026

• Spark
• Structured-Streaming
• 调优
• 吞吐量
• 延迟
• 背压
• 资源配置
• State-Store
• RocksDB
• 生产实践

Feb 28, 2026

• Spark
• Kubernetes
• K8s
• 云原生
• 工程实践
• 专栏导览

Feb 28, 2026

• Spark
• Kubernetes
• K8s
• YARN
• 架构
• Driver
• Executor
• Pod
• 云原生

Feb 28, 2026

• Spark
• Kubernetes
• Docker
• 镜像构建
• 依赖管理
• Python
• JAR
• 镜像分层
• 云原生

Feb 28, 2026

• Spark
• Kubernetes
• RBAC
• ServiceAccount
• ResourceQuota
• LimitRange
• 权限
• 多租户
• 命名空间

Feb 28, 2026

• Spark
• Kubernetes
• Pod
• 生命周期
• Driver
• Executor
• 动态资源分配
• DRA
• PriorityClass
• 心跳

Feb 28, 2026

• Spark
• Kubernetes
• Spark-UI
• Ingress
• NodePort
• History-Server
• 可观测性
• 网络
• EventLog

Feb 28, 2026

• Spark
• Kubernetes
• Shuffle
• PVC
• HostPath
• Remote-Shuffle-Service
• Uniffle
• RSS
• 存储
• 动态资源分配

Feb 28, 2026

• Spark
• Kubernetes
• Spark-Operator
• CRD
• SparkApplication
• Argo-Workflow
• CI/CD
• 声明式
• 作业编排

Feb 28, 2026

• Spark
• Kubernetes
• Spot实例
• Gang-Scheduling
• Volcano
• Yunikorn
• 容量规划
• 资源优化
• 抢占

Feb 28, 2026

• Spark
• Kubernetes
• 安全
• Secrets
• Kerberos
• NetworkPolicy
• 镜像安全
• RBAC
• TLS
• 最小权限

Feb 28, 2026

• Spark
• Kubernetes
• 故障排查
• OOMKilled
• Executor丢失
• ImagePullBackOff
• 性能
• 诊断
• 调试

Feb 28, 2026

• Spark
• 容错
• 状态管理
• Checkpoint
• Lineage
• Structured-Streaming
• State-Store

Feb 28, 2026

• Spark
• RDD
• Lineage
• 容错
• 窄依赖
• 宽依赖
• DAGScheduler
• 分区重算

Feb 28, 2026

• Spark
• 容错
• Task重试
• Stage重试
• 推测执行
• FetchFailedException
• TaskScheduler
• DAGScheduler

Feb 28, 2026

• Spark
• RDD
• Checkpoint
• Lineage
• 容错
• 迭代算法
• HDFS
• localCheckpoint
• persist

Feb 28, 2026

• Spark
• Structured-Streaming
• 容错
• Checkpoint
• Offset
• Epoch
• Exactly-once
• StreamExecution

Feb 28, 2026

• Spark
• Structured-Streaming
• WAL
• 幂等
• Exactly-once
• Kafka-Sink
• Delta-Lake
• ForeachBatch
• 事务

Feb 28, 2026

• Spark
• Structured-Streaming
• State-Store
• HDFSBackedStateStore
• 有状态计算
• 状态快照
• 增量文件
• StateStoreProvider

Feb 28, 2026

• Spark
• Structured-Streaming
• RocksDB
• State-Store
• LSM-Tree
• 堆外内存
• 大状态
• Spark-3.2

Feb 28, 2026

• Spark
• Structured-Streaming
• Watermark
• TTL
• 状态过期
• GroupState
• dropDuplicates
• 事件时间

Feb 28, 2026

• Spark
• 容错
• 故障恢复
• Executor崩溃
• Driver重启
• Structured-Streaming
• YARN
• 全流程

Feb 28, 2026

• Spark
• 容错
• 生产调优
• 故障诊断
• Task失败
• Stage回滚
• State-Store-OOM
• Watermark
• FetchFailedException

Feb 27, 2026

• YARN
• ApplicationMaster
• Spark
• SparkOnYARN
• DynamicAllocation
• Executor
• 资源谈判

Feb 27, 2026

• Spark
• RDD
• 分布式计算
• 架构设计
• 源码分析

Feb 27, 2026

• Spark
• RDD
• 源码分析
• 架构设计

Feb 27, 2026

• Spark
• RDD
• 算子
• 惰性求值
• DAG

Feb 27, 2026

• Spark
• RDD
• 依赖关系
• Shuffle
• DAGScheduler

Feb 27, 2026

• Spark
• RDD
• 容错机制
• 血缘
• Checkpoint

Feb 27, 2026

• Spark
• RDD
• 迭代器
• 流水线计算
• JVM-GC

Feb 27, 2026

• Spark
• RDD
• Partitioner
• 数据倾斜
• Shuffle

Feb 27, 2026

• Spark
• RDD
• 缓存
• 持久化
• BlockManager
• 堆外内存

Feb 27, 2026

• Spark
• RDD
• DataFrame
• Dataset
• Catalyst
• Tungsten
• 架构演进

Feb 27, 2026

• Spark
• Shuffle
• 内存管理
• UnifiedMemoryManager
• RSS

Feb 27, 2026

• Spark
• Shuffle
• 分布式计算
• MapReduce
• 性能优化

Feb 27, 2026

• Spark
• Shuffle
• HashShuffle
• File-Consolidation
• 性能优化

Feb 27, 2026

• Spark
• Shuffle
• SortShuffleManager
• BypassMergeSortShuffleWriter
• UnsafeShuffleWriter
• SortShuffleWriter

Feb 27, 2026

• Spark
• Shuffle
• ExternalSorter
• PartitionedAppendOnlyMap
• Spill
• 索引文件

Feb 27, 2026

• Spark
• Shuffle
• BlockStoreShuffleReader
• MapOutputTracker
• ExternalAppendOnlyMap
• 网络拉取

Feb 27, 2026

• Spark
• 内存管理
• UnifiedMemoryManager
• StaticMemoryManager
• Execution-Memory
• Storage-Memory

Feb 27, 2026

• Spark
• 内存管理
• UnifiedMemoryManager
• Execution-Memory
• Storage-Memory
• RDD-Cache
• 动态借用

Feb 27, 2026

• Spark
• Spill
• 内存管理
• ExternalSorter
• 磁盘IO
• 性能调优
• MemoryConsumer

Feb 27, 2026

• Spark
• Tungsten
• UnsafeRow
• 堆外内存
• MemoryBlock
• sun.misc.Unsafe
• GC优化
• 二进制格式

Feb 27, 2026

• Spark
• 调优
• 生产实践
• 数据倾斜
• Spill
• OOM
• Shuffle
• 内存配置

Feb 27, 2026

• Spark
• 调度系统
• 任务提交
• 源码分析

Feb 27, 2026

• Spark
• 调度系统
• DAGScheduler
• Stage
• 源码分析

Feb 27, 2026

• Spark
• 调度系统
• TaskScheduler
• TaskSetManager
• 源码分析

Feb 27, 2026

• Spark
• 调度系统
• SchedulerBackend
• YARN
• Kubernetes
• 源码分析

Feb 27, 2026

• Spark
• 调度算法
• FIFO
• FAIR
• 源码分析

Feb 27, 2026

• Spark
• Task
• TaskSetManager
• Executor
• 调度系统
• TaskRunner

Feb 27, 2026

• Spark
• Executor
• 线程池
• 内存模型
• 资源隔离
• BlockManager

Feb 27, 2026

• Spark
• 推测执行
• 长尾任务
• TaskSetManager
• 调度系统

Feb 27, 2026

• Spark
• 本地化调度
• 数据本地性
• TaskScheduler
• 性能优化

Feb 27, 2026

• Spark
• 动态资源分配
• Dynamic-Allocation
• YARN
• K8s
• 弹性计算