汀的知识碎片
Search
Search
Dark mode
Light mode
文章导航
Home
❯
大数据
❯
Spark
❯
Spark 调度系统与执行模型深度解析
Folder: 大数据/Spark/Spark-调度系统与执行模型深度解析
11 items under this folder.
Mar 05, 2026
00 专栏导览
Feb 27, 2026
01 任务提交全链路:从用户代码到 RDD 动作的触发细节
Spark
调度系统
任务提交
源码分析
Feb 27, 2026
02 DAGScheduler 核心逻辑:Stage 划分算法与逻辑计划生成
Spark
调度系统
DAGScheduler
Stage
源码分析
Feb 27, 2026
03 TaskScheduler 架构解析:任务编排与调度后端的协作机制
Spark
调度系统
TaskScheduler
TaskSetManager
源码分析
Feb 27, 2026
04 调度后端(SchedulerBackend):Spark 与资源管理器(YARN/K8s)的对接细节
Spark
调度系统
SchedulerBackend
YARN
Kubernetes
源码分析
Feb 27, 2026
05 调度算法深度剖析:FIFO 与 FAIR 策略的实现原理与应用场景
Spark
调度算法
FIFO
FAIR
源码分析
Feb 27, 2026
06 Task 运行生命周期:从 TaskSetManager 分发到 Executor 端执行
Spark
Task
TaskSetManager
Executor
调度系统
TaskRunner
Feb 27, 2026
07 执行器(Executor)底层机制:任务运行环境、线程池管理与资源隔离
Spark
Executor
线程池
内存模型
资源隔离
BlockManager
Feb 27, 2026
08 推测执行(Speculative Execution):分布式环境下长尾任务的自动修复机制
Spark
推测执行
长尾任务
TaskSetManager
调度系统
Feb 27, 2026
09 本地化调度(Locality-Aware Scheduling):移动计算而非移动数据的实现细节
Spark
本地化调度
数据本地性
TaskScheduler
性能优化
Feb 27, 2026
10 动态资源申请(Dynamic Resource Allocation):弹性计算的资源调度逻辑
Spark
动态资源分配
Dynamic-Allocation
YARN
K8s
弹性计算