汀的知识碎片
Search
Search
Dark mode
Light mode
文章导航
Tag: YARN
20 items with this tag.
Mar 02, 2026
Flink on YARN 与 Kubernetes 生产部署
Flink
YARN
Kubernetes
部署模式
Application-Mode
Session-Mode
HA
高可用
生产部署
Mar 02, 2026
大数据安全与认证体系:从 Kerberos 到 Ranger 全栈解析 — 专栏导览
大数据
安全
Kerberos
Ranger
Knox
UGI
YARN
ATS
Mar 02, 2026
Hadoop 安全模式:Kerberos 集成全链路解析
大数据
安全
Hadoop
Kerberos
SASL
DelegationToken
YARN
HDFS
Mar 02, 2026
DProxy 透明代理原理与生产实践:Kerberos 认证在代理层的统一承接
大数据
安全
DProxy
透明代理
Kerberos
代理用户
HTTP代理
YARN
WebApplicationProxy
Mar 02, 2026
YARN ATS 与 AHS 作业历史日志服务全解析
大数据
YARN
ATS
AHS
Timeline-Server
作业历史
日志聚合
HBase
Spark-History-Server
Feb 28, 2026
执行引擎对比:MapReduce vs Tez 的本质差异
Hive
MapReduce
Tez
DAG
Container复用
执行引擎
YARN
ApplicationMaster
性能对比
Feb 28, 2026
Spark on K8s 架构全景:与 YARN 模式的本质差异
Spark
Kubernetes
K8s
YARN
架构
Driver
Executor
Pod
云原生
Feb 28, 2026
故障恢复全流程拆解:从宕机到续跑
Spark
容错
故障恢复
Executor崩溃
Driver重启
Structured-Streaming
YARN
全流程
Feb 27, 2026
YARN 深度解析专栏导览
YARN
Hadoop
资源管理
调度器
大数据
Feb 27, 2026
YARN 的诞生——从 MRv1 到资源管理与计算分离
YARN
Hadoop
MRv1
JobTracker
TaskTracker
资源管理
计算框架
Feb 27, 2026
YARN 整体架构全景——ResourceManager、NodeManager 与 ApplicationMaster 三角协作
YARN
ResourceManager
NodeManager
ApplicationMaster
Container
架构
协议
Feb 27, 2026
ResourceManager 深度解析——调度器内核与资源抽象模型
YARN
ResourceManager
调度器
CapacityScheduler
FairScheduler
资源抽象
队列
Feb 27, 2026
Container 生命周期——从资源申请到进程启动的完整调用链
YARN
Container
NodeManager
本地化
ContainerExecutor
生命周期
进程启动
Feb 27, 2026
调度器深度解析——Capacity Scheduler 与 Fair Scheduler 的算法内核
YARN
CapacityScheduler
FairScheduler
调度器
队列
抢占
公平调度
Feb 27, 2026
ApplicationMaster 机制——以 Spark on YARN 为例
YARN
ApplicationMaster
Spark
SparkOnYARN
DynamicAllocation
Executor
资源谈判
Feb 27, 2026
YARN 资源隔离——CGroups 与 Linux Container Executor 的工程实现
YARN
CGroups
LinuxContainerExecutor
资源隔离
内存隔离
CPU隔离
Docker
Feb 27, 2026
YARN 高可用与故障恢复——ResourceManager HA 与 AM 重试机制
YARN
HA
ResourceManager
ZooKeeper
故障恢复
AM重启
状态存储
ZKFC
Feb 27, 2026
YARN 性能调优与生产实践——队列规划、调度优化与 Kubernetes 展望
YARN
性能调优
队列规划
生产实践
Kubernetes
延迟调度
资源配置
调优
Feb 27, 2026
04 调度后端(SchedulerBackend):Spark 与资源管理器(YARN/K8s)的对接细节
Spark
调度系统
SchedulerBackend
YARN
Kubernetes
源码分析
Feb 27, 2026
10 动态资源申请(Dynamic Resource Allocation):弹性计算的资源调度逻辑
Spark
动态资源分配
Dynamic-Allocation
YARN
K8s
弹性计算