Folder: 大数据/Spark/Spark-Shuffle与内存管理机制深度解析

Feb 28, 2026

• Spark
• RSS
• Remote-Shuffle-Service
• Apache-Celeborn
• Uber-RSS
• Linkedin-Magnet
• 云原生
• Push-based-Shuffle

Feb 27, 2026

• Spark
• Shuffle
• 内存管理
• UnifiedMemoryManager
• RSS

Feb 27, 2026

• Spark
• Shuffle
• 分布式计算
• MapReduce
• 性能优化

Feb 27, 2026

• Spark
• Shuffle
• HashShuffle
• File-Consolidation
• 性能优化

Feb 27, 2026

• Spark
• Shuffle
• SortShuffleManager
• BypassMergeSortShuffleWriter
• UnsafeShuffleWriter
• SortShuffleWriter

Feb 27, 2026

• Spark
• Shuffle
• ExternalSorter
• PartitionedAppendOnlyMap
• Spill
• 索引文件

Feb 27, 2026

• Spark
• Shuffle
• BlockStoreShuffleReader
• MapOutputTracker
• ExternalAppendOnlyMap
• 网络拉取

Feb 27, 2026

• Spark
• 内存管理
• UnifiedMemoryManager
• StaticMemoryManager
• Execution-Memory
• Storage-Memory

Feb 27, 2026

• Spark
• 内存管理
• UnifiedMemoryManager
• Execution-Memory
• Storage-Memory
• RDD-Cache
• 动态借用

Feb 27, 2026

• Spark
• Spill
• 内存管理
• ExternalSorter
• 磁盘IO
• 性能调优
• MemoryConsumer

Feb 27, 2026

• Spark
• Tungsten
• UnsafeRow
• 堆外内存
• MemoryBlock
• sun.misc.Unsafe
• GC优化
• 二进制格式

Feb 27, 2026

• Spark
• 调优
• 生产实践
• 数据倾斜
• Spill
• OOM
• Shuffle
• 内存配置