Ceph 分布式存储 专栏导览

专栏定位

本专栏聚焦 Ceph 统一分布式存储系统的架构设计与核心算法——从 RADOS 分布式对象存储层和 CRUSH 去中心化数据放置算法,到 BlueStore 存储引擎的裸设备直管,再到 CephFS 分布式文件系统的元数据管理。Ceph 以”统一存储”著称——同时提供块存储(RBD)、对象存储(RGW)和文件存储(CephFS)三大接口,是 OpenStack 和 Kubernetes 持久化存储的主流选择。

目标读者

  • 运维 Ceph 集群或基于 Ceph 构建存储平台的存储/平台工程师
  • 需要在 Ceph/HDFS/JuiceFS 之间做存储选型的架构师
  • 对分布式存储算法(CRUSH/一致性哈希)感兴趣的技术爱好者

专栏目录

序号标题核心内容
0101 Ceph 全局架构——RADOS、CRUSH 与三大存储接口Monitor/OSD/MDS 的角色、RADOS 分布式对象存储层、CephFS/RBD/RGW 三大接口、与 HDFS 的定位差异
0202 CRUSH 算法——去中心化的数据放置一致性哈希的局限 → CRUSH 的树形拓扑、CRUSH Map 的 Bucket 层次(Root/Datacenter/Rack/Host/OSD)、Placement Rule 的故障域隔离
0303 OSD 与对象存储——BlueStore 引擎从 FileStore 到 BlueStore 的演进、BlueStore 的裸设备直管(绕过本地文件系统)、RocksDB 存储元数据、写时复制与校验和
0404 数据一致性——PG、副本策略与 RecoveryPlacement Group 的映射机制、Primary-Replica 的写入流程、Peering 与 Recovery 的状态机、Scrub 数据校验
0505 CephFS 分布式文件系统MDS 的元数据管理与动态子树分区、POSIX 语义的实现与局限、目录分片与负载均衡、与 JuiceFS/HDFS 的对比
0606 Ceph 运维——集群部署、PG 调优与故障处理cephadm 部署工具、PG 数量计算与自动调整(pg_autoscaler)、OSD 故障的自动 Recovery、容量规划与性能基准测试

推荐阅读路径

核心原理路径:01 → 02 → 03 → 04

文件系统路径:05

运维路径:06

前置知识


关联专栏

  • JuiceFS:Ceph 对象存储可作为 JuiceFS 的数据后端
  • RocksDB:BlueStore 使用 RocksDB 存储元数据
  • 文件系统:CephFS 提供 POSIX 文件系统语义
  • HDFS:CephFS vs HDFS 的分布式文件系统对比
  • 分布式共识:Ceph Monitor 的 Paxos 共识机制