Elasticsearch 核心原理 专栏导览
专栏定位
本专栏聚焦 Elasticsearch 分布式搜索引擎的核心原理——从 Lucene 的倒排索引结构（Term Dictionary → FST → Posting List）到 ES 集群的分片分配与选主机制，从文档写入的 Refresh/Flush/Merge 流程到 BM25 相关性评分与向量检索。ES 是全文搜索、日志分析和可观测性领域的事实标准——理解其底层机制，是进行 Mapping 设计优化、查询性能调优和集群容量规划的前提。
本专栏覆盖 ES 7.x 到 8.x 的关键演进，重点分析倒排索引的数据结构、近实时搜索的实现、向量检索（kNN）等新特性。
目标读者
- 日常使用 ES 进行搜索/日志分析但希望理解底层原理的后端工程师
- 需要进行 ES 集群调优和容量规划的 SRE/DBA
- 对搜索引擎和信息检索技术感兴趣的技术爱好者
专栏目录
| 序号 | 标题 | 核心内容 |
|---|---|---|
| 01 | 01 ES 全局架构——集群、节点、索引与分片 | Node 角色（Master/Data/Coordinating/Ingest）、Index/Shard/Replica 的映射、文档写入与查询的路由、近实时搜索的本质 |
| 02 | 02 倒排索引——从 Term Dictionary 到 FST | 正排索引 vs 倒排索引、Term Dictionary → Term Index（FST）→ Posting List 的三层结构、Frame of Reference 压缩、Roaring Bitmap 的交集加速 |
| 03 | 03 文档写入与 Lucene 段合并 | Write → Refresh → Flush → Merge 的完整链路、Translog 的 WAL 机制、Segment 不可变性与近实时搜索、段合并策略（TieredMergePolicy） |
| 04 | 04 查询与相关性评分——BM25 与向量检索 | Query Phase + Fetch Phase 的两阶段查询、BM25 评分模型、Function Score 自定义评分、kNN 向量检索（HNSW 算法）、Hybrid Search |
| 05 | 05 聚合分析——Bucket、Metric 与 Pipeline | 聚合的内存模型、Terms Aggregation 的精度问题（doc_count_error_upper_bound）、Cardinality 的 HyperLogLog++ 实现、Pipeline Aggregation 的二次计算 |
| 06 | 06 集群管理——选主、分片分配与脑裂防护 | 基于 Raft 的选主（7.x+）、分片分配策略（Allocation Awareness/Filtering）、脑裂防护（minimum_master_nodes → 自动 quorum）、集群状态（Green/Yellow/Red）的含义 |
| 07 | 07 性能调优——Mapping 设计、查询优化与 JVM | Mapping 最佳实践（keyword vs text/doc_values/enabled）、查询性能优化（Filter Cache/Routing/Preference）、JVM Heap 与 Off-Heap 的平衡、索引生命周期管理（ILM） |
| 08 | 08 ES 生产运维——监控、容量规划与版本升级 | _cat API 与 _cluster/stats、关键指标（Indexing Rate/Search Latency/GC Pause）、分片数与大小规划、滚动升级与跨大版本迁移策略 |
推荐阅读路径
核心原理路径：01 → 02 → 03 → 04
运维调优路径：06 → 07 → 08
分析场景路径：05 → 04
前置知识
- 数据库基础概念（索引、查询优化）
- 建议了解 JVM 中的 GC 调优（ES 是 Java 应用，JVM 参数直接影响性能）