汀的知识碎片

10. 混沌工程

46 min read

第10章 混沌工程

引言

混沌工程的核心是一种主动发现系统潜在弱点的方法，在它们造成重大损害之前加以预防。混沌工程源于 Netflix 和 Amazon 等公司在复杂大规模系统中的实践，它通过有意向系统引入故障来测试其健壮性和弹性。通过引发受控的中断，工程师可以监控系统的反应，发现其薄弱环节，并增强其对未来故障的健壮性。

混沌工程是有序且组织化的，与其名称所暗示的“混乱”相反。它的目标不是制造无法控制的混乱，而是提供一种严格的方法来应对当前系统架构的复杂性。在停机可能给企业带来巨大收入损失和声誉损害的世界里，理解系统在压力下的行为至关重要。

在站点可靠性工程（SRE）中，其主要目标是维持并提升服务的正常运行时间和可靠性，混沌工程扮演着关键角色。通过将 SRE 的目标与混沌工程的原则相结合，组织可以构建更可靠的系统，使其能够处理已知和意外的事件。

本章将讨论混沌工程的原则、方法和最佳实践，以及它在 SRE 中的重要作用。我们还将探讨如何在组织中应用混沌工程，以及所使用的工具和技术，并介绍该领域领先者的案例研究。到本章结束时，我们将对混沌工程在增强系统弹性方面的作用有深入的理解，并且你将准备好开始探索这个有趣的领域。

结构

在本章中，我们将涵盖以下主题：

  • 混沌工程的原则
  • 构建假设
  • 引入真实世界事件
  • 观察系统
  • 验证假设
  • 增量复杂度
  • 混沌工程在 SRE 中的作用
  • 混沌工程的关键概念
    • 爆炸半径
    • 故障注入
    • 稳态
    • 可观测性与监控
    • 混沌实验
    • 游戏日
  • 准备混沌工程
    • 设定目标和指标
    • 构建可观测性基础设施
    • 建立强大的事件响应策略
  • 实施混沌工程
  • 混沌工程的工具和技术
    • Chaos Toolkit
    • Gremlin
    • Chaos Monkey
  • 混沌工程案例研究
    • Netflix
    • Amazon
    • Google
  • 混沌工程的未来

目标

本章的主要目标是深入探讨混沌工程在 SRE 中的角色和应用。本章旨在让读者深刻理解定义混沌工程的原则、相关关键概念，以及在技术环境中有实施所需的实际步骤。

到本章结束时，读者将清晰理解什么是混沌工程及其在现代系统基础设施中的关键目的。他们将理解混沌工程的基本原则，认识到这些原则在培养系统弹性中的重要性。此外，他们将深入了解混沌工程如何显著贡献于 SRE，尤其是在发现系统弱点和增强系统可扩展性方面的作用。他们将熟悉与混沌工程相关的主要概念，如爆炸半径、故障注入、稳态、可观测性、监控和游戏日。

此外，本章将指导读者如何为混沌工程做准备，并引导他们完成实施过程，从设定目标的初始阶段到从结果中学习和适应的关键阶段。他们还将熟悉混沌工程中常用的各种工具和技术。读者将有机会研究案例，展示 Netflix、Amazon 和 Google 等行业巨头如何成功利用混沌工程。

本章还将探讨混沌工程的预期未来轨迹，涉及新兴趋势、潜在挑战以及它在 SRE 动态格局中不断演变的角色。最终，本章旨在使读者能够将混沌工程无缝集成到他们的 SRE 实践中，为开发健壮且有弹性的系统铺平道路，使其能够很好地处理意外故障。

混沌工程的原则

混沌工程的原则由 Netflix 的工程师正式确定，是理解和实施混沌工程的基石。这些原则提出了一种有纪律的、科学的方法，通过引入受控的中断、观察系统响应并逐步增加这些中断的复杂性，来识别系统中的弱点。

构建假设

混沌工程的第一步是构建关于系统行为的假设。该假设通常始于对系统稳态的断言，即系统在正常操作条件下的正常行为。该假设基于对系统架构、组件、依赖关系和操作知识的理解而制定。它应概述混沌实验的预期结果以及对系统稳态的潜在影响。

引入真实世界事件

一旦形成假设，下一步就是将真实世界事件引入系统。这可以通过故障注入来实现，可能简单如关闭一项服务、引入网络延迟或模拟系统上的高负载。目标是模拟在系统生产环境中可能实际发生的事件，无论是硬件故障、意外的流量峰值还是软件错误。

观察系统

下一个关键阶段是观察系统在事件期间和事件后的行为。在此阶段，监控和可观测性工具至关重要，用于收集关于系统行为、性能指标以及任何偏离稳态的数据。这包括检查系统是否按预期运行，或者是否因中断而出现新的、不可预见的问题。

验证假设

观察系统并收集数据后，下一步是验证初始假设。如果系统按预期运行且假设得到确认，则证明对系统的弹性有信心。如果假设不正确，观察到的结果将为系统的弱点或潜在的改进领域提供宝贵的见解。

增量复杂度

混沌工程不是一次性的事件，而是一个迭代过程，其中实验的复杂性逐步增加。每个新实验都应建立在之前实验所收集的见解之上。随着系统的发展和成熟，混沌实验也应变得更加复杂，模拟更具挑战性的事件，并涵盖系统的更多部分。这种增量方法有助于管理风险，因为它允许随着时间的推移逐步理解和改进系统的弹性。

混沌工程在 SRE 中的作用

如前所述，混沌工程是一门学科，通过有意向系统引入故障，帮助 SRE 确保其系统的可靠性。这使得 SRE 能够看到系统在高负载下的表现，并识别需要改进的领域。混沌工程可以提升系统弹性、识别系统弱点、增强系统可扩展性、改善事件响应时间，并验证系统假设。

让我们逐一了解这些好处：

  • 提升系统弹性：混沌工程可以帮助 SRE 识别并缓解系统弱点，从而提升系统弹性。通过有意向系统引入故障，SRE 可以观察系统的反应，并确定需要改进的领域。这有助于防止未来的中断和其他故障。例如，SRE 可能会向数据库引入一个故障，以查看它恢复的速度。如果数据库恢复时间过长，SRE 可以更改数据库的配置或架构以改善其弹性。

  • 识别系统弱点：混沌工程还可以帮助 SRE 识别在正常操作条件下可能不明显的系统弱点。通过引入受控故障，SRE 可以观察系统的响应，并找出那些不够健壮的领域。这些信息随后可用于改进系统的设计和架构，使其更健壮、更可靠。例如，SRE 可能会向负载均衡器引入一个故障，以查看它如何影响其后系统的可用性。如果负载均衡器发生故障，SRE 可以更改其配置或架构以提高其可靠性。

  • 增强系统可扩展性：混沌工程也可用于测试系统的可扩展性。通过引入故障并增加负载，SRE 可以观察系统在压力下的表现。这些信息可用于识别瓶颈并对系统架构进行改进。例如，SRE 可能会向 Web 服务器引入一个故障，以查看它如何影响网站的性能。如果网站开始变慢，SRE 可以更改 Web 服务器的配置或架构以提高其可扩展性。

  • 改善事件响应时间：混沌工程还可以帮助改善事件响应时间。通过模拟真实事件，SRE 可以培训团队快速有效地响应。这有助于减少解决事件所需的时间，从而最小化对用户的影响。例如，SRE 可能会模拟一次停电，以查看他们的团队恢复服务的速度。如果团队恢复服务的时间过长，SRE 可以更改他们的事件响应计划以提高效率。

  • 验证系统假设：混沌工程还可用于验证系统假设。通过有意引入故障，SRE 可以测试他们关于系统如何行为的假设。这有助于识别并纠正任何错误的假设，确保系统按预期设计和运行。例如，SRE 可能假设某个特定组件始终可用。通过向该组件引入一个故障，SRE 可以测试其假设，并在必要时对系统进行更改。

混沌工程的关键概念

混沌工程是一种主动的方法，通过有意的实验发现并纠正系统脆弱性。它涉及以下关键概念：

爆炸半径

在混沌工程中，爆炸半径指故障可能对系统造成的影响范围。其概念是从较小的爆炸半径开始实验（仅影响系统的一小部分或极少用户），然后随着对系统信心的增长逐步扩大半径。这有助于限制对用户的潜在负面影响，同时使你能够了解系统在压力下的行为。

故障注入

故障注入是一种方法，你故意向系统中注入故障以观察其反应。这可能涉及关闭服务器、切断网络连接或模拟高负载条件。目的是测试系统的弹性和冗余性，验证故障转移和恢复过程是否按预期工作，并识别需要改进的任何薄弱点。

稳态

稳态是系统的正常运行条件。它是系统在未经历任何故障或压力时的行为方式。通过理解系统的稳态，你可以更容易地识别何时

10. 混沌工程

稳态

稳态是系统正常运行的条件。它描述了系统在未经历任何故障或压力时的行为方式。理解系统的稳态后，当系统出现异常行为时，你就能更轻松地识别出来。混沌工程涉及将系统从其稳态中扰动出来，并观察实验结束后系统能否恢复到该状态。

可观测性与监控

可观测性与监控是混沌工程的关键组成部分。可观测性意味着对系统内部状态有足够的洞察力，以便能够根据系统的外部输出推断其行为或识别问题。这包括日志、指标和追踪数据。监控指的是对系统状态的持续检查。如果没有强大的可观测性和监控能力，就无法理解混沌实验的效果，也无法在出现问题时及时察觉。

混沌实验

混沌实验是对系统进行受控的故障注入，以了解其在压力下的行为方式。一个设计良好的混沌实验始于关于系统将如何反应的假设，然后应用一个故障场景，最后观察结果以证实或推翻该假设。这些实验通常自动化运行，并定期执行以捕捉系统行为中的回归或变化。

游戏日

游戏日是预先计划好的活动，团队在受控环境中模拟一次事件，以演练事件响应流程。它们是混沌实验的一种宝贵形式，因为不仅测试了系统的技术层面，还测试了人为因素：沟通、决策以及文档和运行手册的有效性。游戏日帮助团队为真实事件做好准备，并学习在实际发生时如何更有效地应对。

混沌工程准备

混沌工程的准备始于对基础设施的彻底分析，以确定最关键的系统。这些系统一旦发生故障，将对运营产生重大影响。确定这些系统后，你需要建立系统正常行为的基线。这通常包括预期延迟、吞吐量和错误率等指标。基线确定后，你就可以设计实验了。这些实验旨在破坏系统的正常操作，可能涉及向系统引入延迟、故意使服务失败或模拟其他潜在的系统干扰源。这些实验的目的是观察系统如何响应以及弱点在哪里，从而能够提高系统的韧性。

设定目标与指标

设定混沌测试（也称为混沌工程）的目标需要确定与组织韧性和可靠性目标一致的具体、可衡量的目标。

以下是设定正确混沌测试目标的一些步骤：

  1. 识别关键指标：首先，识别衡量系统健康状况的关键绩效指标（KPI）。这些指标包括正常运行时间、响应时间、错误率和系统吞吐量。
  2. 定义基线：确立这些KPI的正常行为标准。这涉及收集和分析数据以设定运行基线。
  3. 识别故障或缺陷：决定要模拟的故障或缺陷类型。这可以涵盖基础设施故障（如服务器崩溃或网络中断）到软件故障（如代码错误）。
  4. 建立预期结果：针对每种故障或缺陷，确定系统的预期响应。这构成了每个实验的假设。例如，如果某台服务器发生故障，一台冗余服务器可能会自动接管，且对响应时间的影响最小。
  5. 设定改进目标：定义通过这些实验希望实现的改进。这可能涉及减少停机时间、提高系统冗余性，或识别并修复系统中的弱点。

每个实验的结果都应根据你定义的目标进行衡量，这将清晰表明系统是否按预期行为运行，以及需要在哪些方面进行改进。

建立可观测性基础设施

建立可观测性基础设施是执行混沌测试的关键部分，因为它能让你跟踪实验的影响并理解系统行为。以下是分步指南：

  1. 识别关键指标：确定需要观察哪些关键指标以理解系统行为。这些指标包括错误率、系统延迟、吞吐量以及其他性能指标。
  2. 仪表化：为你的服务添加仪表化以收集这些指标。这可以通过各种专为可观测性设计的监控工具和软件库来实现，从而实时跟踪系统的性能和行。
  3. 日志与追踪：实现强大的日志记录和追踪能力。日志提供已发生事件的详细记录，而追踪提供请求生命周期的详细视图。两者结合有助于理解复杂的系统交互。
  4. 告警：根据已识别的关键指标设置告警。这些告警可以在系统行为出现重大偏差时通知你的团队。
  5. 仪表盘：创建综合仪表盘，可视化系统数据。这些仪表盘应提供系统健康与性能的一目了然的视图，并能快速识别任何问题。
  6. 分析与改进：分析混沌实验期间收集的数据，以了解系统在不同故障条件下的行为。该分析可以帮助你识别系统中的薄弱点，并进行必要的改进。

请记住，可观测性的目标不仅仅是收集数据，而是获得可操作的洞察力，从而提高系统的韧性和可靠性。从有效的可观测性基础设施中获得的洞察力对于理解混沌测试实验的影响至关重要。

建立强大的事件响应策略

在混沌测试期间建立强大的事件响应策略涉及定义识别、响应和从系统中断中学习的程序。

以下是建立强大事件响应策略的最佳方法：

  • 事件识别：设置监控和告警系统，以便在事件发生时迅速识别。这些系统可以基于偏离正常行为的KPI。
  • 事件分类：根据严重程度对事件进行分类，从轻微故障到重大失败不等。这有助于按优先级顺序安排响应工作和资源。
  • 沟通计划：制定明确的计划，包括谁应该被告知事件、如何告知以及他们需要知道哪些信息。这可能包括团队成员、利益相关者，甚至客户（如果事件影响他们）。
  • 事件响应：建立处理事件的明确流程。通常包括确定根本原因、抑制问题、修复问题以及使系统恢复正常。如果存在备用系统，还可能涉及启动故障转移流程。
  • 事后审查：问题解决后，进行事后分析，以找出根本原因、评估响应效果，并确定防止类似问题再次发生的措施。
  • 持续改进：利用事后审查的收获，不断改进事件响应计划。这可能涉及更改系统架构以提高韧性、调整告警阈值或改进沟通方式。

实施混沌测试

实施混沌工程涉及一系列步骤，每一步都旨在加深你对系统韧性和可靠性的理解。以下流程概述了如何实施混沌工程：

  • 基线定义：牢固理解系统的正常行为。收集响应时间、错误率和吞吐量等指标，创建基线，以便与实验的结果进行比较。
  • 假设制定：针对每个实验，制定预测系统行为的假设。该假设将基于你对系统架构和功能的理解。例如，你可能预测如果某个特定服务宕机，备用服务将无缝接管。
  • 设计与实施实验：设计以受控方式破坏系统的混沌实验。这可能涉及注入延迟、关闭服务或模拟高流量负载。目标是模拟潜在的故障源，并观察系统的反应。
  • 观察与监控：实验期间，使用你的可观测性基础设施密切监控系统行为。这将让你实时了解系统对干扰的响应方式。
  • 分析结果并完善假设：实验完成后，分析结果并与原始假设进行比较。这可能会证实你对系统的理解，也可能揭示需要解决的意外行为。
  • 实施改进：利用实验中获得的洞察力来提高系统的韧性。这可能涉及对代码、基础设施甚至事件响应流程的更改。
  • 重复该过程：混沌工程是一个迭代过程。不断重复此过程有助于确保系统在演进过程中始终保持韧性。

为混沌测试模拟生产负载对于评估系统韧性至关重要。首先了解生产环境的负载模式，并使用JMeter或Locust等工具生成逼真的负载配置。分布负载生成以模拟真实场景，并实施监控以跟踪性能指标。在引入混沌场景（如网络故障或资源耗尽）的同时逐步增加负载。分析结果以识别弱点，并迭代改进系统韧性，同时考虑在CI/CD流水线中自动化持续测试。

混沌工程工具与技术

从故障注入到监控与分析，混沌工程可以借助多种工具和技术来实现。举例如下：

Chaos Toolkit

Chaos Toolkit 是一个开源、社区驱动的项目，旨在提供一种简单直接的方式来实现混沌工程。它提供了一个命令行界面，帮助你定义、运行和回滚系统中的混沌实验。该工具包支持多种扩展，能够与各种平台和服务集成。你还可以将其与Prometheus或Grafana结合使用，在实验期间实现有效的可观测性。

Gremlin

Gremlin 是一个完全托管的混沌工程平台，有时被称为“故障即服务”（failure-as-a-service）。它允许在系统中安全地执行混沌实验。Gremlin 提供了多种开箱即用的攻击方式，包括资源攻击（如CPU、内存或磁盘）、网络攻击和状态攻击（如关机或时间旅行）。它支持基于云和本地环境，并提供了一个用户友好的界面来规划、调度和回滚混沌实验。

Chaos Monkey

Chaos Monkey 是Netflix开发的韧性工具，帮助应用容忍随机的实例故障。它遵循“经常失败、快速失败”的原则。Chaos Monkey 会随机终止生产环境中运行的虚拟机实例和容器。这种不可预测的终止行为迫使开发人员从一开始就构建具有韧性的服务，从而确保高可用性和健壮性。

其他混沌工具如下：

其他混沌工程工具

  • LitmusChaos：一款专为 Kubernetes 设计的开源混沌工程工具。它提供了多种预定义的混沌实验（例如 Pod 故障或网络延迟），并允许开发人员创建自己的实验。
  • PowerfulSeal：另一款面向 Kubernetes 的开源工具，用于向集群注入故障，帮助您识别并修复系统韧性方面的弱点。
  • ToxiProxy：由 Shopify 开发，是一款 TCP 代理，用于创建和测试网络条件（如慢连接、超时等）。可用于测试应用程序如何处理各种网络问题。
  • Pumba：一款开源混沌测试工具，用于干扰 Docker 容器中的 TCP、网络和进程。它轻量级且可移植，是基于容器的应用程序的绝佳选择。

混沌工程案例研究

各公司通过正确实施混沌工程达到了新的高度。这需要多次迭代多个实验。让我们通过案例研究来了解最佳成果，以下各节将列出这些案例。

Netflix

Netflix 是使用混沌工程提高系统韧性的先驱。该公司使用一套名为 Simian Army（猿军） 的工具，以受控且安全的方式向生产环境注入故障。这使得 Netflix 能够在故障导致停机或其他问题之前发现并修复系统中的弱点。

Simian Army 中最著名的工具之一是 Chaos Monkey（混沌猴子）。Chaos Monkey 会随机终止生产环境中的虚拟机实例。这模拟了物理服务器故障，可能对其他系统产生级联影响。通过让工程师更频繁地面对这些故障，Chaos Monkey 帮助他们构建更具韧性的应用程序。

Simian Army 中的另一个工具是 Latency Monkey（延迟猴子）。Latency Monkey 会在 RESTful 客户端-服务器通信中引入人为延迟。这模拟了网络延迟或其他性能问题的影响。通过使用 Latency Monkey，Netflix 可以测试其应用程序如何响应不同级别的延迟。

Netflix 还使用了 Simian Army 中的其他几种工具，包括：

  • Error Monkey（错误猴子）：在应用程序代码中引入错误。
  • Kill Disk Monkey（磁盘杀死猴子）：随机卸载虚拟机中的磁盘。
  • Zombie Load Monkey（僵尸负载猴子）：向应用程序引入人为负载。
  • Change Monkey（变更猴子）：随机更改配置设置。

这些工具使 Netflix 能够以多种方式测试其系统的韧性。通过以受控且安全的方式使系统暴露于故障，Netflix 可以在问题发生前发现并修复弱点。这有助于 Netflix 即使在意外故障发生时也能保持服务正常运行。

混沌工程的使用显著提高了 Netflix 系统的韧性。在一篇博文中，Netflix 工程师估计 Chaos Monkey 已防止了超过 100 次停机。该公司还声称 Latency Monkey 已帮助将客户关于性能问题的投诉减少了 50%。

混沌工程仍然是一项相对较新的实践，但正在大型科技公司中日益流行。Netflix 是该领域的领导者，其对混沌工程的使用帮助其系统更具韧性和可靠性。

Netflix 使用混沌工具的好处：

  • 在故障导致停机或其他问题之前发现并修复系统弱点。
  • 提高系统应对意外故障的韧性。
  • 减少客户关于性能问题的投诉。
  • 增强工程师对其系统可靠性的信心。

Netflix 使用混沌工具的挑战：

  • 混沌实验可能干扰生产环境。
  • 难以获得工程师和其他利益相关者的支持。
  • 混沌实验可能耗时且消耗大量资源。

Netflix 已成功运用混沌工程大幅提高了系统韧性。该公司使用混沌工具有助于防止停机、减少客户投诉并增强工程师对其系统可靠性的信心。随着混沌工程越来越普及，其他公司很可能会效仿 Netflix，使用这些工具来提高自身系统的可靠性。

Amazon

Amazon 是另一家使用混沌工程来提高系统韧性的公司。该公司使用多种工具，包括 AWS Fault Injection Simulator（AWS 故障注入模拟器，AWS FIS）、Chaos Toolkit 和 Litmus Chaos。

AWS FIS 是一项完全托管的服务，允许 Amazon 客户以受控且安全的方式向其 AWS 环境注入故障。可用于测试应用程序、服务和基础设施对意外故障的韧性。

Chaos Toolkit 是一个开源框架，帮助工程师设计、运行和分析混沌实验。它提供了一系列故障注入操作、探测和断言，可用于测试系统的韧性。

Litmus Chaos 是一个面向 Kubernetes 的云原生混沌工程框架。它提供了一系列混沌实验，可用于测试 Kubernetes 应用程序和基础设施的韧性。

Amazon 使用这些工具运行了多项混沌实验，包括：

  • 向 Amazon Elastic Compute Cloud (EC2) 实例注入延迟
  • 删除 Amazon Relational Database Service (RDS) 实例
  • 将 Amazon Elastic Load Balancing (ELB) 实例与 Amazon EC2 实例断开连接

这些实验帮助 Amazon 发现并修复了系统弱点。例如，一个实验发现 Amazon 的 ELB 服务在失去单个 EC2 实例时缺乏韧性。通过向 ELB 服务添加一种机制，使其在故障时自动将流量路由到健康的 EC2 实例，该问题得以修复。

混沌工程的使用显著提高了 Amazon 系统的韧性。该公司多年来未发生重大停机，并且有信心其系统能够承受意外故障。

Amazon 使用混沌工具的好处：

  • 在故障导致停机或其他问题之前发现并修复系统弱点。
  • 提高系统应对意外故障的韧性。
  • 减少客户关于性能问题的投诉。
  • 增强工程师对其系统可靠性的信心。

Amazon 使用混沌工具的挑战：

  • 混沌实验可能干扰生产环境。
  • 难以获得工程师和其他利益相关者的支持。
  • 混沌实验可能耗时且消耗大量资源。

Amazon 已成功运用混沌工程大幅提高了系统韧性。该公司使用混沌工具有助于防止停机、减少客户投诉并增强工程师对其系统可靠性的信心。随着混沌工程越来越普及，其他公司很可能会效仿 Amazon，使用这些工具来提高自身系统的可靠性。

Google

Google 多年来一直使用混沌工程来提高其系统的韧性。该公司使用多种工具，包括：

  • Chaos Mesh：一个 Kubernetes 原生混沌工程框架，允许工程师以受控且安全的方式向其 Kubernetes 环境注入故障。
  • Fault Injection Framework (FIF)：允许工程师向其 Google Cloud Platform (GCP) 环境注入故障。
  • Chaos Monkey：随机终止生产环境中虚拟机实例的工具。
  • Latency Monkey：在 RESTful 客户端-服务器通信中引入人为延迟的工具。

这些工具帮助 Google 在故障导致停机或其他问题之前发现并修复系统弱点。例如，一个使用 Chaos Mesh 的实验发现 Google 的 Kubernetes 调度器在丢失单个节点时缺乏韧性。通过向调度器添加一种机制，使其在故障时自动将 Pod 重新调度到健康节点，该问题得以修复。

Google 还使用混沌工程提高了基础设施的韧性。例如，一个使用 FIF 的实验发现 Google 的网络在丢失单个链路时缺乏韧性。通过向网络添加冗余，该问题得以修复。

混沌工程的使用显著提高了 Google 系统的韧性。该公司多年来未发生重大停机，并且有信心其系统能够承受意外故障。

Google 使用混沌工具的好处：

  • 在故障导致停机或其他问题之前发现并修复系统弱点。
  • 提高系统应对意外故障的韧性。
  • 减少客户关于性能问题的投诉。
  • 增强工程师对其系统可靠性的信心。

Google 使用混沌工具的挑战：

  • 混沌实验可能干扰生产环境。
  • 难以获得工程师和其他利益相关者的支持。
  • 混沌实验可能耗时且消耗大量资源。

Google 已成功运用混沌工程大幅提高了系统韧性。该公司使用混沌工具有助于防止停机、减少客户投诉并增强工程师对其系统可靠性的信心。随着混沌工程越来越普及，其他公司很可能会效仿 Google，使用这些工具来提高自身系统的可靠性。

除了上述工具外，Google 还使用了其他多种技术来提高系统韧性，例如：

  • 金丝雀部署（Canary deployments）：一种将新版本软件先部署到一小部分用户，再部署到全体用户的技术。这有助于在新版本软件导致停机之前发现并修复问题。
  • A/B 测试：一种比较两个版本软件以确定哪个性能更好的技术。可用于在软件导致停机之前发现并修复问题。
  • 监控：收集和分析系统性能数据的过程。这些数据可用于在问题导致停机之前发现系统问题。

通过结合使用混沌工程和其他技术，Google 得以构建出高度韧性的系统，能够承受意外故障。

混沌工程的未来

混沌工程的未来一片光明。随着越来越多的公司采用混沌工程，这一实践将变得更加复杂和有效。以下是可能塑造混沌工程未来的一些趋势：

我们认为以下具体趋势很可能塑造混沌工程的未来：

  • 混沌工程在云原生环境中的使用日益增加。随着越来越多的应用程序部署在云端，混沌工程对于确保这些系统的韧性将变得愈发重要。
  • 开发更自动化的混沌工程工具。这将使工程师更易于运行混沌实验，无需手动干预。
  • 混沌工程越来越多地用于提高系统安全性。混沌工程可用于发现并修复可能被攻击者利用的安全漏洞。
  • 混沌工程越来越多地用于提高系统性能。通过了解系统在压力下的行为，工程师可以识别瓶颈和其他性能问题。

本章小结

本章重点介绍了 AI 与 SRE 如何协同工作。AI 通过自动化复杂任务、提高预测准确性以及减少手动工作来增强 SRE。

10. 混沌工程

工作量和系统停机时间。此外，本章还讨论了AI驱动的预测性跟踪，系统通过从过往数据中学习，在潜在问题扰乱服务之前主动加以解决。同时介绍了基于AI的异常检测，将其作为早期预警系统，快速识别异常系统行为。

最后，我们探讨了新兴的AIOps领域，它利用AI自动化和改进IT运维。这包括使用机器学习更快速、更准确地分析日志数据，从而加快事件响应速度。总体而言，本章强调了AI如何改变SRE和IT运维，在现代数字环境中提供更高的效率和可靠性。

在下一章中，我们将讨论如何利用人工智能（AI）改进站点可靠性工程流程。本章将探讨AI如何通过预测分析、异常检测和自动化事件响应来革新标准的SRE方法。我们将讨论如何将机器学习模型集成到主动系统监控中，以及AI在决策过程中的影响。本章旨在深入介绍AI驱动的工具和方法如何提高系统可靠性、效率以及SRE团队在管理复杂动态环境中的整体效能。

多选题

  1. 混沌工程的主要目标是什么？ a. 尽可能制造混乱，测试IT人员的耐心
    b. 通过引入随机故障来测试系统的可靠性和韧性
    c. 修复应用程序代码中的错误
    d. 通过模拟网络攻击来测试系统安全性

  2. 混沌工程中进行的实验被称为什么？ a. 故障演练
    b. 混沌猴
    c. 混沌实验
    d. 漏洞奖励计划

  3. 以下哪一项最能描述混沌猴（Chaos Monkey）？ a. 用于检测漏洞的安全工具
    b. 一种软件工具，会在生产环境中随机终止实例，以确保工程师将其实施的服务能够弹性应对实例故障
    c. 一种物理设备，用于中断服务器连接
    d. 一个向系统引入错误的代码模块

  4. 规划和执行混沌工程实验时应涉及哪些人员？ a. 仅高级管理层
    b. 仅IT支持人员
    c. 跨职能团队，包括开发、运维和业务利益相关者
    d. 仅外部顾问

  5. 在开始混沌工程实验之前，一个重要的考虑因素是什么？ a. 确保对所有数据进行全面备份
    b. 制定详细计划并理解系统行为
    c. 为实验获取尽可能高的预算
    d. 安排在业务高峰时段进行实验以获得最大效果

答案

  1. b
  2. c
  3. b
  4. c
  5. b

加入本书的Discord空间

加入本书的Discord工作区，获取最新更新、优惠、全球技术动态、新版本发布以及与作者的交流机会：
https://discord.bpbonline.com

（无实际翻译内容，因为提供的Raw Text仅包含已被标记为不应输出的上下文重叠部分。）