Chaos Engineering 的基本原则

查看原文

这个网站描述了 Chaos Engineering 的一些基本原则。

  • Chaos Engineering 的定义:是一种对分布式系统做线上的测试的实践,手段是在一个隔离的生产环境中人为制造一些极端环境。
  • 意义:即便每个组件都是好的,他们通讯出问题了,系统还是一样照挂;或者服务降级是配置有问题,超时不合适导致过多重试,服务要承受太多流量,单点故障导致雪崩。分布式系统会出现的情况实在太多了。预期等着出现,不如主动出击。主动制造问题,如果制造出的问题怎么搞系统都不会崩,那系统看起来还蛮可靠的。
  • Chaos 四个步骤:
    • 定义系统正常时的一些指标,收集监控数据。
    • 假设在 control group 和 experiment group 两个都处于正常状态。
    • 制造事故,模拟出 server crash,硬盘故障,网络连接故障等等。
    • 尝试找出 control group 和 experiment group 的状态的不同。如果有不同,那就找到了可以改进的地方。
  • 一些实践:
    • 与其搜集系统的内部属性指标,不如搜集系统的输出。吞吐,错误率,latency 百分位这些都是蛮好的指标。这些通用指标能证明系统正在工作。
    • Chaos variables 是一些跟现实中会可能是系统出现故障的那些情况,不一定会是硬件出问题,甚至网络流量出现 spike 都可能可以算。
    • 生产环境的数据很宝贵,可以做采样,然后对实验环境进行测试。
    • 对这些实验写代码,做自动化。
    • 最小化对客户的影响,限制在阈值内。