可观测性(Observability)是一种软件开发和系统构建的哲学,是对系统内部状态及行为的度量和推断能力,通常包括日志、指标、链路追踪等多个度量维度。也就是说,在软件开发和运维领域中,可观测性是指对于一个复杂的系统,能够通过监控、日志、指标、追踪等手段,快速地发现、诊断、解决问题的能力。
In 1960, Kálmán introduced a characterization he called observability to describe mathematical control systems in his paper. In control theory, observability is defined as a measure of how well internal states of a system can be inferred from knowledge of its external outputs.
从核心出发点来讲,传统的监控和可观测性,背后解决的是同样的问题,就是及时、准确的掌握系统的运行状况,提升对系统运行的控制能力。
1、侧重于依赖“经验主义”,应对“已知问题”
传统监控,要预先知晓采集哪些指标,添加什么样的告警策略,定制什么样的仪表盘,以便发现某种类型的故障后,采用什么样的 Runbook 来应对。比如技术团队根据过往经验,知道一台服务器上打开的文件句柄数量不能太多,超过某个上限就会影响到网络通信以及文件读写,因此我们会采集一个 node_filefd_allocated 的指标,然后配置一个告警策略:当 node_filefd_allocated > 1000k 则触发告警,同时我们会提前制作一个 Linux 主机 Dashboard,其中包含有 node_filefd_allocated 的趋势图。准备好这些工作之后,接下来就是守株待兔,等待告警的触发,值班的技术团队就可以按照 Runbook 中载明的排查步骤,检查是否有进程泄露文件句柄,或者是否有大量的网络链接建立等等。
经验主义,总是有限的,无法预知可能发生的各种未知的故障。因此在实际情况中,告警策略的完善往往靠“故障复盘”来驱动,每次故障复盘后,必定会有的一个改进项:继续完善监控、加更多的告警。技术团队总会处于一种对未知故障缺乏掌控的不安全的状态中,产生焦虑感,反过来又会促使技术团队添加更多的监控,久而久之,告警会越加越多,却又永远不够,告警风暴就这样产生了。
2、告警驱动的传统监控,缺乏对故障的全局感知
在传统监控中,告警充当着举足轻重的作用。当使用传统监控方式,发出某个告警之后,值班的技术团队看到的只是一个孤立的”技术问题“,这个技术问题的影响面有多大,重要程度如何,是否需要立即处理,是否需要上升和协同,很难快速的做出判断。某个”技术问题“是否重要,是否紧急,不取决于该技术问题本身的难易程度,也不取决于所涉及的服务器规模多寡,唯一的衡量标准是”对用户体验产生的影响有多大“。使用传统监控无法快速的评估某个告警事件和用户体验之间的必然联系,导致无法投入准确的应急处置资源,无法确定合理的应急响应时效,也无法和其他资源产生有效的联动协同,最终使得稳定性保障工作效率低下。
3、传统监控认为,系统的开发者和系统的维护者,职责是相对分割的
系统在设计之初,开发者的重心在于完成必备的业务逻辑,对于自身运行状态的暴露,并没有考虑的很完善甚至有时候都没有考虑。大家可能会经常遇到,做的好的开发者可能还会打印较为详细的日志,做的不好的,连日志也打的不全,更不必说提供主动暴露系统状态的 Metrics 接口或者为实现 Tracing 进行埋点了。一旦系统到了上线运行阶段,维护人员接手后,往往只能开启“外挂”模式,通过写各种各样的脚本,去探测进程是否存在、去分析匹配日志中是否有关键的错误字段。如果要进一步统计系统的访问量、访问延迟、资源消耗等等,就会更加被动。“外挂”往往是传统监控数据采集的特征。
4、传统监控面向的通常是基础设施,Metrics是传统监控的基础
基础设施的变化较慢,且变化带来的结果相对可预测。Metrics 类型的监控指标,具有采集存储成本低、简单直观、易于聚合计算的特点,因此在过去的二三十年里,基于 Metrics 为基础,出现了各种各样的采集器、时序数据库、可视化工具、告警工具等,基于前面提到的”经验主义“,尚能应付面向基础设施的稳定性保障工作。
互联网流行前,擅长于局部场景,部分产品到现在仍然被广泛使用:
- Cacti:2001年9月,一个名叫Lan Berry的高中生,当时他还在为一家小的ISP厂商工作,为了更好地监控网络质量,开发了Cacti的第一个版本,基于RRDtool,提供更友好的使用体验。
- Nagios:Nagios可谓是早期告警方向事实上的工业标准,可以用来监控主机和网络基础设施,以及各种应用服务。在监控对象出现问题时,及时发送邮件或者短信通知相关人员;当问题解决后,发送恢复信息。一段时间的主流,后来以难用闻名。
- Ganglia: UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。主要是用来监控系统性能,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等。
- RRDtool:在时间序列数据(time-series data)的存储、展示方面,其独创的round-robin database数据存储格式,曾经是事实上的工业标准。包括Cacti、MRTG、Collectd、Ganglia、Zenoss等系统,都是采用RRDtool的格式来存储数据,以及使用RRDtool的Graph工具来绘图。
- Collectd:定位是收集和传输数据。在告警方面不是Collectd的设计初衷,不过它也支持一些简单的阈值判定,并发送告警信息。要支持更高级的一些告警需求,Collectd可以和Nagios配合使用。
- StatsD:最早是 2008 年 Flickr 公司用 Perl 写的,StatsD 其实就是一个监听UDP(默认)或者TCP的守护程序,根据简单的协议收集statsd客户端发送来的数据,聚合之后,定时推送给后端,如graphite和influxdb等,再通过grafana等展示。
- Graphite:一个开源实时的、显示时间序列度量数据的图形系统。Graphite并不收集度量数据本身,而是像一个数据库,通过其后端接收度量数据,然后以实时方式查询、转换、组合这些度量数据。Graphite支持内建的Web界面,它允许用户浏览度量数据和图。