023 分布式系统关键技术:全栈监控

首先,我们需要一个全栈系统监控的东西。它就像是我们的眼睛,没有它,我们就不知道系统到底发生了什么,我们将无法管理或是运维整个分布式系统。所以,这个系统是非常非常关键的。

而在分布式或 Cloud Native 的情况下,系统分成多层,服务各种关联,需要监控的东西特别多。没有一个好的监控系统,我们将无法进行自动化运维和资源调度。

这个监控系统需要完成的功能为:

多层体系的监控

所谓全栈监控,其实就是三层监控。

img

这还需要一些监控的标准化。

什么才是好的监控系统

这里还要多说一句,现在我们的很多监控系统都做得很不好,它们主要有两个很大的问题。

  1. 监控数据是隔离开来的。因为公司分工的问题,开发、应用运维、系统运维,各管各的,所以很多公司的监控系统也是各是各的,完全串不起来。
  2. 监控的数据项太多。有些公司的运维团队把监控的数据项多做为一个亮点到处讲,比如监控指标达到 5 万多个。老实说,这太丢人了。因为信息太多等于没有信息,抓不住重点的监控才会做成这个样子,完全就是使蛮力的做法。

一个好的监控系统应该有以下几个特征。

换句话说,一个好的监控系统主要是为以下两个场景所设计的。

“体检”

“急诊”

只有做到了上述的这些才能是一个好的监控系统。

如何做出一个好的监控系统

下面是我认为一个好的监控系统应该实现的东西。

如下图所示(截图来自我做的一个 APM 的监控系统)。

img

img

img

img

这样一来,我们就可以知道服务和基础层资源的关系。如果是 Java 应用,我们还要和 JVM 里的东西进行关联,这样我们才能知道服务所运行的 JVM 中的情况(比如 GC 的情况)。

有了这些数据上的关联,我们就可以达到如下的目标。

  1. 当一台机器挂掉是因为 CPU 或 I/O 过高的时候,我们马上可以知道其会影响到哪些对外服务的 API。
  2. 当一个服务响应过慢的时候,我们马上能关联出来是否在做 Java GC,或是其所在的计算结点上是否有资源不足的情况,或是依赖的服务是否出现了问题。
  3. 当发现一个 SQL 操作过慢的时候,我们能马上知道其会影响哪个对外服务的 API。
  4. 当发现一个消息队列拥塞的时候,我们能马上知道其会影响哪些对外服务的 API。

总之,我们就是想知道用户访问哪些请求会出现问题,这对于我们了解故障的影响面非常有帮助。

一旦了解了这些信息,我们就可以做出调度。比如:

所以,一个分布式系统,或是一个自动化运维系统,或是一个 Cloud Native 的云化系统,最重要的事就是把监控系统做好。在把数据收集好的同时,更重要的是把数据关联好。这样,我们才可能很快地定位故障,进而才能进行自动化调度。

img

上图只是简单地展示了一个分布式系统的服务调用链接上都在报错,其根本原因是数据库链接过多,服务不过来。另外一个原因是,Java 在做 Full GC 导致处理过慢。于是,消息队列出现消息堆积堵塞。这个图只是一个示例,其形象地体现了在分布式系统中监控数据关联的重要性。

小结

回顾一下今天的要点内容。首先,我强调了全栈系统监控的重要性,它就像是我们的眼睛,没有它,我们根本就不知道系统到底发生了什么。随后,从基础层、中间层和应用层三个层面,讲述了全栈监控系统要监控哪些内容。然后,阐释了什么才是好的监控系统,以及如何做出好的监控。最后,欢迎你分享一下你在监控系统中的比较好的实践和方法。

下一篇文章中,我将讲述分布式系统的另一关键技术:服务调度。