微服务实现简单的分布式日志追踪

标签: 微服务 分布 日志 | 发表时间:2021-01-25 00:32 | 作者:aoxiang
出处:http://weekly.dockone.io

最近想给项目添加一个简单的分布式请求跟踪功能,从前端发起请求到网关,再从网关调用 Spring Cloud 的微服务,这些过程中希望能从日志中看到一个分布式 ID 的链路,通过请求的 ID 可以追踪整一条链路,方便问题的排查。

现成的方案自然是使用 SkyWalking 、 Spring Cloud Sleuth 、Zipkin 之类的组件,但是想到主要的目的记录一个可以一直贯通各个服务的 ID,方便日志查询,也就不想引入太多复杂的组件,最终决定通过 MDC 在日志中输出追踪的 ID,然后在 Feign 和 RestTemplate 中将请求 ID 在微服务中传递。

主要包括几个步骤:
  1. 从前端生成请求 ID 并加入请求头带入网关
  2. 网关通过 WebFilter 拦截并加入 MDC 中,在 log 中输出
  3. 在 Feign 和 RequestTemplate 中将请求 ID 在带到 HTTP 的 Header 中微服务传递
  4. 各个微服务同样通过 WebFilter 实现拦截并加入 MDC,在 log 中输出


MDC

MDC(Mapped Diagnostic Context,映射调试上下文)是 Log4j 和 Logback 提供的一种方便在多线程条件下记录日志的功能。 MDC 可以看成是一个与当前线程绑定的哈希表,可以往其中添加键值对。

MDC 的关键操作:
  • 向 MDC 中设置值:MDC.put(key, value);
  • 从 MDC 中取值:MDC.get(key);
  • 将 MDC 中内容打印到日志中:%X{key}


新增 TraceId 工具类

先新增一个 TraceIdUtils 工具类,用于定义 TRACE_ID 的常量值以及设置及生成 TRACE_ID 的方法,后续代码中都是通过这个估计类进行操作。
import org.apache.commons.lang.RandomStringUtils;  
import org.apache.commons.lang.StringUtils;
import org.slf4j.MDC;

public class TraceIdUtils {
public static final String TRACE_ID = "traceId";
private static final int MAX_ID_LENGTH = 10;

/**
 * 生成 traceId
 */
private static String genTraceId() {
    return RandomStringUtils.randomAlphanumeric(MAX_ID_LENGTH);
}

/**
 * 设置 traceId
 */
public static void setTraceId(String traceId) {
    // 如果参数为空,则生成新 ID
    traceId = StringUtils.isBlank(traceId) ? genTraceId() : traceId;
    // 将 traceId 放到 MDC 中
    MDC.put(TRACE_ID, StringUtils.substring(traceId, -MAX_ID_LENGTH));
}

/**
 * 获取 traceId
 */
public static String getTraceId() {
    // 获取
    String traceId = MDC.get(TRACE_ID);
    // 如果 traceId 为空,则生成新 ID
    return StringUtils.isBlank(traceId) ? genTraceId() : traceId;
}


通过 WebFilter 添加 TraceId 过滤器

新增一个 GenericFilterBean ,从请求头中获取 TraceIdUtils.TRACE_ID 对应的值,该值在前端发起请求或者微服务之间传递都会带上,如果没有,则 TraceIdUtils.setTraceId 会生成一个。
import org.springframework.core.annotation.Order;  
import org.springframework.web.filter.GenericFilterBean;

@WebFilter(urlPatterns = "/*", filterName = "traceIdFilter")
@Order(1)
public class TraceIdFilter extends GenericFilterBean {
@Override
public void doFilter(ServletRequest request, ServletResponse response, FilterChain filterChain) throws IOException, ServletException {
    // traceId初始化
    HttpServletRequest req = (HttpServletRequest) request;
    String traceId = req.getHeader(TraceIdUtils.TRACE_ID);
    TraceIdUtils.setTraceId(traceId);
    // 执行后续过滤器
    filterChain.doFilter(request, response);
}


不要忘记在 SpringBoot 的启动类加上 @ServletComponentScan 注解,否则自定义的 Filter 无法生效。其中 “com.yourtion.trace.filter” 是 TraceIdFilter 所在的包名。
@ServletComponentScan(basePackages = "com.yourtion.trace.filter")  
@SpringBootApplication
public class MyApplication {

public static void main(String[] args) {
    SpringApplication.run(MyApplication.class, args);
}


在 Feign 上添加 TraceId

因为 @FeignClient 的代理类在执行的时候,会去使用使用到 Spring 上下文的 RequestInterceptor,所以自定义自己的拦截器,然后注入到 Spring 上下文中,这样就可以在请求的上下文中添加自定义的请求头。
import feign.RequestInterceptor;  
import feign.RequestTemplate;
import org.springframework.stereotype.Service;

@Service
public class FeignInterceptor implements RequestInterceptor {
@Override
public void apply(RequestTemplate template) {
    template.header(TraceIdUtils.TRACE_ID, TraceIdUtils.getTraceId());
}


在 RestTemplate 上添加 TraceId

还有一部分请求是通过 RestTemplate 发起的,之前我们是自己实现了 RestTemplateConfig 的配置类,这次在相关的配置上添加:
RestTemplate restTemplate = builder.additionalInterceptors((request, body, execution) -> {  
request.getHeaders().add(TraceIdUtils.TRACE_ID, TraceIdUtils.getTraceId());
return execution.execute(request, body);
}).build();

至此,链路上的 TraceId 添加已经完成,剩下的就是在日志中打印出来了。

修改 Log4j2 的 layout 格式

修改日志的layout格式,将MDC中的traceId打印出来:
  





至此,修改就大功告成了。

参考:


原文链接: https://blog.yourtion.com/micr ... .html

相关 [微服务 分布 日志] 推荐:

微服务实现简单的分布式日志追踪

- - DockOne.io
最近想给项目添加一个简单的分布式请求跟踪功能,从前端发起请求到网关,再从网关调用 Spring Cloud 的微服务,这些过程中希望能从日志中看到一个分布式 ID 的链路,通过请求的 ID 可以追踪整一条链路,方便问题的排查. 现成的方案自然是使用 SkyWalking 、 Spring Cloud Sleuth 、Zipkin 之类的组件,但是想到主要的目的记录一个可以一直贯通各个服务的 ID,方便日志查询,也就不想引入太多复杂的组件,最终决定通过 MDC 在日志中输出追踪的 ID,然后在 Feign 和 RestTemplate 中将请求 ID 在微服务中传递.

分布式日志

- - Java - 编程语言 - ITeye博客
最近完成一个简单的日志管理系统,拿出来跟大家分享一下. 3、支持文件输出、habse输出、mongodb输出. 基于以上三点功能,我们下面详细说明. 说道支持这个功能,有个同事认为没有这个必要,他的观点是log4j的配置不需要经常变动,不需要支持这样的功能;本人的观点是“配置可以进行统一管理、而且正式机跟测试机的log4j的配置肯定会有一些差异的”,因此这个功能是必须的.

微服务架构的分布式事务解决方案

- - 研发管理 - ITeye博客
分布式系统架构中,分布式事务问题是一个绕不过去的挑战. 而微服务架构的流行,让分布式事问题日益突出. 下面我们以电商购物支付流程中,在各大参与者系统中可能会遇到分布式事务问题的场景进行详细的分析. 如上图所示,假设三大参与平台(电商平台、支付平台、银行)的系统都做了分布式系统架构拆分,按上数中的流程步骤进行分析:.

微服务分布式一致性模式 – ThoughtWorks洞见

- -
微服务拆分后遇到的一个麻烦是分布后的一致性问题. 单体架构的业务处理和数据都在一个进程里面,一致性保障很成熟,开发人员基本上不用关心. 当把业务系统拆分到不同进程时,就遇到了技术性一致性问题. 这带来了纠结,我们希望有一颗银弹,一把解决问题. 但由于分布式一致性在(CAP)理论上没有完美的解决方案,我们所能选择的方案是在特定业务场景下的选择.

基于支付系统场景的微服务架构的分布式事务解决方案

- - 研发管理 - ITeye博客
分布式系统架构中,分布式事务问题是一个绕不过去的挑战. 而微服务架构的流行,让分布式事问题日益突出. 下面我们以电商购物支付流程中,在各大参与者系统中可能会遇到分布式事务问题的场景进行详细的分析. 如上图所示,假设三大参与平台(电商平台、支付平台、银行)的系统都做了分布式系统架构拆分,按上数中的流程步骤进行分析:.

Spring Cloud Alibaba | 微服务分布式事务之Seata - 极客挖掘机 - 博客园

- -
Spring Cloud Alibaba | 微服务分布式事务之Seata. 本篇实战所使用Spring有关版本:. 在构建微服务的过程中,不管是使用什么框架、组件来构建,都绕不开一个问题,跨服务的业务操作如何保持数据一致性. 首先,设想一个传统的单体应用,无论多少内部调用,最后终归是在同一个数据库上进行操作来完成一向业务操作,如图:.

分布式微服务系统的跨库查询/操作的解决思路(关系型数据库)

- - 掘金 后端
在后端开发过程中,我们绕不开的就是数据结构设计以及关联的问题. 然而在传统的单体架构的开发中,解决数据关联的问题并不难,通过关系型数据库中的关联查询功能,以及MyBatis的级联功能即可实现. 但是在分布式微服务中, 整个系统都被拆分成了一个个单独的模块,每个模块也都是使用的单独的数据库. 这种情况下,又如何解决不同模块之间数据关联问题呢.

分布式日志收集收集系统:Flume

- - 标点符
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统. 支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力. Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera.

分布式日志收集系统Apache Flume的设计介绍

- - CSDN博客架构设计推荐文章
Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统. 现在已经是Apache Top项目. 同Flume相似的日志收集系统还有 Facebook Scribe, Apache Chuwka, Apache Kafka(也是LinkedIn的). Flume是后起之秀,本文尝试简要分析Flume数据流通过程中提供的组件、可靠性保证来介绍Flume的主要设计,不涉及Flume具体的安装使用,也不涉及代码层面的剖析.

实时分布式日志系统plumelog落地

- - 掘金 架构
这是我参与「掘金日新计划 · 4 月更文挑战」的第25天, 点击查看活动详情. 无代码入侵的分布式日志系统,基于log4j、log4j2、logback搜集日志,设置链路ID,方便查询关联日志. 基于elasticsearch作为查询引擎. 全程不占应用程序本地磁盘空间,免维护;对于项目透明,不影响项目本身运行.