基于 eBPF 的开源项目 eCapture 介绍:无需 CA 证书抓 https 网络明文通讯

标签: dev | 发表时间:2022-06-12 00:00 | 作者:
出处:http://itindex.net/relian

eCapture 介绍

eCapture 是一款基于 eBPF 技术实现的用户态数据捕获工具。不需要 CA 证书,即可捕获 https/tls 的通讯明文。

项目在 2022 年 3 月中旬创建,一经发布,广受大家喜爱,至今不到两周已经 1200 多个 Star。

作用

  1. 不需要 CA 证书,即可捕获 HTTPS/TLS 通信数据的明文。
  2. 在 bash 审计场景,可以捕获 bash 命令。
  3. 数据库审计场景,可以捕获 mysqld/mariadDB 的 SQL 查询。

官网

代码仓库见:https://github.com/ehids/ecapture ,也可以关注微信公众号「榫卯江湖」获取最新动态。

产品架构

eCapture 系统用户态程序使用 Golang 语言开发,具有良好的系统兼容性,无依赖快速部署,更适合云原生场景。内核态代码使用 C 编写,使用 clang/llvm 编译,生产 bpf 字节码后,采用  go-bindata 转化为 golang 语法文件,之后采用  ehids/ebpfmanager 类库,调用 bpf syscall 进行加载、HOOK、map 读取。golang 编译后,无其他任何依赖即可运行,兼容 linux kernel 4.18 以上所有版本。

eBPF 加载机制

关于 eBPF 详细加载机制,可到 https://ebpf.io/ 查阅相关原理。

实现原理

如工作原理的图所示,在用户态的加密解密函数中下钩子。tcpdump (libpcap) 是在数据包接收到,XDP 处理后,进行  clone packet,进行包的复制,发送给用户态进程。二者工作的所在层不一样。

功能介绍

eCapture 有三个模块

  1. tls/ssl 明文数据捕获
  2. bash 命令审计
  3. mysqld 数据库审计

第一个功能适用于基于 tls/ssl 解密需求的运维监控、故障排查、抽样分析场景。

第二个功能适用于安全领域的 bash 入侵发现场景,这里只是简单的功能,可以在此基础上增加其他功能。

第三个功能适用于数据库审计场景,尤其是做数据安全、数据防泄漏,甚至入侵检测等。同样,可以在此基础上扩充其他功能。

查看其使用说明,如下

  cfc4n@vm-desktop:~/ehids/ecapture$ ./bin/ecapture   
NAME:
 ecapture - capture text SSL content without CA cert by ebpf hook.

USAGE:
 ecapture [flags]

VERSION:
 0.1.5-20220325-47edbed

COMMANDS:
 bash  capture bash command
 help  Help about any command
 mysqld56 capture sql queries from mysqld >5.6 .
 tls  alias name:openssl , use to capture tls/ssl text content without CA cert.

DESCRIPTION:
 ecapture是一款无需安装CA证书,即可抓去HTTPS、TLS等明文数据包的工具。
 也可以捕获bash的命令,适用于安全审计场景。包括mysqld的数据库审计等。
 仓库地址: https://github.com/ehids/ecapture

OPTIONS:
      --debug[=false] enable debug logging
  -h, --help[=false] help for ecapture
      --hex[=false] print byte strings as hex encoded strings
  -p, --pid=0  if target_pid is 0 then we target all pids

其中,有四个全局参数,分别是

  • --debug , 用于启动调试日志
  • --help  , 查看帮助
  • --hex ,按照 hex 模式打印字符,用于查看不可见字符
  • --pid ,用于针对特定进程进行数据捕获

HOOK 机制

eCapture 采用 eBPF uprobe 相关函数进行 HOOK,故需要目标用户态函数信息,包含函数符号表 (symbol table),函数偏移地址 (offset)。在大部分 linux 发行版中,使用的二进制可执行文件 (ELF) 都是包含符号表的;少部分发行版,会去掉 ELF 中的符号表。那么针对这种场景,就需要用户自行定位目标函数所在 ELF/SO 中的偏移地址,通过工具的参数来指定。

对于 ELF 文件,可以将目标类库静态编译到自身,也可以通过动态链接库的方式引用。那么对于这两种形式,eCapture 根据不同场景进行自动查找。若查找不到,用户可以通过命令行参数指定。

故 eCapture 支持  HOOK ELF,以及  HOOK SO 两种模式。会自动分析 ELF 文件,读取 .dynamic 和 .dynsym 等段信息,查找相关链接库名以及函数名、偏移地址。

查找原理如下图:

tls/ssl

ecapture tls 命令用于启动 tls/ssl 模块,支持了三类 tls/ssl 加密类库,分别是

  • openssl ,动态链接库名字为  libssl.so
  • gnutls ,动态链接库名字为  libgnutls.so
  • nss/nspr ,动态链接库名字为  libnspr4.so

在不同的 linux 发行版中,因为各种原因,会选择不同的类库。比如  wget 程序,在 ubuntu 跟 centos 中就会使用不同的类库。有的是  openssl,有的是  gnutls,甚至两个库都引入了。

具体情况,你可以使用  ldd $ELF_PATH | grep -E "tls|ssl|nspr|nss" 来查看一个 ELF 文件使用类库情况。

  cfc4n@vm-desktop:~$ ldd `which wget` |grep -E "tls|ssl|nspr|nss"   
 libssl.so.1.1 => /lib/x86_64-linux-gnu/libssl.so.1.1 (0x00007f50699f6000)

对于 firefox、chrome 这种进程,需要在程序启动后才能看到 tls 类库依赖情况,那么,你可以使用  sudo pldd $PID | grep -E "tls|ssl|nspr|nss" 来查看

  cfc4n@vm-desktop:~$ ps -ef|grep firefox   
cfc4n       6846    1432 45 17:50 ?        00:00:04 /usr/lib/firefox/firefox -new-window
cfc4n@vm-desktop:~$ sudo pldd 6846 |grep -E "tls|ssl|nspr|nss"
/usr/lib/firefox/libnspr4.so
/usr/lib/firefox/libnssutil3.so
/usr/lib/firefox/libnss3.so
/usr/lib/firefox/libssl3.so
/lib/x86_64-linux-gnu/libnss_files.so.2
/lib/x86_64-linux-gnu/libnss_mdns4_minimal.so.2
/lib/x86_64-linux-gnu/libnss_dns.so.2
/usr/lib/firefox/libnssckbi.so

eCapture 的 tls 模块命令行参数如下,用户可以使用默认配置外,也可以根据自己环境自行指定。

  OPTIONS:   
      --curl=""  curl or wget file path, use to dectet openssl.so path, default:/usr/bin/curl
      --firefox="" firefox file path, default: /usr/lib/firefox/firefox.
      --gnutls="" libgnutls.so file path, will automatically find it from curl default.
  -h, --help[=false] help for tls
      --libssl="" libssl.so file path, will automatically find it from curl default.
      --nspr=""  libnspr44.so file path, will automatically find it from curl default.
      --wget=""  wget file path, default: /usr/bin/wget.

同时,使用方法也比较简单, ./ecapture tls --hex 命令即可。

在 linux 上,firefox 程序中,有很多通讯都使用了  /usr/lib/firefox/libnspr4.so,但实际上业务请求是可以通过  Socket Thread 进程来发送的。可以通过这个特点来过滤,对于 chrome 程序,相信细心的你,也能搞定。

bash

笔者在安全部门工作,接到过 bash 审计需求,其实现方法无非是修改系统类库、使用内核模块等技术实现,对系统稳定性有一定风险。基于 eBPF 技术实现,可以避开这些问题。这里的 bash 命令的监控,是作为 eBPF 技术在安全审计场景中的一个探索。

eCapture 在实现时首先查找 ENV 的 $SHELL 值,作为 bash 的二进制文件路径进行 HOOK。对于 bash 加载了  libreadline.so 的场景,也会自动分析,进行符号表查找、offset 定位,再进行 HOOK。

bash 模块的参数有三个,用户可以自定义  bashreadlineso 的路径。

  OPTIONS:   
      --bash=""  $SHELL file path, eg: /bin/bash , will automatically find it from $ENV default.
  -h, --help[=false] help for bash
      --readlineso="" readline.so file path, will automatically find it from $BASH_PATH default.

mysql/mariadb

与 bash 模块一样,也是作为数据库审计的一个探索。笔者环境为 ubuntu 12.04,mysqld 也因为协议关系,使用了衍生的  MariadDB,用户也可以根据自己实际场景,使用命令行参数进行指定。

mysqld 模块,核心原理是 HOOK 了  dispatch_command 函数,

  • 第一个参数为 CMD 类型,值为 COM_QUERY 时,为查询场景,即审计需求的查询类型。
  • 第二个参数是 THD 的结构体,在这里我们用不到。
  • 第三个是查询的 SQL 语句
  • 第四个参数是 SQL 语句的长度,
  // https://github.com/MariaDB/server/blob/b5852ffbeebc3000982988383daeefb0549e058a/sql/sql_parse.h#L112   
dispatch_command_return dispatch_command(enum enum_server_command command, THD *thd,
   char* packet, uint packet_length, bool blocking = true);

mysqld 审计模块参数如下:

  OPTIONS:   
  -f, --funcname=""   function name to hook
  -h, --help[=false]   help for mysqld56
  -m, --mysqld="/usr/sbin/mariadbd" mysqld binary file path, use to hook
      --offset=0   0x710410

其中, --mysqld 是用来指定 mysqld 的路径。mysqld 二进制程序符号表里虽然有  dispatch_command 信息,但  dispatch_command 这个函数名每次编译都是变化的,故不能写死。

eCapture 的查找方式是读取 mysqld 二进制的 .dynamic 段信息,正则语法  \w+dispatch_command\w+ 去匹配所有符号信息,找到其函数名、偏移地址,再使用。

你也可以通过 objdump 命令来查找,再通过命令行参数自行指定 funcname。

mariadbd version : 10.5.13-MariaDB-0ubuntu0.21.04.1 objdump -T /usr/sbin/mariadbd |grep dispatch_command 0000000000710410 g    DF .text 0000000000002f35  Base        _Z16dispatch_command19enum_server_commandP3THDPcjbb

即 offset 为 0x710410,函数名为 _Z16dispatch_command19enum_server_commandP3THDPcjbb

使用

下载二进制包

eCapture 发布在 https://github.com/ehids/ecapture/releases ,目前最新版为  eCapture v0.1.5

可在 linux kernel 4.18 以上版本运行。

二进制包地址:

https://github.com/ehids/ecapture/releases/download/v0.1.5/ecapture_v0.1.5.zip

国内加速地址:https://github.do/https://github.com/ehids/ecapture/releases/download/v0.1.5/ecapture_v0.1.5.zip

自行编译

代码仓库在 https://github.com/ehids/ecapture ,你可以自行修改源码编译。

相关 [ebpf 开源 项目] 推荐:

基于 eBPF 的开源项目 eCapture 介绍:无需 CA 证书抓 https 网络明文通讯

- - IT瘾-dev
eCapture 是一款基于 eBPF 技术实现的用户态数据捕获工具. 不需要 CA 证书,即可捕获 https/tls 的通讯明文. 项目在 2022 年 3 月中旬创建,一经发布,广受大家喜爱,至今不到两周已经 1200 多个 Star. 不需要 CA 证书,即可捕获 HTTPS/TLS 通信数据的明文.

eBPF编程指北

- - IT瘾-dev
这里以 Ubuntu 20.04 为例构建 eBPF 开发环境:. 主流的发行版在对 LLVM 打包的时候就默认启用了 BPF 后端,因此,在大部分发行版上安 装 clang 和 llvm 就可以将 C 代码编译为 BPF 对象文件了. 用 LLVM 将 C 程序编译成对象文件(ELF). 用户空间 BPF ELF 加载器(例如 iproute2)解析对象文件.

聊聊最近很火的eBPF - 知乎

- -
如果非要说当前计算机领域最有前途的两个基础软件技术,那非eBPF和wasm莫属了. Linux内核一直是实现监视/可观察性,网络和安全性的理想场所. 不幸的是,这通常是不切实际的,因为它需要更改内核源代码或加载内核模块,并导致彼此堆叠的抽象层. eBPF是一项革命性的技术,可以在Linux内核中运行沙盒程序,而无需更改内核源代码或加载内核模块.

使用ebpf跟踪rpcx微服务

- - IT瘾-dev
ebpf是一种创新的革命性技术,它能在内核中运行沙箱程序, 而无需修改内核源码或者加载内核模块. 将 Linux 内核变成可编程之后,就能基于现有的(而非增加新的)抽象层来打造更加智能、 功能更加丰富的基础设施软件,而不会增加系统的复杂度,也不会牺牲执行效率和安全性. BPF的第一个版本在1994年问世.

Android优秀开源项目

- - CSDN博客移动开发推荐文章
Android经典的开源项目其实非常多,但是国内的博客总是拿着N年前的一篇复制来复制去,实在是不利于新手学习. 今天爬爬把自己熟悉的一些开源项目整理起来,希望能对 Android开发同学们有所帮助. 另外,如果你有比较好的项目推荐,也烦请在评论里分享出来,我会定期更新博客内容. Apollo音乐播放器:就一个播放器,但是实现的很好.

开源项目之NeoCrypt

- - CSDN博客推荐文章
一个文件加密解密软件的源代码,可以设置很多著名的加密算法进行加密解密. 它集强力、安全的算法和简单、易用的界面于一身. 它的文件管理界面可以轻易地观看和更改整个系 统的加密设置,也可以加/解密选定的文件,安全地删除文件. 项目需要用到第三方库cryptlib,该库已经放到源码包中. 本程序有一个动态链接库NeoCryptSX与一个主程序Neocrypt组成,NeoCryptSX动态库操作简单,只负责发送调用消息,Neocrypt主程序中封装了Decryptor类负责解码、Encryptor类负责编码,File类负责文件操作、CProgUpdater类负责进度等.

开源项目 AllJoyn 初识

- - CSDN博客推荐文章
AllJoyn 高通的一个开源项目,针对IoT的. 光看到介绍第一个感觉就是高大上啊. 它要解决的问题是物联网中互联互通的问题,一个好大平台. 从它介绍的PPT的两张图比较一下就会比较清楚了. 第一张图中它描绘的是现状,各个设备厂商虽然都对外提供了物联网接口,云接口,但各个设备没有互联互通,各自为政,群雄割据.

深入浅出eBPF - 你要了解的7个核心问题

- -
过去一年,ARMS基于eBPF技术打造了Kubernetes监控,提供多语言无侵入的应用性能,系统性能,网络性能观测能力,验证了eBPF技术的有效性. eBPF技术和生态发展很好,未来前景广大,作为该技术的实践者,本文目标是通过回答7个核心问题介绍eBPF技术本身,为大家解开eBPF的面纱. eBPF是一个能够在内核运行沙箱程序的技术,提供了一种在内核事件和用户程序事件发生时安全注入代码的机制,使得非内核开发人员也可以对内核进行控制.

Google正式开源LevelDB项目

- Jie - 新闻 - LUPA开源社区
  Google 宣布 LevelDB 项目开源,使用的开源授权协议为 BSD.   Leveldb是一个google实现的非常高效的kv数据库,目前的版本1.2能够支持billion级别的数据量了. 在这个数量级别下还有着非常高的性能,主要归功.

晒晒我的开源项目们

- zffl - 透明思考 - Thoughts
在等“bundle install”的时候闲着没事,打开 我的Github ,发现还有那么一些东西值得分享一下的. 啤酒游戏 :《 第五项修炼 》里讲的啤酒游戏. 合作的进化 :这就是《 合作的进化 》那本书里讲的生存竞赛游戏. 可以自己写新的策略放进来,看看重复囚徒困境中的最佳策略是如何被选择出来的.