如何使用树莓派自制网络监视器
- - FreeBuf.COM | 关注黑客与极客本文所介绍的工具适合家庭环境下的“黑盒测试”，它可以帮助你记录网络中发生的所有事情. 你可以用它来检测网络威胁，或将数据提供给相关专家来进行网络取证分析. 如果你需要的是企业环境下的解决方案，你可以参考Security Onion的【 这篇文章】. 1. 树莓派3 （外壳+电源+电路板）.
如何使用树莓派自制网络监视器
标签：
新手科普
极客
树莓派
网络监视器
| 发表时间：2017-11-05 15:00 | 作者：Alpha_h4ck
出处：http://www.freebuf.com
本文所介绍的工具适合家庭环境下的“黑盒测试”，它可以帮助你记录网络中发生的所有事情。你可以用它来检测网络威胁，或将数据提供给相关专家来进行网络取证分析。
如果你需要的是企业环境下的解决方案，你可以参考Security Onion的【 这篇文章】。
购物清单
1. 树莓派3 （外壳+电源+电路板）
2. 闪迪Class 10 microSD卡 64GB（80Mb/s）
3. Debian OS-Linux RaspbianLite
4. 网件千兆交换机或其他支持端口镜像的设备，我使用的是 D-Link1100-08P
5. Critical Stack API（Threat Intel/ IOCs）
6. Mailgun账号或类似支持警报/通知的邮件服务
总价值：约75英镑
概览图
关键技术介绍
什么是端口镜像？
将一个端口的流量数据复制到另一个端口（被动式），会增加交换机的运行负荷。
什么是 Bro？
一款IDS协议分析工具，你可以把它当作Wireshark的协议分析器，但是它没有GUI界面，而且速度更快。
什么是 Netsniff?
进行数据包捕获的守护进程，它使用了AF-packet来提升数据包的捕捉速度。
什么是 LOKI？
基于YARA的文件扫描守护进程。有些类似基于签名检测的反病毒产品，但是你可以自行制定检测规则。
什么是 Critical Stack？
一个威胁情报平台，你可以在树莓派上通过API来与该平台链接。
什么是 Team Cymru MHR？
一个恶意软件哈希库，你可以使用该数据库中的信息来对检测到的恶意程序哈希进行匹配。
开始动手
1. 把系统刷到树莓派中
2. 给树莓派分配一个IP
3. 运行bash脚本
4. 搞定
一、把Raspbian刷到microSD卡中
我使用的是MacBook，所以不同平台的方法可能会有所不同，其他平台用户可以参考【 这篇教程】来获取更多内容。
插入microSD卡：
diskutil list
找到磁盘号：
diskutil unmountDisk /dev/disk<disk#from diskutil>
将Raspbian镜像刷入到microSD卡’disk’中：
sudo dd bs=1m if=image.imgof=/dev/rdisk<disk# from diskutil>
完成之后，卸载microSD卡：
diskutil unmountDisk /dev/disk<disk#from diskutil>
二、配置网络
使用默认配置登录。用户名：pi，密码：raspberry。
设置wlan0（wifi）的IP，用于受信管理访问：
sudo nano/etc/wpa_supplicant/wpa_supplicant.conf
network={
ssid="The_ESSID_from_earlier"
psk="Your_wifi_password"
}
sudo ifdown wlan0
sudo ifup wlan0
ifconfig wlan0
当你获取到了一个DHCP IP之后，你可以使用SSH访问这个节点了。接下来，将eth0留下当作镜像接口，它不需要设置IP地址。
sudo apt-get update && sudo apt-get-y install vim
sudo vim /etc/network/interfaces
添加下列代码：
iface eth0 inet static
static ip_address=0.0.0.0
重启eth0接口：
sudo ifconfig eth0 down && sudoifconfig eth0 up
三、部署
下载并运行bash脚本，脚本已在Raspbian上成功测试。
-安装程序的核心组件
-配置网络选项（禁用NIC offloading）
-给每一个程序创建服务
-使用Mailgun/SSMTP创建邮件警报
-配置cron任务
pi@foxhound:~# sudo su -
root@foxhound:~# apt-get install -y git
root@foxhound:~# cd ~
root@foxhound:~# git clonehttps://github.com/sneakymonk3y/foxhound-nsm.git
root@foxhound:~# chmod +xfoxhound-nsm/foxhound.sh
root@foxhound:~# ./foxhound-nsm/foxhound.sh
现在，环境部署已经完全完成啦！
接下来呢？当脚本完成运行之后，所有的服务都会被立刻激活，然后你就可以看到所有流入的数据啦！
性能
通过pcap数据来向镜像端口eth0发送一些垃圾信息，我使用的是一些提前准备好的数据：
pi@foxhound:~ $ sudo tcpreplay -t -K -q--loop=10 --intf1=eth0 /opt/foxhound-1476541443.pcap
Actual: 1048570 packets (1050923190 bytes)sent in 87.62 seconds. Rated:11994102.0 bps, 91.51 Mbps, 11967.25 pps
下面是发送前和发送后的broctl netstats数据：
root@foxhound:/etc/network# broctl netstats
bro: 1476547903.768150 recvd=1951368 dropped=5408 link=1956776
root@foxhound:/etc/network# broctl netstats
bro: 1476548144.248161 recvd=3012168 dropped=14608 link=3026776
对于家庭或实验室环境来说，它的性能相对还算很好了（1000000个数据包只会丢弃10000个）。我的带宽速度为40Mbps，对于IDS系统来说已经足够了。如果你还需要提升性能，建议考虑换掉树莓派。
如果你想进行更多的NIC perf测试，你可以在服务器上运行下列命令：
mark@ubuntu:~$ sudo apt install iperf3
mark@ubuntu:~$ iperf3 -s
-----------------------------------------------------------
Serverlistening on 5201
然后在树莓派上运行：
root@foxhound:~# apt install iperf3
root@foxhound:~# iperf3 -c 10.0.0.7 -i 1 -t20
Connecting to host 10.0.0.7, port 5201
[ 4]local 10.0.0.180 port 38562 connected to 10.0.0.7 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 8.86 MBytes 74.3 Mbits/sec 0 89.1 KBytes
...
...
...
[ 4] 19.00-20.00 sec 9.26 MBytes 77.7 Mbits/sec 0 1.23 MBytes
- - - - - - - - - - - - - - - - - - - - - -- - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-20.00 sec 185 MBytes 77.5 Mbits/sec 139 sender
[ 4] 0.00-20.00 sec 184 MBytes 77.1 Mbits/sec receiver
iperf Done.
我假设这里的瓶颈是microSD卡，它的速度大约是80MB/s。
Bro基础
-所有Bro日志的默认存储路径为/nsm/bro/logs/
-默认的脚本路径为/usr/local/bro/share/bro/site/bro-scripts/
日志目录结构大致如下所示：
pi@foxhound:/nsm/bro/logs/current $ ls-lash
total 6.9M
4.0K drwxr-xr-x 3 root root 4.0K Oct 15 16:11 .
4.0K drwxr-xr-x 5 root staff 4.0K Oct 1516:50 ..
4.0K -rw-r--r-- 1 root root 349 Oct 15 16:51 app_stats.log
4.0K -rw-r--r-- 1 root root 121 Oct 15 15:51 .cmdline
16K-rw-r--r-- 1 root root 14K Oct 15 16:30communication.log
2.9M -rw-r--r-- 1 root root 2.9M Oct 15 16:52 conn.log
16K-rw-r--r-- 1 root root 14K Oct 15 16:52dhcp.log
384K -rw-r--r-- 1 root root 379K Oct 15 16:52 dns.log
4.0K -rw-r--r-- 1 root root 345 Oct 15 15:51 .env_vars
1.2M -rw-r--r-- 1 root root 1.2M Oct 15 16:52 files.log
1.6M -rw-r--r-- 1 root root 1.6M Oct 15 16:52 http.log
4.0K -rw-r--r-- 1 root root 291 Oct 15 16:44 known_hosts.log
4.0K -rw-r--r-- 1 root root 327 Oct 15 16:34 known_services.log
12K-rw-r--r-- 1 root root 11K Oct 15 16:50notice.log
4.0K -rw-r--r-- 1 root root 5 Oct 15 15:51 .pid
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.communication
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.conn
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:01 .rotated.conn-summary
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.dhcp
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.dns
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.files
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.http
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.known_hosts
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.known_services
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.loaded_scripts
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.notice
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.packet_filter
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.software
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.ssl
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.weird
4.0K -rw-r--r-- 1 root root 18 Oct 15 16:00 .rotated.x509
4.0K -rw-r--r-- 1 root root 3.0K Oct 15 16:51 software.log
320K -rw-r--r-- 1 root root 314K Oct 15 16:52 ssl.log
4.0K -rw-r--r-- 1 root root 58 Oct 15 15:51 .startup
4.0K drwx------ 3 root root 4.0K Oct 15 15:51 .state
4.0K -rwx------ 1 root root 18 Oct 15 15:51 .status
4.0K -rw-r--r-- 1 root root 46Oct 15 15:51 stderr.log
4.0K -rw-r--r-- 1 root root 188 Oct 15 15:51 stdout.log
24K-rw-r--r-- 1 root root 17K Oct 15 16:52weird.log
416K -rw-r--r-- 1 root root 412K Oct 15 16:52 x509.log
你可以使用head命令来查找文本域名称：
pi@foxhound:$ head dns.log
#separator \x09
#set_separator ,
#empty_field (empty)
#unset_field -
#path dns
#open 2016-10-15-16-00-01
#fields ts uid id.orig_h id.orig_p id.resp_h id.resp_p proto trans_id query qclass qclass_name qtype qtype_name rcode rcode_name AA TC RD RA Z answers TTLs rejected
#types time string addr port addr port enum count string count string count string count string bool bool bool bool count vector[string] vector[interval] bool
使用bro-cut来解析日志：
pi@foxhound:$ cat dns.log | bro-cut -D tsid.orig_h id.orig_p id.resp_h id.resp_p proto query answers TTLs
基础报告:
pi@foxhound:$ bro-cut query < dns.log |sort | uniq -c | sort -rn | head -n 10
如果你还需要更多的示例，你可以查看Bro提供的官方练习【 传送门】。
你可以使用tail命令输出DNS日志并在客户端生成一些DNS流量：
tail -f dns.log | awk '{print $3, $7, $9}'
请注意，只有conn.log才可以启用 MaxMind GEOIP查询。
pi@foxhound:$ bro-cut resp_cc < conn.log| sort | uniq -c | sort -rn | head -n 10
755 US
524 RO
123 GB
49 NL
28 EU
25 IE
10 DE
7 ES
6 CA
我还没有制作仪表盘（Dashboard），如果你不想自己做的话，你可以直接使用VPS ELK实例在云端存储所有的日志，或者你也可以使用ELK/Splunk/Graylog将日志存储在本地。
基础维护
开启/停止netsniff-ng：
pi@foxhound:~ $ sudo service netsniff-ngstop
pi@foxhound:~ $ sudo service netsniff-ngstart
pi@foxhound:~ $ sudo service netsniff-ngstatus
开启/停止bro（网络统计）：
pi@foxhound:~ $ sudo -i broctl stop
pi@foxhound:~ $ sudo -i broctl start
pi@foxhound:~ $ sudo -i broctl netstats
pi@foxhound:~ $ sudo -i broctl status
手动运行Loki：
root@foxhound:~ $ python /nsm/Loki/loki.py--noprocscan --dontwait --onlyrelevant -p /nsm/bro/extracted -l /nsm/Loki/log
检测CriticalStack的入侵威胁指标（IoCs），可通过cron脚本实现定期检查：
root@foxhound:~ $ sudo -u critical-stackcritical-stack-intel list
参考资料
1. 部署网络安全监控： http://www.appliednsm.com/
2. 网络安全监控实践： https://www.nostarch.com/nsm
3. Laika BOSS-对象扫描系统： https://github.com/lmco/laikaboss
4. PassiveDNS： https://github.com/gamelinux/passivedns
5. D3js（图形化工具）： https://d3js.org/
6. Graylog： https://www.graylog.org/
* 参考来源： sneakymonkey，FB小编Alpha_h4ck编译，转载请注明来自FreeBuf.COM
相关 [树莓派 网络 监视器] 推荐：
基于「树莓派」的家庭网络服务
- - 無標題文檔当初组建家庭网络的时候，就考虑到自己的需求：主要是网络存储、以及跑部分比较耗时的「定时任务」，例如爬虫和下载还有部分的数据处理等. 本来考虑部署一台性能相对比较好的服务器去处理，但这样子考虑到部署太过中心化不好管理，同时硬件的成本有些高而且占地的面积太大，因此就暂时被我搁置了. 后来想到 空帷 的朋友圈，使用「树莓派」这个方案相对比较轻量，同时多出来的「树莓派」还可以用来它用，因此考虑使用「树莓派」搭建自己的家庭网络服务.
在树莓派3B+上部署Intel NCS2神经网络计算棒 - weixin_43741611的博客 - CSDN博客
- -2018.12.20日 英特尔更新了OpenVINO Toolkit R5版本. 作为NCS2的官方开发套件，OpenVINO在此之前只能在台式机ubuntu 16.04上使用. 而在树莓派上使用的ncsdk并不支持NCS2计算棒. 通过在树莓派上部署OpenVino，可实现在树莓派上使用NCS2加速神经网络计算.
树莓派初级折腾
- - 极客范 - GeekFan.net前些天在网上买了一个二手的树莓派 裸板子190包邮 （新品套装280 360什么的太贵了啊岂可修）. 到手目测没有问题 主IC还有一个铜质散热片 不错. 电源就用买移动电源送的充电器（标称5v 1000mA输出 ）和数据线. SD卡么… 把很久没玩的PSP掏出来 把马甲卡中的东西倒到记忆棒里 记忆棒插回PSP TF卡装到转接卡上 （话说还是个class10的呢）.
安装树莓派 Raspberry PI
- - CSDN博客综合推荐文章树莓派终于到货了，是这个样子的. 上面有一行日期是 Raspberry PI (c) 2011.12. 选择这个镜像： RASPBIAN Debian 2014-01-07. 780M的压缩包，很大的样子. 似乎还有个NOOBS的安装方式，完全无感. 顺便展示一下SD卡，通过查阅可用SD卡列表，似乎是支持个别的64G Class10的卡的，就像这个，编号是 Transcend SDXC 64G Class10 TS64GSDXC10.
树莓派 1602A显示屏
- - 编程语言 - ITeye博客树莓派 1602A显示屏. 下面代码本人测试过没有问题，开始运行完屏幕上什么也没有显示出来，后来调整了下电位器可以了，所以大家如果按着下面的做出来之后运行什么也没有显示的话，记得调整下电位器. VO，液晶对比度调节，接电位器中间的引脚，电位器两边的引脚分别接5V和接地. RS，寄存器选择，接GPIO14.
在树莓派上用python控制LED
- - 极客范 - GeekFan.net初步学习RPi.GPIO模块的过程中写了一个控制8个LED的模块，基本上只是一个对RPi.GPIO的一个封装. 一个已经安装配置好了的树莓派. 连接控制树莓派所用的其他必须设备. 按照电路图所示，在面包板上进行连接. 首先得确定RPi.GPIO已安装. 最新的系统已经自带了，如果没有的可以使用命令.
PiLarm: 便携式树莓派警报器
- - 极客范 - GeekFan.net我一直在寻找一些能给自己孩子带来教益的瞬间. 当我五岁的儿子来寻求我的帮助，别再让他的弟弟偷偷溜进他的房间的时候，我突然灵光一现，发现这是教他关于输入、输出和其他一些编程知识的绝佳时机. 而且让他在解决自己实际问题中学习这些也会相对容易. 我本来可以用很多不同的方法来建立一个简单的警报系统，但是我想要让这个系统是一体化的并且在功能上不止能满足我儿子最初的原始需求.
树莓派的10个最佳资源
- - 极客范 - GeekFan.net如果还没有找到答案，你是时候要从线上或者线下的资源寻找一些想法和项目，来帮助你将树莓派的潜能完全发掘出来. 树莓派没有内置的操作系统，也经常甚至连存储设备都没有. 但树莓派已经被证明了是一个非常成功的小型计算设备. 而很多学校（树莓派的目标用户），狂热爱好者，和那些想要打造一个小型家庭影音中心（包括其他设备）的用户都将树莓派作为他们的一个选择.
树莓派2 折腾记录
- - 操作系统 - ITeye博客淘宝买来的 树莓派2代 B型. 这玩意还分国产和UK产，价格差距在10-20左右 不过不超过200. 另外就是要单独配个 5V2A 的电源，可选外壳和散热片，必备的是 TF 卡，可以用8G，我直接用的 32G TF 卡. 这玩意安装比较麻烦，简单的说第一次进系统你需要显示器，他只有HDMI接口，可以考虑用 HDMI转VGA连显示器，要么就直接HDMI连液晶电视（我就用的电视装的）.