Aggregator

通过 OpenVPN 实现流量审计

Green_m's blog
3 years 11 months ago
0x00 前言

为了满足日益增长的渗透测试网络审计需要，特别是从普通的全流量记录，到进一步的HTTPS流量审计，特地设计了一套网络结构，满足简单的傻瓜化远程接入实验室，实现 http/https 全流量记录的功能。

更新记录：

2022年1月11日 更新：另一种流量分流的方式（进程分流）

0x01 流量镜像和审计系统

早期的流量审计需求不高，抓下全流量就可以，直接买一个流量分光的设备，双网口，一个网口直接串联到设备中间，另一个网口接到抓流量的服务器上，不用改任何网络架构，就实现目的了。 但现在的要求越来越高，需要对HTTPS这样的加密流量也进行解密了，我们只能重新设计网络架构。

一、选择系统

最开始的想法是选用市面上已经有的路由器系统，不是有不少打着名号说自己特别牛逼的全流量审计，解码等等一应俱全的网关，比如 PFsense，WFilter-NGF，RouterOS，openwrt之类的。

经过测试了好几个产品，基本不太能满足需求。 比如 PFsense： SSL/TLS 解码是通过 Squirt 实现的，仅仅能解包记录域名头，并不支持全流量抓包和明文记录，而且由于使用的是 bsd 系统，想自己装一些工具也遇到了比较多的兼容性问题，无奈只好放弃。

尝试了多种系统选择后，最终决定使用 debian + mitmproxy 从轮胎开始一步一步造一辆能跑起来的车。

二、物理架构图

客户端接入有两条线路：

  1. 流量记录线路： Client (192.168.3.x) –> 路由器(192.168.3.1) –> VirtualBox debian (192.168.1.1) –> 4G sim 卡路由器(192.168.8.1) –> 外网
  2. 非流量记录线路： Client (10.90.45.x) –> 路由器(10.90.45.1) –> 外网

分成两条线路，保证工作和其他娱乐下载等流量分开，也避免造成不必要的流量浪费。

三、配置 VirtualBox debian 10 作为路由器

虚拟机搭建步骤省略， 需要配置物理机的网卡 enp0s1 和 enp0s2通过桥接模式映射到虚拟机即可：

物理机 enp0s1 –> 虚拟机enp0s3

物理机 enp0s2 –> 虚拟机enp0s8

  1. 开启流量转发：
sysctl –w net.ipv4.ip_forward=1
  1. 使用iptables 配置转发策略:
iptables -t nat -A PREROUTING -i enp0s8 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 23333 iptables -t nat -A PREROUTING -i enp0s8 -p tcp -m tcp --dport 443 -j REDIRECT --to-ports 23333 iptables -t nat -A PREROUTING -i enp0s8 -p tcp -m tcp --dport 8080 -j REDIRECT --to-ports 23333 iptables -t nat -A POSTROUTING ! -d 192.168.2.0/24 -o enp0s3 -j MASQUERADE iptables -t filter -A INPUT -i lo -j ACCEPT iptables -t filter -A INPUT -i enp0s8 -j ACCEPT iptables -t filter -A INPUT -i enp0s3 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT iptables -t filter -A FORWARD -i enp0s8 -o enp0s3 -j ACCEPT iptables -t filter -A FORWARD -i enp0s3 -o enp0s8 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

说明一下： nat 表里的规则是表示 80 443 8080 端口的流量转发到23333端口，实现透明代理，下文会解释 23333 端口的具体作用； filter 表的东西是一些转发和输入策略。

  1. iptables 规则持久化

使用 iptables-persistent 这个包，将上述规则保存到硬盘 /etc/iptables/rulesv4.save ，使用其他方式实现开机自动加载，方式自选，我使用的是 crontab 里的 @reboot 。

四、配置 mitmproxy 实现透明代理

安装最新版 mitmproxy，使用如下命令抓取流量：

/usr/bin/mitmdump -q --mode transparent --showhost -p 23333 --ssl-insecure --cert=cert.pem -s mitm_parse.py -w /data/mitmproxy_traffic/mitm_files/mitm_raw_$(date +"%Y%m%d").mitm

默认的 mitmdump 抓取的流量不是标准的通用格式，是 mitmdump 自定义的，为了保证可读性，这里我使用了 mitm_parse.py 这个脚本来对抓取的内容进行处理，脚本内容如下：

from mitmproxy import http import time,re import logging logfile = "/data/mitmproxy_traffic/logs/mitm_parsed_" + time.strftime("%Y%m%d") + ".log" logging.basicConfig(filename=logfile, filemode='a', format='%(asctime)s,%(msecs)d %(name)s %(levelname)s %(message)s', datefmt='%H:%M:%S', level=logging.INFO) logger = logging.getLogger('mylogger') def response(flow): logtext = "\n" logtext += "="*50 + "\n" logtext += flow.request.url + "\n" logtext += "-"*25 + "request headers:" + "-"*25 + "\n" for k, v in flow.request.headers.items(): logtext += "%-20s: %s" % (k.upper(), v) + "\n" logtext += "-"*25 + "request content:" + "-"*25 + "\n" logtext += flow.response.content.decode('utf-8','ignore') + "\n" logtext += "-"*25 + "response headers:" + "-"*25 + "\n" for k, v in flow.response.headers.items(): logtext += "%-20s: %s" % (k.upper(), v) + "\n" logtext += "-"*25 + "response content:" + "-"*25 + "\n" logtext += flow.response.content.decode('utf-8','ignore') + "\n" logger.info(logtext)

那么这里就有两份数据，一份数据是 mitmdump 抓取的原始数据，存放在 /data/mitmproxy_traffic/mitm_files/目录下，另一份经过脚本处理过的可读性较好的数据，存放在 /data/mitmproxy_traffic/logs/ 目录下。

使用 curl 访问 qq.com 的日志如下：

18:34:12,49 mylogger INFO ================================================== https://125.39.52.26/ -------------------------request headers:------------------------- :AUTHORITY : qq.com USER-AGENT : curl/7.72.0 ACCEPT : */* -------------------------request content:------------------------- <html> <head><title>302 Found</title></head> <body bgcolor="white"> <center><h1>302 Found</h1></center> <hr><center>nginx/1.6.0</center> </body> </html> -------------------------response headers:------------------------- DATE : Mon, 11 Jan 2021 10:34:12 GMT CONTENT-TYPE : text/html SERVER : squid/3.5.24 LOCATION : https://www.qq.com?fromdefault EXPIRES : Mon, 11 Jan 2021 10:35:11 GMT CACHE-CONTROL : max-age=60 VARY : Accept-Encoding X-CACHE : HIT from shenzhen.qq.com -------------------------response content:------------------------- <html> <head><title>302 Found</title></head> <body bgcolor="white"> <center><h1>302 Found</h1></center> <hr><center>nginx/1.6.0</center> </body> </html> 五、dumpcap 抓取全流量

可以看到我们的 mitmproxy 的方案并不完美，只抓取了部分端口号的内容，并不能保证所有流量的记录，因此也十分有必要抓取全部的流量作为备份。

使用 dumpcap 抓取全流量：

#!/bin/bash dir=/data/net_traffic_storage/files/$(date +"%Y%m%d")/ if [ ! -d $dir ] then mkdir $dir fi dumpcap -i enp0s8 -w $dir/traffic.pcapng -b filesize:1024000

使用 supervisor 或者其他类似的工具将上面的命令进行持久化（经常断电），保证每次开启都能自启动成功。

六、使用 NFS 存储数据到物理机

虚拟机的硬盘容量较小，我们也没必要选择存在虚拟机上，所以选择存放在物理机上，使用NFS的方式。 这里也可以直接虚拟机映射硬盘，方式不局限，这里仅作我的选择的记录。

编辑 /etc/fstab，添加如下

192.168.1.128:/data/net_traffic_storage /data/net_traffic_storage nfs defaults 0 0 192.168.1.128:/data/mitmproxy_traffic /data/mitmproxy_traffic nfs defaults 0 0

在重启过程中出现过一些因为先后顺序导致的挂载失败，因此写了个计划任务去判断：

0 */1 * * * cat /proc/mounts | grep -q 192.168.1.128 || systemctl restart remote-fs.target && systemctl restart supervisor 七、另一种流量分流的方式（进程分流）（2022年1月更新）

上面的方式分流是因为 debian 虚拟机网关已经在流量记录的线路中了，对于网关自己来说就只有一条出口线路，直接设置就OK了。

那么更常见的情况，如网关直连两条线路，要求在网关上进行分流应该怎么操作？ 最近遇到这样的需求，下面总结一下对应的方法。

大体思路是利用 cgroup 标记 mitmproxy 的流量，然后用 iptables 和 ip rule 控制其从流量记录的网卡出站，实现记录的目的。

网络介绍：

enp0s1 192.168.30.2 enp0s2 192.168.40.2

两张网卡，默认路由走 enp0s1 出口，为非流量记录线路，enp0s2 为流量记录线路。

iptables 规则：

iptables -t nat -A PREROUTING -s 192.168.40.0/24 -p tcp -m tcp --dport 80 -j DNAT --to-destination 192.168.40.2:23333 iptables -t nat -A PREROUTING -s 192.168.40.0/24 -p tcp -m tcp --dport 443 -j DNAT --to-destination 192.168.40.2:23333 iptables -t nat -A PREROUTING -s 192.168.40.0/24 -p tcp -m tcp --dport 8080 -j DNAT --to-destination 192.168.40.2:23333 iptables -t mangle -A OUTPUT -m cgroup --cgroup 0x00110011 -j MARK --set-mark 11 iptables -t nat -A POSTROUTING -m cgroup --cgroup 0x00110011 -o enp0s2 -j MASQUERADE

PREROUTING 的规则和上面第一种方法一样，只不过指定了网卡的地址，效果没有区别。

mangle 和 POSTROUTING 的规则需要结合 cgroup 的规则一起理解，就是将其 mark ，然后将 mark 后的流量从 enp0s2 网卡出站。

下面设置 cgroup:

apt-get install cgroup-tools cgroup-bin mkdir /sys/fs/cgroup/net_cls/mitmproxy cd /sys/fs/cgroup/net_cls/mitmproxy echo 0x00110011 > net_cls.classid

这里是创建了一个 cgroup 规则，然后创建了一个 mitmproxy 的组，classid 设置为 0x00110011。

然后设置路由

echo 11 mitmproxy >> /etc/iproute2/rt_tables ip rule add fwmark 11 table mitmproxy ip route add default via 192.168.40.1 table mitmproxy

这些命令的作用在下文 OpenVPN Client as gateway 都有解释，这里就不详细多做解释了。

然后使用 cgroup 启动 mitmdump ：

cgexec -g net_cls:mitmproxy mitmdump --mode transparent --showhost -p 23333

这样 mitmdump 的所有流量都会从网卡 enp0s2 出站了，流量也会被记录下来，这样就完美实现需求了。

值得注意的是， ip route 和 cgroup 相关的规则是临时性的，和 iptables 一样，需要进行设置才能实现重启自动生效，这里就不展开了。

这里我们已经实现了流量审计的功能，接下来需要考虑的是如何远程接入审计系统。

0x02 OpenVPN 的网络架构

网络流量走向为（在openvpn 接入的一台服务器上执行）

└─$ traceroute 8.8.8.8 traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets 1 192.168.2.189 (192.168.2.189) 2 192.168.2.200 (192.168.2.200) 3 192.168.1.1 (192.168.1.1) 4 192.168.8.1 (192.168.8.1) 5 * * * ...... 0x03 OpenVPN Client as gateway 实现

这个需求出现的场景是，我们希望所有接入OpenVPN的客户端，不使用 Server(192.168.2.189) 作为最终的网关，而是使用某一个固定的客户端(192.168.2.200)作为最终的网关。 经过搜索，发现这个需求还比较小众，最终发现了某个帖子里提到了同样的需求，我们以这个帖子为参考。

一、OpenVPN 的 Bridge 和 Route 对比

这篇帖子中提到仅有OpenVPN bridge 模式才能实现这样的功能。先解释一下 bridge 模式和 route 模式的区别（来自官方论坛）：

TAP 设备（bridge 模式）：

  • 可以传输非 TCP/IP 层的流量，也就是第二层。
  • 需要桥接网络

有下列需求的话，必须使用 bridge 模式

  • 需要 LAN 和 VPN 客户端处在同一个广播域
  • 需要 LAN 的 DHCP 服务器给 VPN 客户端提供 DHCP 地址
  • 需要 Windows 服务器在 VPN 网络中，使用网络发现等功能

TAP 设备的优点：

  • 类似一个真正的网络适配器
  • 可以传输任何网络协议（IPv4, IPv6, Netalk, IPX, 等等）
  • 工作在第二层
  • 可以用来桥接网络

TAP 设备的缺点：

  • VPN 传输更多广播流量
  • VPN 传输更多以太网报文头
  • 扩展型差
  • 不能用在安卓或者 IOS 设备

相应的 route 模式，也就是 TUN 设备，工作在第三层，优势和劣势与 bridge 模式相反。

根据我们的需求，这里我们选择更底层的 bridge 模式，流量开销的缺点基本可以忽略不计。

二、搭建 OpenVPN （bridge 模式）

基本的搭建我们就不赘述了，可以使用官方文档或者一键搭建脚本，需要注意的是，根据官方文档，我们搭建 bridge 模式的话，需要自己创建虚拟网卡 brxxx ，但是在云上一创建就会挂掉，这里我们需要使用其他方式来实现该功能，参考：is-it-possible-to-set-up-a-bridged-vpn-in-aws

在 Server 端配置中写入

dev tap # Define your IP address range within a valid subnet server-bridge 192.168.2.189 255.255.255.0 192.168.2.200 192.168.2.250 client-to-client # Set server tap0 ip address on startup up /etc/openvpn/server/openvpn-server-up.sh # Set client config dir client-config-dir /etc/openvpn/ccd

其中 openvpn-server-up.sh 的内容为，并添加可执行权限。

#!/bin/sh ifconfig tap0 192.168.2.189 netmask 255.255.255.0 broadcast 192.168.2.255

在 /etc/openvpn/ccd/ 目录下创建跟 Client 配置文件同名的文件，如 wangxiaoqing， 写入

ifconfig-push 192.168.2.211 255.255.255.0

代表给 wangxiaoqing 这个用户固定 192.168.2.211 的 IP 地址，有多个用户就以此类推。

这样 Server 端启动时会自动启动 openvpn-server-up.sh 的脚本，给 tap0 的虚拟网卡指定网络配置。

最后的 Server 配置发出来大家参考：

port 1194 proto tcp dev tap ca ca.crt cert server.crt key server.key dh dh.pem auth SHA512 tls-crypt tc.key topology subnet script-security 2 server-bridge 192.168.2.189 255.255.255.0 192.168.2.200 192.168.2.250 push "dhcp-option DNS 192.168.8.1" push "redirect-gateway def1 bypass-dhcp" keepalive 10 120 cipher AES-256-CBC user nobody group nogroup persist-key persist-tun status openvpn-status.log verb 3 crl-verify crl.pem client-to-client up /etc/openvpn/server/openvpn-server-up.sh client-config-dir /etc/openvpn/ccd

通过这样的配置，我们就可以实现 Client 接入 VPN 后，访问其他 Client ，或者通过 Server 端上网了。

三、配置 Server 端的路由

通过上面的配置，我们实现了最基础也是最常用的 OpenVPN 架构，多 Client 通过 Server 上网。如果仅仅是这样的话，bridge 和 route 模式几乎没区别。 但接下来的设置，就只有 bridge 模式才能实现了。

为了让所有 Client 使用其中一个 Client (192.168.2.200)作为路由，我们需要在 Server 端进行如下设置。

  1. 先添加一个路由表
echo 100 vpnroute >> /etc/iproute2/rt_tables
  1. 给 路由表 vpnroute 定义地址范围
ip rule add from 192.168.2.0/24 table vpnroute
  1. 给 vpnroute 添加路由
ip route add 192.168.2.0/24 via 192.168.2.189 dev tap0 table vpnroute ip route add default via 192.168.2.200 dev tap0 table vpnroute

第一条为192.168.2.0/24 网段的地址走原始的 Server 网关 192.168.2.189,

第二条为其他的地址走默认的 192.168.2.200 的 Client 网关。

通过命令 ip route show table vpnroute 就能看到我们刚刚添加的路由：

root@openvpn-server:~# ip route show table vpnroute default via 192.168.2.200 dev tap0 192.168.2.0/24 via 192.168.2.189 dev tap0

这种根据源地址来定义路由的方式，叫 policy based routing ，而直接通过 route 命令修改的系统路由表，只能根据目的地址的不同来定义路由策略，不能满足我们的需求。

四、配置 Client 端作为网关

Client(192.168.2.200) 本来是一个普通的 Linux 服务器，想把它作为 gateway ，是需要一些额外配置的。

开启转发：

sysctl –w net.ipv4.ip_forward=1

设置 SNAT

iptables -t nat -A POSTROUTING -s 192.168.2.0/24 ! -d 192.168.2.0/24 -j MASQUERADE -o eth0

通过这样设置，如果 Client 只有一个网络出口的话，就已经可以实现我们需要的功能了。 之后会具体讲到一种多网络接口的特殊情况。

五、Client 多网络出口的情况下

192.168.2.200 这台服务器，作为网关时本地有好几张网卡都可以出外网：

10.90.45.20/24 192.168.1.128/24 192.168.8.105/24

默认的路由表是走 10.90.45.1 这个网关出去上网的，正常的情况下这个机器并不需要走流量审计的网络。这里就涉及到如何让来自 OpenVPN 的流量走 192.168.1.128/24 这个网卡的路由。（ 考虑过使用 192.168.1.1 这台审计网关直接接入 OpenVPN ，但因为虚拟机的网卡是通过桥接模式映射的，再通过 bridge 接入 openvpn 冲突了（猜测），所以就选择直接在物理机上接入。）

这里我们还是使用上文提到的 policy-based route ，通过路由表规则来配置：

先确定通过其中一个网卡能顺利出网：

traceroute --interface=enp1s0f1 8.8.8.8

然后配置路由规则：

echo 201 debian_lan >> /etc/iproute2/rt_tables ip route add default via 192.168.1.1 dev enp1s0f1 table debian_lan ip rule add from 192.168.1.0/24 table debian_lan ip rule add fwmark 0x1111 table debian_lan

使用 iptables 转发

/sbin/iptables -t mangle -A PREROUTING -i tap0 -s 192.168.2.0/24 ! -d 192.168.2.0/24 -j MARK --set-mark 0x1111 /sbin/iptables -t nat -A POSTROUTING -s 192.168.2.0/24 ! -d 192.168.2.0/24 -j MASQUERADE -o enp1s0f1

其他命令在前文已经解释过了，这里需要特别注意的就是如下两句：

ip rule add fwmark 0x1111 table debian_lan iptables -t mangle -A PREROUTING -i tap0 -s 192.168.2.0/24 ! -d 192.168.2.0/24 -j MARK --set-mark 0x1111

第一条的意思是给 路由表 debian_lan 添加标记，第二条 iptables 的意思是在走路由策略之前，给流量包添加标记。符合这个标记的流量包就会走 debian_lan 这个路由表。 最开始我缺少这两条规则，NAT 一直不成功，但是如果尝试默认路由的话又可以 ，加上这两条规则做一下标记后就完美成功了。

0x04 一些不足

以上这套方案，其实还是有很多问题的，比如结构比较复杂耦合程度较高，最严重的问题还是：

  1. 只能根据端口号判断 http(s) 流量，如果是非标准端口号，比如 8443 甚至 38443 这种端口，那就没有办法做证书劫持了，只能记录加密流量，同时其他协议流量也不能解密。所以也记录了全流量作为补充。
  2. 用户体验不太好，中间人劫持肯定是会弹出不信任的警告的，要么手动接受要么导入根证书，就算是根证书也因为 CN 和 SAN 的限制，无法让浏览器或者其他检验了该名称的工具实现完美信任。

能实现目前的程度我暂时觉得已经不错了，后续如果有其他思路的话再进一步改进。

0x05 参考链接

Using a client as a gateway

Is it possible to set up a bridged VPN in AWS to connect multiple clients in a single LAN that will allow broadcasts between them?

Set up your Debian router / gateway in 10 minutes

howto-transparent

iptables深入解析-mangle篇

Route the traffic over specific interface for a process in linux

Emotet: A Year in the Life of a Malware

The Akamai Blog
3 years 11 months ago
Emotet malware has been around since 2014, but 2020 saw a resurgence of attacks. In September 2020, Emotet affected 14% of organizations worldwide. So, what is Emotet? And why is it so dangerous?
Jim Black

Gamifying Security with Red Team Scores

Embrace The Red
3 years 11 months ago
Security metrics are an interesting topic. Over the years I used “scores” as a tool to identify and shine light on problematic areas or highlight lack of engineering and security quality of certain teams. A security score should not seen as an objective or absoulte measure, but it allows to compare systems with each other at a relative scale, and by sharing the score it makes people ask questions.

我的 2020

岚光
3 years 11 months ago
2020 对我来说是比较难忘的一年，工作上负责的项目进展不合预期，生活上因为疫情被困在家里，没法出去旅游，压力很大经常失眠。不过回顾这一年，经过不断的反思和复盘，自己的认知能力得到了很大提高，解...
0x0d

The Domain Name System: A Cryptographer’s Perspective

Verisign Security Blog
3 years 11 months ago

This is the first in a multi-part blog series on cryptography and the Domain Name System (DNS). As one of the earliest protocols in the internet, the DNS emerged in an era in which today’s global network was still an experiment. Security was not a primary consideration then, and the design of the DNS, like […]

The post The Domain Name System: A Cryptographer’s Perspective appeared first on Verisign Blog.

Burt Kaliski

MQTT安全初探

物联网IoT安全
3 years 11 months ago
今天我们将从三个方面来探讨一下MQTT的安全性，分别是登陆认证问题、权限控制问题以及Broker自身安全性的问题。

Building a Cross Team Culture

The Akamai Blog
3 years 11 months ago
At Akamai, we all contribute to our diverse, inclusive, and engaged culture. One in which we each have a voice and are empowered to have a meaningful impact on our business and its direction. It's by fostering this culture across teams that we're able to achieve the company's guiding principles. For all of us, it means putting our clients, employees and communities front and center in our daily work.
Rick McConnell

Managed ad