使用mitmproxy进行移动端的HTTP抓包


Web
开发者经常需要通过查看页面被打开之后所发送的请求来调试自己开发的程序,现代浏览器,包括
Firefox, Chrome, Safari 都自带了开发工具,可以帮助开发者监控 HTTP
请求。但是有时候这些工具仍不能满足我们的需求,例如在做某些古老的浏览器(IE)上的兼容性调试时,就需要一个专门用于监控
HTTP 请求的工具才行。最近发现了一个强大的 HTTP 请求监控工具 ————
mitmproxy Home
Page。

简介

Mitmproxy是一款支持HTTP(S)的中间人代理工具。不同于Fiddler2,burpsuite等类似功能工具,mitmproxy可在终端下运行,并且支持编写脚本来批量处理请求。Mitmproxy使用Python开发,是辅助web开发&测试,移动端调试,渗透测试的工具。你不要在Windows上安装它,因为用不了,Windows的命令行不支持mitmproxy的界面显示。

点击访问原文
您还可以加入全栈技术交流群(QQ群号:254842154)

1. 介绍

mitmproxy 是用 Python 和 C 开发的一个中间人代理软件(man-in-the-middle
proxy),它可以用来拦截、修改、重放和保存 HTTP/HTTPS 请求。

它提供了两个命令行工具:

  • mitmproxy 具备交互界面
  • mitmdump 不具备交互界面,类似 tcpdump

本文只介绍 mitmproxy

mitmproxy 支持两种工作模式:

  • HTTP 代理模式,也就是 mitmproxy 作为一个 HTTP 代理运行,类似于
    HTTPSpy。
  • 透明模式,mitmproxy 通过 iptables/pf 作为一个 TCP
    层代理运行,好处是不需要修改 HTTP 客户端的配置。

本文只介绍 HTTP 代理模式。

安装

使用homebrew 一键安装命令

brew install mitmproxy

sudo pip install "mitmproxy==0.17.1"


使用mitmproxy进行移动端的HTTP抓包。2. 安装

使用 pip 进行安装:

pip install mitmproxy

考虑到包括我朝在内的四大文(读作:zhuān)明(读作:zhì)国家所特有的网络环境,pip可能会出现网络连接超时等错误,可以加上
--proxy 选项:

pip install mitmproxy --proxy=127.0.0.1:8087

我在 OS X Mavericks 上安装还会遇到一个编译错误,可以通过添加 ARCHFALGS
环境来忽略此错误:

ARCHFLAGS=-Wno-error=unused-command-line-argument-hard-error-in-future pip install mitmproxy --proxy=127.0.0.1:8087

启动mitmproxy

mitmproxy -p 端口号 例如mitmproxy -p 8888

HTTP抓包分析工具有比较多,如Fiddler,FireBug,HttpWatch,Tcpdump,PAW(mac)等。在做移动开发时,找到一款合适自己的能进行移动设备HTTP抓包的工具也是非常重要的。正所谓,工欲善其事必先利其器。

3. HTTP 客户端配置

mitmproxy 安装完成之后,默认以 HTTP 代理模式工作,就需要 HTTP
客户端将代理配置修改为 mitmproxy 的地址。

# 启动 mitmproxy:
# 使用 -p 选项指定 HTTP 代理所监听的端口号,默认为 8080
mitmproxy -p 8080

以 Firefox + AutoProxy 插件为例,客户端的配置如下:

金沙澳门官网jin5888 1

1.png

使用mitmproxy

将手机连接上电脑IP地址 然后设置端口号为mitmproxy的端口号8888

然后就可以看到终端上的http请求了

那么想要抓取HTTPS请求怎么办呢?

个人非常喜欢Fiddler,功能强大,而且还支持替换文件,对于调试线上的js/css文件非常方便。可惜,没有MAC版本。于是我只能另寻利器。

4. 请求列表

在 Firefox
中打开一个网页,如:http://ruby-china.org/topics

金沙澳门官网jin5888 2

2.png

可以在 mitmproxy 中看到一个 HTTP 请求的列表:

金沙澳门官网jin5888 3

3.png

在 mitmproxy 中可以按 ? 进入到帮助信息界面,如需返回到请求列表界面则按
q

在请求列表界面,黄色的箭头 >> 指示当前选择的请求,可以使用 vi 的快捷键
k, j 来移动箭头,PgUpPgDown
为上下翻页,此外空格键也可用来向下翻页。

如要清空列表,则按大写的 C

安装car证书

在连接到电脑IP可以抓取到http接口的前提下,在Safari中打开mitm.it你会看到要下载证书的页面

里面包含安卓,windows和iOS以及其他,根据你手机的系统选择对应的证书。

小编在这使用的苹果手机所以下载的是iOS car证书

安装信任car证书

然后重启启动mitmproxy服务就可以看到抓取HTTPS接口请求的结果了, 如下:

金沙澳门官网jin5888 4

mitmproxy_https_api.png

今天给大家介绍一款强大的支持手机端抓包的工具:mitmproxy。官网地址:http://mitmproxy.org/
。这是mitmproxy官网的自述:

5. 过滤请求列表

如果请求列表页面中的请求数量太多,则可以使用 mitmproxy 提供的过滤功能。

在请求列表界面按 l,此时列表界面的左下方会提示
Limit:,需要在此输出过滤表达式,过滤表达式的语法列在帮助信息界面,可以按
? 进行查看。

例如,只显示所有的 JS 文件的请求,即请求的 URL 匹配 \.js
的请求,则此处应该输入:~u \.js

如需清除过滤,则同样按 l金沙澳门官网jin5888,,然后删除过滤表达式即可。

常用命令

  1. 清屏:“shift+c”

  2. 切换“Request/Response”栏:“tab”

  3. 返回上一级(包括退出):“q”

  4. 在具体请求的“Response”栏界面以不同格式查看返回结果:“m+高亮的字母”进行选择要编辑的部分

  5. 在主界面删除指定请求:用小黄箭头指定要删除的请求然后按“d”

  6. 拦截请求:在主界面按“i+要拦截的字符串,例如:api.win”进行拦截包含指定字符串的请求

  7. 在请求界面编辑请求或响应:e+“高亮的字母”进行选择要编辑的部分

  8. 在主界面发送指定的请求:用小黄箭头指定要发送的请求然后按两下“a”

✅就此结束了,其实mitmproxy还可以进行脚本的编写然后进行批量的处理,达到显示内容的不同

参考地址

an interactive, SSL-capable man-in-the-middle proxy for HTTP with a console interface

6. 查看请求的具体信息

若要查看某个请求的具体信息,则在请求列表界面选中此请求后,按回车即可进入到查看请求的详细信息的界面:

金沙澳门官网jin5888 5

4.png

详细信息界面包括了 RequestResponse 两个 Tab,可以按 tab
键切换,分别查看 Request 和 Response 的详细信息。

界面的左上方还显示了此次请求的发送时间。

mitmproxy 会使用合适的方式显示Request 和 Response 的 body
部分,例如对于压缩过的 JS ,mitmproxy
会解压缩后显示。如需要切换显示方式,可以在此界面按 m
来选择不同的显示方式。例如,对于包含了中文的 HTML
页面,如需要显示中文,可以使用 urlencoded 模式。

在详细信息界面可以按 / 对 body 部分进行搜索。

它是开源的,托管在github上,使用python开发,跨平台。
https://github.com/mitmproxy/mitmproxy

7. 拦截请求

mitmproxy 支持对请求进行拦截,拦截后还可以修改 Request 或 Response
的内容。

在请求列表界面按 i,在左下角会显示
Intercept filter:,要求输入过滤表达式,用于指示拦截哪些请求,此处的过滤表达式的语法同请求列表过滤表达式相同。

例如,如要拦截所有的 JS 文件的请求,则在此处输入 ~u \.js

再次访问
http://ruby-china.org/topics
页面,在 mitmproxy 的请求列表界面中可以看到对 JS
的请求都显示为橙色,表示这些请求被拦截了。

请求被拦截后,可以进入到该请求的详细信息界面,然后按
e,对请求进入编辑,编辑完成后按 ESC 退出编辑界面。按 a
放行该请求(也可以按大写的
A来放行所有被拦截的请求),请求被放行后,Server 收到的将是被编辑过的
Request。

当 Server 的 Response 返回到 mitmproxy
时,将再次被拦截,此时在详细信息界面按 e 可以对 Response
进行编辑,编辑完成后,同样按 ESC 退出编辑,同样按 aA 放行
Response,客户端收到的 Response 将是被编辑过的 Response。

关于 mitmproxy
的更多用法,请参照其官网的文档:http://mitmproxy.org/doc/index.html

下面以android为例做介绍,iOS的调试类似,关键是设置好代理。

下载

下载地址:

http://mitmproxy.org/download/osx-mitmproxy-0.11.3.tar.gz

喜欢折腾的可以自己编译安装。

电脑端设置

电脑和手机连接到同一个wifi环境下。运行时,需要指定电脑的ip地址,并约定一个端口号:

/Applications/ProgramFiles/mitmproxy-0.11.3/mitmproxy -b 10.0.1.6 -p 2386

手机端设置

相关文章