04-爬虫利器Fiddler

Fiddler不但能截获各种浏览器发出的HTTP请求, 也可以截获各种智能手机发出的HTTP/HTTPS请求。

Fiddler能捕获IOS设备发出的请求,比如IPhone, IPad, MacBook. 等等苹果的设备。

同理,也可以截获Andriod,Windows Phone的等设备发出的HTTP/HTTPS。

 

工作原理

Fiddler 是以web服务器的形式工作的,它使用地址:127.0.0.1,端口:8888。

4-爬虫利器Fiddler"

Fiddler抓取HTTPS设置

启动Fiddler,打开菜单栏中的 Tools > Fiddler Options,打开“Fiddler Options”对话框。

4-爬虫利器Fiddler"

对Fiddler进行设置:打开工具栏->Tools->Fiddler Options->HTTPS

4-爬虫利器Fiddler"

 

选中Capture HTTPS CONNECTs,因为我们要用Fiddler获取手机客户端发出的HTTPS请求,所以中间的下拉菜单中选中from remote clients only。选中下方Ignore server certificate errors.

4-爬虫利器Fiddler"

 

配置Fiddler允许远程连接

Fiddler 主菜单 Tools -> Fiddler Options…-> Connections页签,选中Allow remote computers to connect。

4-爬虫利器Fiddler"

重启Fidler(这一步很重要,必须做)。

 

Fiddler 如何捕获Chrome的会话

 

打开chrome应用商店

4-爬虫利器Fiddler"

点击 深蓝色字体“添加至CHROME”

4-爬虫利器Fiddler"

Fiddler 如何捕获Firefox的会话

能支持HTTP代理的任意程序的数据包都能被Fiddler嗅探到,Fiddler的运行机制其实就是本机上监听8888端口的HTTP代理。Fiddler2启动的时候默认IE的代理设为了127.0.0.1:8888,而其他浏览器是需要手动设置的,所以将Firefox的代理改为127.0.0.1:8888就可以监听数据了。Firefox 上通过如下步骤设置代理点击: Tools -> Options, 在Options 对话框上点击Advanced tab – > network tab -> setting.

 

Fiddler如何捕获HTTPS会话

默认下,Fiddler不会捕获HTTPS会话,需要你设置下, 打开Fiddler Tool->Fiddler Options->HTTPS tab

4-爬虫利器Fiddler"

选中checkbox, 弹出如下的对话框,点击”YES”

4-爬虫利器Fiddler"

4-爬虫利器Fiddler"

点击”Yes” 后,就设置好了。

 

 

Fiddler的基本界面

看看Fiddler的基本界面

4-爬虫利器Fiddler"

特别注意:遇到这个Click请点击Click4-爬虫利器Fiddler"

 

Fiddler强大的Script系统

Fiddler包含了一个强大的基于事件脚本的子系统,并且能使用.net语言进行扩展。官方的帮助文档:

 
http://www.fiddler2.com/Fiddler/dev/ScriptSamples.asp

首先先安装SyntaxView插件,Inspectors tab->Get SyntaxView tab->Download and Install SyntaxView Now… 如下图

4-爬虫利器Fiddler"

安装成功后Fiddler 就会多了一个Fiddler Script tab,如下图:

4-爬虫利器Fiddler"

在里面我们就可以编写脚本了, 看个实例让所有cnblogs的会话都显示红色。把这段脚本放在OnBeforeRequest(oSession: Session) 方法下,并且点击”Save script”

 
if(oSession.HostnameIs("www.cnblogs.com")){

  oSession["ui-color"]="red";

}

这样所有的cnblogs的会话都会显示红色。

 

 

使用fiddler抓取安卓模拟器包

 如图1所示,先设置好提琴手

             

配置路径:工具 – > Fiddler选项 – > HTTPS – >三个选项全部勾选               

如下图所示:

重启软件

    4-爬虫利器Fiddler"

2配置模拟器

 长按WLAN信号,点击修改网络

   4-爬虫利器Fiddler"

 

点击显示高级,选择手动代理

4-爬虫利器Fiddler"

IP写上自己电脑的IP,端口号写上提琴手的端口,默认是8888

4-爬虫利器Fiddler"

4-爬虫利器Fiddler"

 

这是你打开浏览器会说安全证书的问题

你再模拟器上输入ip:port我的就是192.168.222.1:8888

这时候下面会有个安装证书的连接,随便起个名字,就好了


 

4-爬虫利器Fiddler"

IT入门 感谢关注

 

 

练习地址:www.520mg.com/it

0基础python爬虫系列教程

 

本文由 @郴州[Vip] 发布于 职涯宝 ,未经作者许可,禁止转载,欢迎您分享文章

发表评论

登录后才能评论
小程序
小程序
微信客服
微信客服
QQ客服 建站服务
分享本页
返回顶部