
体验MitmProxy代理的魅力,用Python轻松抓取信息
为了双手,我们将借助Python代码和MitmProxy代理,轻松抓取所需信息。MitmProxy是一个支持HTTP和HTTPS的抓包程序,功能类似于Fiddler。它能够帮助我们并抓取网络请求,特别是在自动获取cookie等场景中,表现得尤为出色。
除了核心功能外,MitmProxy还有两个重要的关联组件。首先是mitmdump,它是MitmProxy的命令行接口,允许我们通过Python代码请求。另一个是mitmweb,它是一个Web程序,可以实时观察MitmProxy抓取到的请求。
安装好MitmProxy后,我们只需将手机端的代理IP设置为与PC的IP地址相同,并将代理端口设置为8080。随后,通过简单的命令启动程序。在浏览器中输入127.0.0.1:8081//flows,即可访问MitmProxy的web控制台。
为确保安全连接,我们需要在手机和PC上安装。对于android手机,安装时需在特定界面进行。
设置好和代理后,我们可以开始抓取微信公众号文章的数据。只需获取文章url、user-agent、cookie和body这四个基本数据即可。其中,body中的数据众多,但实际上只需要特定的几个参数来获取公众号文章的内容。
