1. 首页
  2. Python

Python 抓包获取网友上传的视频!世界那么大,只能在网上看了

“u003Cdivu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F152384695699538dc6f71c6″ img_width=”1280″ img_height=”800″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E作为一个小私企的(伪)程序员,你不止要负责软件,还得管硬件【大哭】,前几天给公司安装了一套监控,顺便浏览了下监控厂家的主页,发现一个很好玩的地方,正好在学习爬虫,就拿它试试手了!u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F15238469694167c5d8a157e” img_width=”200″ img_height=”204″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E目标:萤石广场 http:u002Fu002Fsquare.ys7.comu002Fu003Cu002Fpu003Eu003Cpu003E工具:python3.6、pycharm、requests 库、json 库u003Cu002Fpu003Eu003Cpu003E思路:首先观察网页,发现网页源码里并没有存储数据,而是通过 json 数据动态加载的,那么我们可以通过抓包解决,如下图:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F15238470002939e3ec89b79″ img_width=”1250″ img_height=”728″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E找到 json 包后,就简单多了,直接抓包,写入数据即可!u003Cbru003Eu003Cu002Fpu003Eu003Cpu003E话不多说,直接上代码了!u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15238470144021c7ad69cc3″ img_width=”841″ img_height=”195″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E导入库,写上抓包的 url,以及自己的 header 信息u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1523847025750f499b76ef6″ img_width=”1004″ img_height=”134″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E先将分类写入字典,然后构建一个空字典,用于之后生成一个 json 文件,然后循环分类字典的值,用于写入后面的 post 数据中u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1523847044432ac2a459235″ img_width=”665″ img_height=”421″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E构建页面循环,因为是动态加载,就先弄了 60 页,这里可以加个循环判断!构建 post 表单(dat),将需要的数据填入,注意的是分类中有一个和其他的 post 表单不一样,单独写出来了!u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1523847063630be29b2d7a8″ img_width=”632″ img_height=”298″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E这里开始取数据,其实还有其他的数据,就不一一写出来了u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15238470776377f200141c2″ img_width=”803″ img_height=”94″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E写了一个简单的进度条,直观的看到数据下载的进度哦!u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1523847086496f858e01418″ img_width=”595″ img_height=”84″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E最后存入 json 文件中,就可以了!u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1523847094961c148273312″ img_width=”309″ img_height=”208″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E程序运行后的效果,请忽视那个进度条吧(╯▔︹▔)╯u003Cu002Fpu003Eu003Cpu003E如果要读取文件的话,可以在网上找一个 json 在线解析的网页,将数据放入,然后解析一下就可以~效果如下:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F152384711242861a8c72c0f” img_width=”937″ img_height=”499″ alt=”Python 抓包获取网友上传的视频!世界那么大,只能在网上看了” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E好了,就写到这里了,如果需要源码的小伙伴,可以来找我哦!u003Cu002Fpu003Eu003Cpu003E也欢迎大家在评论区讨论,指出不足,大家一起交流才能进步!u003Cu002Fpu003Eu003Cu002Fdivu003E”

原文始发于:Python 抓包获取网友上传的视频!世界那么大,只能在网上看了

主题测试文章,只做测试使用。发布者:战鹰,转转请注明出处:http://www.cxybcw.com/13328.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code