1. 首页
  2. Python

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

“u003Cdivu003Eu003Cpu003E昨天有小伙伴找我,新浪新闻的国内新闻页,其他部分都是静态网页可以抓到,但是在左下方的最新新闻部分,不是静态网页,也没有json数据,让我帮忙抓一下。大概看了下,是js加载的,而且数据在js函数中,很有意思,就分享出来给大家一起看看!u003Cu002Fpu003Eu003Ch1u003Eu003Cstrongu003E抓取目标u003Cu002Fstrongu003Eu003Cu002Fh1u003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15361150073374468c0d816″ img_width=”1015″ img_height=”649″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E今天我们的目标是上图红框部分,首先我们确定这部分内容不在网页源代码中,属于js加载的部分,点击翻页后也没有json数据传输!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F15361160591885e6e613a43″ img_width=”1258″ img_height=”669″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E但是发现有个js的请求,点击请求,是一行js函数代码,我们将其复制到json的视图查看器中,然后格式化一下,看看结果u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15361161019243742203213″ img_width=”1258″ img_height=”598″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F15361161178546d410e5795″ img_width=”666″ img_height=”488″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E发现里面有可能存在我们需要的内容,比如url、title、intro这3个参数,猜测就是对应的新闻URL、标题、简介u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1536116212710ccb94a1c86″ img_width=”630″ img_height=”182″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E只是其内容,需要在进行处理一下,我们写到代码中看看u003Cu002Fpu003Eu003Ch1u003Eu003Cstrongu003E开始写代码u003Cu002Fstrongu003Eu003Cu002Fh1u003Eu003Cpu003E先导入库,因为最终需要从字符串中截取部分,所以用requests库获取请求,正则re匹配内容即可。然后我们先匹配出上述3项u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15361187802137b59fbb7b9″ img_width=”1196″ img_height=”213″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E可以看到,url中存在\\,标题和简介是以\\\u539f\\\u6807\\\u9898的形式存在,这些就是我们需要处理的下一步了!u003Cu002Fpu003Eu003Cpu003E先用replace函数提出url中\\,即可得到url,后面的\\\u539f\\\u6807\\\u9898则是unicode编码,可以直接解码得到内容,直接写代码了u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15361192323502634b7fc2c” img_width=”1159″ img_height=”256″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E解码用了eval函数,内容为u’unicode编码内容’的形式即可解码!u003Cu002Fpu003Eu003Cpu003E这样,就取出了本页的所有新闻和URL的相关内容,在外层加上循环,即可抓取所有的新闻页,任务完成!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1536119394964b42bcb59ac” img_width=”1280″ img_height=”483″ alt=”Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Ch1u003Eu003Cstrongu003E后记u003Cu002Fstrongu003Eu003Cu002Fh1u003Eu003Cpu003E新浪新闻的页面js函数比较简单,可以直接抓到数据,如果是比较复杂的函数的话,就需要深入理解前端知识了,这也是为什么学爬虫,需要学习前端知识的原因!u003Cu002Fpu003Eu003Cpu003Eps:上文所用的json查看器是第三方的网站,直接百度即可找到很多,当然也可以直接将上述抓包的内容修改,然后用json读取数据也是可以的!u003Cu002Fpu003Eu003Cpu003E基本代码没有多少,如果有看不清楚的小伙伴,可以私信我获取代码或者一起研究爬虫哦!u003Cu002Fpu003Eu003Cu002Fdivu003E”

原文始发于:Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

主题测试文章,只做测试使用。发布者:敢吻,转转请注明出处:http://www.cxybcw.com/13160.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code