1. 首页
  2. Python

python伪装浏览器对网站进行get请求

“u003Cdivu003Eu003Cpu003E代码作用:对百度网站的美女图片网站进行get请求,并找出美女图片路径u003Cu002Fpu003Eu003Cpu003E代码如下:u003Cu002Fpu003Eu003Cpreu003Eimport requestsu003Cbru003Efrom bs4 import BeautifulSoupu003Cbru003Eimport pandas as pdu003Cbru003Eimport reu003Cbru003Efrom urllib import requestu003Cbru003E#1、对网站进行get请求u003Cbru003Eurl=”https:u002Fu002Fwww.baidu.comu002Fs?tn=50000021_hao_pg&ie=utf-8&sc=UWd1pgw-pA7EnHc1FMfqnHRLnH0vnWmvn1n4nauW5y99U1Dznzu9m1YknWD1n1RdrH0&ssl_sample=normal&srcqid=3565175470258267286&H123Tmp=nunew7&word=%E7%BE%8E%E5%A5%B3″u003Cbru003Eheaders={“User-Agent”: “Mozillau002F5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Geckou002F20100101 Firefoxu002F69.0″} #设置伪装的浏览器表头u003Cbru003Eresponse=requests.get(url,headers=headers) #对百度的美女图片网站进行get请求,并伪装成浏览器访问u003Cbru003Eresponse.encoding=”utf-8” #设置编码为utf-8u003Cbru003Ehtml=response.text #将请求的数据赋值给htmlu003Cbru003E#2、对网站进行解析u003Cbru003Esoup=BeautifulSoup(html,’lxml’)u003Cbru003Econtent=soup.findAll(‘img’) #查找img标签的内容并赋值给contentu003Cbru003Efor image in content: #遍历content里的图片u003Cbru003E print(image.get(“src”)) #打印图片的网址u003Cbru003Eu003Cu002Fpreu003Eu003Cpu003E代码运行结果如下图所示:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002Fcb3ce809537f4aa0ad40e56cb7eaa442″ img_width=”1596″ img_height=”1005″ alt=”python伪装浏览器对网站进行get请求” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E随便点击的美女图片路径,可以看到美女图片u003Cu002Fpu003Eu003Cu002Fdivu003E”

原文始发于:python伪装浏览器对网站进行get请求

主题测试文章,只做测试使用。发布者:~那﹑男人是我的命﹪,转转请注明出处:http://www.cxybcw.com/13054.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code