1. 首页
  2. Python

python伪造多个浏览器请求头,对同花顺的股票数据进行爬取

“u003Cdivu003Eu003Cpu003E代码如下:u003Cu002Fpu003Eu003Cpreu003E#本段代码作用:找出2019年10月15日同花顺网站当天资金流入流出较大的个股代码u003Cbru003E#下面是导入相应的模块u003Cbru003Eimport requestsu003Cbru003Efrom bs4 import BeautifulSoupu003Cbru003Eimport randomu003Cbru003E#1、对网站进行get请求,并构造多个浏览器请求头u003Cbru003Eurl=”http:u002Fu002Fdata.10jqka.com.cnu002Ffundsu002Fggzjlu002F” #设置同花顺资金流向网站为urlu003Cbru003Eagent1=”Mozillau002F5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Geckou002F20100101 Firefoxu002F69.0″ #设置agent1请求头u003Cbru003Eagent2=”Mozillau002F5.0 (Windows NT 10.0; WOW64) AppleWebKitu002F537.36 (KHTML, like Gecko) Chromeu002F69.0.3497.100 Safariu002F537.36″ #设置agent2请求头u003Cbru003Eagent3=”Mozillau002F5.0 (Windows NT 6.1) AppleWebKitu002F537.36 (KHTML, like Gecko) Chromeu002F65.0.3325.181 Safariu002F537.36″ #设置agent2请求头u003Cbru003Elist1=[agent1,agent2,agent3] #设置agent1,agent2,agent3为列表list1里的元素u003Cbru003Eagent=random.choice(list1) #随机获取list里的元素并赋值给agentu003Cbru003Eheaders={“User-Agent”:agent} #设置请求头,参数为agentu003Cbru003Eresponse=requests.get(url,headers=headers) #对网站进行get请求,并伪装成浏览器进行请求u003Cbru003Eresponse.encoding=”GBK” #设置网页编码u003Cbru003Ehtml=response.text #将网页的源代码赋值给htmlu003Cbru003E#2、解析网站u003Cbru003Esoup=BeautifulSoup(html,’lxml’)u003Cbru003Econtent=soup.findAll(‘a’) #遍历网页的a标签内容并赋值给contentu003Cbru003Efor stock in content: #遍历a标签内的内容u003Cbru003E if stock.get(“class”)==[“stockCode”]: #假如a标签内的class属性的值为[“stockCode”]u003Cbru003E print(stock.text) #打印出a标签里的内容u003Cbru003Eu003Cu002Fpreu003Eu003Cpu003E运行结果如下:u003Cu002Fpu003Eu003Cpu003E603786u003Cu002Fpu003Eu003Cpu003E600568u003Cu002Fpu003Eu003Cpu003E000659u003Cu002Fpu003Eu003Cpu003E600393u003Cu002Fpu003Eu003Cpu003E300167u003Cu002Fpu003Eu003Cpu003E300319u003Cu002Fpu003Eu003Cpu003E300169u003Cu002Fpu003Eu003Cpu003E002351u003Cu002Fpu003Eu003Cpu003E000987u003Cu002Fpu003Eu003Cpu003E601886u003Cu002Fpu003Eu003Cpu003E002625u003Cu002Fpu003Eu003Cpu003E000677u003Cu002Fpu003Eu003Cpu003E002515u003Cu002Fpu003Eu003Cpu003E300119u003Cu002Fpu003Eu003Cpu003E002045u003Cu002Fpu003Eu003Cpu003E002524u003Cu002Fpu003Eu003Cpu003E300792u003Cu002Fpu003Eu003Cpu003E603041u003Cu002Fpu003Eu003Cpu003E002930u003Cu002Fpu003Eu003Cpu003E000533u003Cu002Fpu003Eu003Cpu003E002655u003Cu002Fpu003Eu003Cpu003E300304u003Cu002Fpu003Eu003Cpu003E300359u003Cu002Fpu003Eu003Cpu003E300598u003Cu002Fpu003Eu003Cpu003E300613u003Cu002Fpu003Eu003Cpu003E300192u003Cu002Fpu003Eu003Cpu003E300246u003Cu002Fpu003Eu003Cpu003E002101u003Cu002Fpu003Eu003Cpu003E002243u003Cu002Fpu003Eu003Cpu003E002868u003Cu002Fpu003Eu003Cpu003E300280u003Cu002Fpu003Eu003Cpu003E603477u003Cu002Fpu003Eu003Cpu003E002181u003Cu002Fpu003Eu003Cpu003E600212u003Cu002Fpu003Eu003Cpu003E000532u003Cu002Fpu003Eu003Cpu003E002161u003Cu002Fpu003Eu003Cpu003E300273u003Cu002Fpu003Eu003Cpu003E002209u003Cu002Fpu003Eu003Cpu003E300242u003Cu002Fpu003Eu003Cpu003E002492u003Cu002Fpu003Eu003Cpu003E002141u003Cu002Fpu003Eu003Cpu003E000507u003Cu002Fpu003Eu003Cpu003E600809u003Cu002Fpu003Eu003Cpu003E002325u003Cu002Fpu003Eu003Cpu003E300454u003Cu002Fpu003Eu003Cpu003E300593u003Cu002Fpu003Eu003Cpu003E300525u003Cu002Fpu003Eu003Cpu003E300777u003Cu002Fpu003Eu003Cpu003E300306u003Cu002Fpu003Eu003Cpu003E000025u003Cu002Fpu003Eu003Cpu003E图片示例如下:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F053bcf58a2074c7d948a9ab192ca734e” img_width=”1255″ img_height=”999″ alt=”python伪造多个浏览器请求头,对同花顺的股票数据进行爬取” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cu002Fdivu003E”

原文始发于:python伪造多个浏览器请求头,对同花顺的股票数据进行爬取

主题测试文章,只做测试使用。发布者:~那﹑男人是我的命﹪,转转请注明出处:http://www.cxybcw.com/13016.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code