1. 首页
  2. Python

python的requests和BeautifulSoup使用案例

“u003Cdivu003Eu003Cpu003E爬虫代码如下:u003Cu002Fpu003Eu003Cpreu003Eimport requestsu003Cbru003Efrom bs4 import BeautifulSoupu003Cbru003Eimport osu003Cbru003Eimport reu003Cbru003E#1、设置爬取网站以及网页请求u003Cbru003Eurl=”https:u002Fu002Fimage.so.comu002Fi?ie=utf-8&src=hao_360so&q=python#u002F”u003Cbru003Eresponse=requests.get(url) #对网站进行get请求并赋值给responseu003Cbru003Eresponse.encoding=”utf-8” #设置网页编码为utf-8u003Cbru003Ehtml=response.textu003Cbru003E#2、对网站源代码进行解析u003Cbru003Esoup=BeautifulSoup(html,’lxml’)u003Cbru003Eprint(soup.body) #打印网页源代码的body标签内容u003Cbru003Eprint(soup.div) #打印网页源代码的div标签内容u003Cbru003Eprint(soup.ul) #打印网页源代码的ul标签内容u003Cbru003E#3、查找符合要求的内容u003Cbru003Eprint(soup.findAll(“a”)) #打印网站所有的a标签信息u003Cbru003Efor text1 in soup.findAll(“a”): #遍历网页源代码的a标签信息u003Cbru003E print(text1.text) #打印图片的名称信息u003Cbru003Eu003Cu002Fpreu003Eu003Cpu003E运行结果如下图所示:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002Fb6d71ee43424425cb69cbed6d81a2ebf” img_width=”1142″ img_height=”999″ alt=”python的requests和BeautifulSoup使用案例” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cu002Fdivu003E”

原文始发于:python的requests和BeautifulSoup使用案例

主题测试文章,只做测试使用。发布者:~那﹑男人是我的命﹪,转转请注明出处:http://www.cxybcw.com/13028.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code