1. 首页
  2. Python

新手也能做爬虫!一起来爬电影信息吧

“u003Cdivu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e80000167710e0809d0″ img_width=”1280″ img_height=”854″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E第二篇练手的东西来了,当然这里的电影信息并不是那些评论或者评分什么的,今天咱们来试试直接爬电影链接!u003Cu002Fpu003Eu003Cpu003E老规矩,先选定目标,然后分析。u003Cu002Fpu003Eu003Cpu003Eu003Cstrongu003E这里我们选择电影天堂网,毕竟都是高清的。url=’https:u002Fu002Fwww.dy2018.comu002F’u003Cu002Fstrongu003Eu003Cu002Fpu003Eu003Cpu003E那么多的分类,我们先试试最新电影,点击更多,然后就打开了电影列表u003Cbru003Eu003Cu002Fpu003Eu003Cpu003E一页有25篇电影,包括影片名字和简介,点击进去后就是每一篇影片的具体说明,下方有下载地址,这就好办了,不多说,开始写代码吧,这里小编用的是Python3.6版本。u003Cbru003Eu003Cu002Fpu003Eu003Cpu003E这次我们用Python的xpath来抓取我们需要的内容,先导入模块:requests。因为xpath是lxml库的一个方法,所以需要用“from lxml import etree”来导入,没有安装的小伙伴可以用’pip install lxml’来安装。u003Cu002Fpu003Eu003Cpu003E我们先定义一个函数,用requests来获取网页源代码,同时把头部信息加入:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e7f00017304d0dcd5f2″ img_width=”510″ img_height=”126″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E注意网页用的编码格式是gb2312,不写会出乱码哦。u003Cu002Fpu003Eu003Cpu003E找到url,并查看url的翻页方式,这里就不在源码里查找翻页了,直接拉下面。u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002F5e7e0002ee85b0b0099e” img_width=”473″ img_height=”21″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E然后写入循环,开始查找每一个电影的页面url,直接上代码:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e860002b63c63900d87″ img_width=”886″ img_height=”200″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E结果如下:u003Cbru003Eu003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002F5e800001797c99aab43c” img_width=”1177″ img_height=”166″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E然后再次循环,并拼接网址:u003Cbru003Eu003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e850002d9257c146986″ img_width=”683″ img_height=”58″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E就得到了每页电影的url,结果如下:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e8000017bbc8c8da377″ img_width=”427″ img_height=”189″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E然后解析网址,开始查找我们需要的内容,标题、下载地址,代码如下:u003Cbru003Eu003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002F5e890000a0759a6b949f” img_width=”951″ img_height=”74″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E结果如下:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002F5e850002dd3df87e0fe4″ img_width=”553″ img_height=”121″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e860002bb5859ac8801″ img_width=”773″ img_height=”188″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E标题是唯一的,所以取出列表后,直接取第一个元素。下载地址一般是有2个,需要分别取出,然后分别写入txt文件,代码如下:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002F5e860002bc3716718902″ img_width=”594″ img_height=”129″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E结果:u003Cbru003Eu003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp9.pstatp.comu002Flargeu002F5e860002bd3dbbbd94e9″ img_width=”671″ img_height=”385″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003Eok~完工!可以直接把喜欢的电影的url复制到其他软件下载了,当然这里也可以继续找到简介、评分、主演等等内容爬下来保存,就交给小伙伴自己研究吧。完全代码截图:u003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002F5e7e0002fb8fc2369336″ img_width=”767″ img_height=”590″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cpu003E喜欢就关注一波呗(^_^),想和小编一起学习Python的,或者想要源代码的,都可以私信小编发送资料就可以哦。u003Cbru003Eu003Cu002Fpu003Eu003Cpu003Eu003Cimg src=”http:u002Fu002Fp9.pstatp.comu002Flargeu002F5e850002e4e163e3c897″ img_width=”1280″ img_height=”616″ alt=”新手也能做爬虫!一起来爬电影信息吧” inline=”0″u003Eu003Cu002Fpu003Eu003Cu002Fdivu003E”

原文始发于:新手也能做爬虫!一起来爬电影信息吧

主题测试文章,只做测试使用。发布者:醒百年,转转请注明出处:http://www.cxybcw.com/13370.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code