1. 首页
  2. Python

学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本

“u003Cdivu003Eu003Cpu003E俗话说:兴趣是最好的老师,只是闷头看书,闭门造车是学不好的,今天给大家带来一个适合刚入门新手的爬虫体验,抓取某网站空气质量数据,并做成一个可查询的脚本!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1527222632535d08493dca5″ img_width=”1280″ img_height=”853″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Ch1u003E开始前准备工作!u003Cu002Fh1u003Eu003Cpu003E工具:python3.6,pycharmu003Cu002Fpu003Eu003Cpu003E库:requests,re,etree(xpath)u003Cu002Fpu003Eu003Cpu003E目标:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1527222882921a93f34410d” img_width=”761″ img_height=”551″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E该页面下所有省份、城市的列表,用于查询u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp9.pstatp.comu002Flargeu002Fpgc-imageu002F15272229861997ae5bcf0ae” img_width=”625″ img_height=”705″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E城市详情页面,空气质量评分及各个观测点数据呈报!u003Cu002Fpu003Eu003Ch1u003E爬虫思路u003Cu002Fh1u003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15272237578036f5fda4e8a” img_width=”825″ img_height=”183″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E抓取数据说明部分,作为脚本开头的说明文字u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F152722379612249ceb7af85″ img_width=”456″ img_height=”245″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E抓取城市空气质量排名页面内容,并print出来作为可选项!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F152722384699514ea4d6a7f” img_width=”652″ img_height=”96″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E抓取所有的省份,然后编号存入字典内,在抓到所有省份下城市列表及相应url存入字典,这个字典通过1个函数实现,字典的最终格式如下:u003Cu002Fpu003Eu003Cpu003E{编号1:省份1,编号2:省份2……省份1:{城市1:url1,城市2:url2……},省份2:{城市1:url1,城市2:url2……}}u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1527223876612186a905843″ img_width=”428″ img_height=”212″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E再做一个函数,构建城市页面的数据格式,抓取并print出来u003Cu002Fpu003Eu003Cpu003E最后在构建脚本主体,主要是需要用户选择省份、城市或者排名,整体效果如下:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1527223938948616bd404bf” img_width=”817″ img_height=”521″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15272239705389e04b3cab6″ img_width=”529″ img_height=”330″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E篇幅有限,源码就不放了,大家可以自己做一个试试,这个网站也没有反爬措施,很简单的一个小脚本,难点在于构建省份和城市的字典,和最终效果的排版,我这里也存在一些问题就是排版其实并不整齐,有时间可以在优化一下!u003Cu002Fpu003Eu003Cpu003E有想要源码的,或者有更好的建议的同学,可以在评论区留言哦!关键是,先关注下呗!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp9.pstatp.comu002Flargeu002Fpgc-imageu002F1527224152683e9a431d10b” img_width=”1280″ img_height=”853″ alt=”学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cu002Fdivu003E”

原文始发于:学爬虫就要找点有意思的小项目:用python做个查询空气质量的脚本

主题测试文章,只做测试使用。发布者:战鹰,转转请注明出处:http://www.cxybcw.com/13312.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code