1. 首页
  2. IT资讯

python制作一个简单网络爬虫

这章我们用python标准库urllib2来实现简单的网络爬虫(本章很简单适合小白,不喜勿喷)
一、urllib2定义了以下方法:
urllib2.urlopen( URL, Data, timeout )
Data参数:POST数据提交(例如:账号密码发送给服务器判断登陆)
url参数:网页URL,可接受request对象。
返回一个类似于open文件对象 从中读取网页数据
urllib2.Request( URL, Data=None, headers={} )
注意R大写
Data为None时,发送的是GET请求,反之POST
二、urllib2小案例
python制作一个简单网络爬虫

import urllib
import urllib2
import re

if __name__ == '__main__':
  url = "https://www.python.org/downloads/"
  # GET请求官网下载地址    返回 对象.read()取出网页数据
  res = urllib.urlopen(url).read()
  # 编译为Pattern模式 匹配 取出列表中第一个数据
  r = re.compile(r"Download the latest version for Windows[\s\S]+?</a>[\
  s\S]+?</a>").findall(res)[0]
  # 进行数据清洗
  li = re.compile(r'a class="button" href="(.*?)">(.*?)<').findall(r)
  # 进行输出
  py3x = li[0]
  py2x = li[1]
  print py3x[1]+":"+py3x[0]+"\n"+py2x[1]+":"+py2x[0]

本文来自投稿,不代表程序员编程网立场,如若转载,请注明出处:http://www.cxybcw.com/199373.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code