1. 首页
  2. Python

Python 网络爬虫的常用库汇总!虽然简单但是实用

“u003Cdivu003Eu003Cp class=”ql-align-justify”u003E爬虫的编程语言有不少,但 Python 绝对是其中的主流之一。今天就为大家介绍下 Python 在编写网络爬虫常常用到的一些库。u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fdfic-imagehandleru002F0dd5ca75-6ccb-4db6-bc9b-205db1f634f6″ img_width=”1023″ img_height=”682″ alt=”Python 网络爬虫的常用库汇总!虽然简单但是实用” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Ch1 class=”ql-align-justify”u003Eu003Cstrongu003E发现有很多想要学习Python却不知道如何下手的朋友,我这里整理了一些关于Python的学习资料,从基础到入门到实战都有!有需要的朋友可以关注并私信“01”免费获取…u003Cu002Fstrongu003Eu003Cu002Fh1u003Eu003Cp class=”ql-align-justify”u003E请求库:实现 HTTP 请求操作u003Cu002Fpu003Eu003Culu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Eurllib:u003Cu002Fstrongu003E一系列用于操作URL的功能。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Erequests:u003Cu002Fstrongu003E基于 urllib 编写的,阻塞式 HTTP 请求库,发出一个请求,一直等待服务器响应后,程序才能进行下一步处理。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Eselenium:u003Cu002Fstrongu003E自动化测试工具。一个调用浏览器的 driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Eaiohttp:u003Cu002Fstrongu003E基于 asyncio 实现的 HTTP 框架。异步操作借助于 asyncu002Fawait 关键字,使用异步库进行数据抓取,可以大大提高效率。u003Cu002Fliu003Eu003Cu002Fulu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fdfic-imagehandleru002Fbe99311a-7a15-450c-900a-23576124c9f7″ img_width=”1200″ img_height=”798″ alt=”Python 网络爬虫的常用库汇总!虽然简单但是实用” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cp class=”ql-align-justify”u003Eu003Cbru003Eu003Cu002Fpu003Eu003Cpu003E解析库:从网页中提取信息u003Cu002Fpu003Eu003Culu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Ebeautifulsoup:u003Cu002Fstrongu003Ehtml 和 XML 的解析,从网页中提取信息,同时拥有强大的API和多样解析方式。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Epyquery:u003Cu002Fstrongu003EjQuery 的 Python 实现,能够以 jQuery 的语法来操作解析 HTML 文档,易用性和解析速度都很好。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Elxml:u003Cu002Fstrongu003E支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Etesserocr:u003Cu002Fstrongu003E一个 OCR 库,在遇到验证码(图形验证码为主)的时候,可直接用 OCR 进行识别。u003Cu002Fliu003Eu003Cu002Fulu003Eu003Cpu003E存储库:Python 与数据库交互u003Cu002Fpu003Eu003Culu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Epymysql:u003Cu002Fstrongu003E一个纯 Python 实现的 MySQL 客户端操作库。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Epymongo:u003Cu002Fstrongu003E一个用于直接连接 mongodb 数据库进行查询操作的库。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Eredisdump:u003Cu002Fstrongu003E一个用于 redis 数据导入u002F导出的工具。基于 ruby 实现的,因此使用它,需要先安装 Ruby。u003Cu002Fliu003Eu003Cu002Fulu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fdfic-imagehandleru002F0d435c31-d5a2-4bfc-8be1-7d1d32994759″ img_width=”1200″ img_height=”696″ alt=”Python 网络爬虫的常用库汇总!虽然简单但是实用” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cp class=”ql-align-justify”u003Eu003Cbru003Eu003Cu002Fpu003Eu003Cpu003E爬虫框架u003Cu002Fpu003Eu003Culu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003EScrapy:u003Cu002Fstrongu003E很强大的爬虫框架,可以满足简单的页面爬取(比如可以明确获知url pattern的情况)。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如 weibo 的页面信息,这个框架就满足不了需求了。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003ECrawley:u003Cu002Fstrongu003E高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为 JSON、XML 等。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003EPortia:u003Cu002Fstrongu003E可视化爬取网页内容。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Enewspaper:u003Cu002Fstrongu003E提取新闻、文章以及内容分析。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Epython-goose:u003Cu002Fstrongu003Ejava 写的文章提取工具。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Ecola:u003Cu002Fstrongu003E一个分布式爬虫框架。项目整体设计有点糟,模块间耦合度较高。u003Cu002Fliu003Eu003Cu002Fulu003Eu003Cpu003EWeb 框架库u003Cu002Fpu003Eu003Culu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Eflask:u003Cu002Fstrongu003E轻量级的 web 服务程序,简单,易用,灵活,主要来做一些 API 服务。做代理时可能会用到。u003Cu002Fliu003Eu003Cli class=”ql-align-justify”u003Eu003Cstrongu003Edjango:u003Cu002Fstrongu003E一个 web 服务器框架,提供了一个完整的后台管理,引擎、接口等,使用它可做一个完整网站。u003Cu002Fliu003Eu003Cu002Fulu003Eu003Cu002Fdivu003E”

原文始发于:Python 网络爬虫的常用库汇总!虽然简单但是实用

主题测试文章,只做测试使用。发布者:战鹰,转转请注明出处:http://www.cxybcw.com/13870.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code