1. 首页
  2. 未分类

Python爬虫教程:proxy代理IP,隐藏地址(猫眼电影)

“u003Cdivu003Eu003Cpu003EProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了u003Cu002Fpu003Eu003Cpu003E获取代理IP的的网站:u003Cu002Fpu003Eu003Culu003Eu003Cliu003Ewww.goubanjia.comu003Cu002Fliu003Eu003Cliu003Ewww.xicidaili.comu003Cu002Fliu003Eu003Cliu003E使用代理来隐藏真实访问中,代理也不允许频繁访问某一个固定网站,所以,代理一定要很多很多u003Cu002Fliu003Eu003Cliu003E需要使用,从上面的网站拷贝u003Cu002Fliu003Eu003Cu002Fulu003Eu003Cpu003E基本使用步骤:u003Cu002Fpu003Eu003Culu003Eu003Cliu003E1.设置代理地址u003Cu002Fliu003Eu003Cliu003E2.创建ProxyHandleru003Cu002Fliu003Eu003Cliu003E3.创建Openeru003Cu002Fliu003Eu003Cliu003E4.安装Openeru003Cu002Fliu003Eu003Cliu003E案例v11proxy文件:https:u002Fu002Fxpwi.github.iou002Fpyu002Fpy%E7%88%AC%E8%99%ABu002Fpy11proxy.pyu003Cu002Fliu003Eu003Cu002Fulu003Eu003Cpreu003E# 使用代理服务器访问猫眼u003Cbru003E# https:u002Fu002Fmaoyan.comu002Fu003Cbru003Efrom urllib import request,erroru003Cbru003E”’u003Cbru003E”’u003Cbru003Eif __name__ == ‘__main__’:u003Cbru003E url = “https:u002Fu002Fbaidu.comu002F”u003Cbru003E # 1.设置代理地址u003Cbru003E proxy = {‘http’: ‘218.60.8.83:3129’}u003Cbru003E # 2.创建ProxyHandleru003Cbru003E proxy_handler = request.ProxyHandler(proxy)u003Cbru003E # 3.创建Openeru003Cbru003E opener = request.build_opener(proxy_handler)u003Cbru003E # 4.安装Openeru003Cbru003E request.install_opener(opener)u003Cbru003E # 下面再进行访问url就会使用代理服务器u003Cbru003E try:u003Cbru003E rsp = request.urlopen(url)u003Cbru003E html = rsp.read().decode()u003Cbru003E print(html)u003Cbru003E except error.HTTPError as e:u003Cbru003E print(e)u003Cbru003E except Exception as e:u003Cbru003E print(e)u003Cbru003Eu003Cu002Fpreu003Eu003Ch1u003E运行结果u003Cu002Fh1u003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F6a0c3618b0834865a193d654d0b0d14f” img_width=”899″ img_height=”534″ alt=”Python爬虫教程:proxy代理IP,隐藏地址(猫眼电影)” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E最后,小编想说:我是一名python开发工程师,整理了一套最新的python系统学习教程,想要这些资料的可以关注私信小编“01”即可,希望能对你有所帮助u003Cu002Fpu003Eu003Cu002Fdivu003E”

原文始发于:Python爬虫教程:proxy代理IP,隐藏地址(猫眼电影)

主题测试文章,只做测试使用。发布者:熱鬧獨處,转转请注明出处:http://www.cxybcw.com/18181.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code