1. 首页
  2. Python

Python爬虫,反爬手段之防盗链的处理

“u003Cdivu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1532746776925ae107741c3″ img_width=”1280″ img_height=”852″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Ch1u003E防盗链原理u003Cu002Fh1u003Eu003Cpu003E我们日常访问网页,如果从一个网页跳转到另一个网页,http 头字段里面会带个 Referer的参数。那么图片服务器通过检测 Referer 是否来自指定域名,来进行防盗链。当然,不止图片服务器,有的视频服务器也采用了这种方式,比如B站!u003Cu002Fpu003Eu003Cpu003E简单点说,服务器会判断你是否从规定的域名来访问图片或者视频,如果是那么就正常显示,不是的话,会跳转到别的地方,那么我们用爬虫所采集的图片就会出现问题!我们来通过一个实例看看是怎么回事。u003Cu002Fpu003Eu003Ch1u003E实例说明u003Cu002Fh1u003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1532747150125910a4c2517″ img_width=”1234″ img_height=”605″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E上图是某图片网站的header截图,可以看到里面的Referer参数,写个代码看看u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1532747431977b6cfea1d0e” img_width=”592″ img_height=”237″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E这里,取出了该页面的图片,直接用浏览器打开看看(建议换一个浏览器,打开会看到下面的效果)u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1532747556330368dab4d7a” img_width=”522″ img_height=”492″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E直接被拒绝访问了!当然也可以试试代码保存,一样是会报错的哦!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F15327477853533c1633cf76″ img_width=”559″ img_height=”125″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1532747806507be0fcc5786″ img_width=”738″ img_height=”201″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Ch1u003E解决办法u003Cu002Fh1u003Eu003Cpu003E其实解决办法很简单,加入header,然后把Referer写入即可!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F15327479778288681a12882″ img_width=”567″ img_height=”172″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F1532747993348786eb08764″ img_width=”875″ img_height=”447″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Ch1u003E后记u003Cu002Fh1u003Eu003Cpu003E这只是反爬手段中的一种很常见的,还有很多,慢慢分享给大家!u003Cu002Fpu003Eu003Cpu003E因为只是一个演示用的代码,写的很简单,如果图片不清楚,或者你遇到了其他的反爬手段,也可以私信或者评论里写一下,一起交流才能更快进步!u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002F1532748331506c87cd0bb3b” img_width=”1280″ img_height=”676″ alt=”Python爬虫,反爬手段之防盗链的处理” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cu002Fdivu003E”

原文始发于:Python爬虫,反爬手段之防盗链的处理

主题测试文章,只做测试使用。发布者:敢吻,转转请注明出处:http://www.cxybcw.com/13260.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code