1. 首页
  2. IT资讯

python爬取鬼灭漫画+简单JS分析

本次爬取仅供学习,无任何商业用途

猪油骨,拿来卤~今天,来分享一下python图片爬取+简单JS分析

爬取网址:漫画地址(这个网站只更新到188话,实际上已经有200多话了)

一、获取所有章节URL地址

打开网址后,使用Chrome抓包,发现所有章节的数据如下所示:

python爬取鬼灭漫画+简单JS分析

defget_html(url):

r=requests.get(url,headers=header)

r.encoding=’gbk’

ifr.status_code==200:

returnr.text

except:

print(‘网络连接异常’)

defget_total_chapter():

data=json.loads(get_html(url))

chapter_total=data[‘Comics’][2][‘Chapters’]

foriteminchapter_total:

yielditem.get(‘Url’)

二、解析图片地址,进行简单JS解密

点击进入第一话后,分析网页源码,发现图片保存在a标签下的img中,但是需要爬取的src是用javascript写的!这个时候直接用lxml库去解析是拿不到图片的。

这里,我们先分析图片链接的组成,用正则把提取出来即可。

python爬取鬼灭漫画+简单JS分析

src='”+m201304d+”newkuku/2016/02/15/鬼灭之刃][第1话/JOJO_001513.jpg’

其中,m201304是加密的部分,这个网站比较简单,直接找到js4.js文件,即可发现m201304对应的是http://v2.kukudm.com/,除此之外还有三个加密码,我们可以构建成列表,用if判断是否含如下加密码,再用replace替换即可。

python爬取鬼灭漫画+简单JS分析

三、翻页分析

python爬取鬼灭漫画+简单JS分析

分析URL可知,第一话共54页,通过改变末尾的/number.html即可实现翻页

python爬取鬼灭漫画+简单JS分析

全部代码

所有图片都放在桌面的comic文件夹

importrequests

importjson

importos

importre

importtime

os.chdir(‘C:/Users/dell/Desktop/comic’)

url=’https://api.soman.com/soman.ashx?action=getsomancomicdetail&comicname=%E9%AC%BC%E7%81%AD%E4%B9%8B%E5%88%83&source=kuku%E5%8A%A8%E6%BC%AB’

header={‘user-agent’:”Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10″}

defget_html(url):

r=requests.get(url,headers=header,timeout=5)

r.encoding=’gbk’

ifr.status_code==200:

returnr.text

else:

print(‘网络连接异常’)

defget_total_chapter():

data=json.loads(get_html(url))

chapter_total=data[‘Comics’][2][‘Chapters’]

foriteminchapter_total:

yielditem.get(‘Url’)

defsave_items(url,count):

r=requests.get(url,headers=header,timeout=5)

withopen(‘./第{}话/’.format(count)+str(int(time.time()))+’.jpg’,’wb’)asf:

f.write(r.content)

defget_all_img():#得到每话总图片数

src_list=[“m200911d”,”m201001d”,”m201304d”,”k0910k”]

count=0

forchapteringet_total_chapter():

try:

count+=1

os.makedirs(‘./第{}话’.format(count))

pat=’共(.*?)页’

total_page=re.search(pat,get_html(chapter)).group(1)

forpageinrange(1,int(total_page)+1):

pat1='<IMG SRC=(.*)></a>’

src=re.search(pat1,get_html(chapter)).group(1)

foriteminsrc_list:

ifiteminsrc_list:

src=src.replace(“+”+item+”+”,’http://v2.kukudm.com/’).replace(‘”‘,”)

save_items(eval(src),count)

print(‘第{}话第{}页爬取完成’.format(count,page))

now_page=re.search(‘.*/(.*).htm’,chapter).group(1)

chapter=chapter.replace(str(now_page)+’.htm’,str(page+1)+’.htm’)

except:

print(‘未爬取到数据’)

if__name__==’__main__’:

get_all_img()

最终爬取的漫画如下(这里仅作示例,只爬取了前10话的内容):

python爬取鬼灭漫画+简单JS分析

python爬取鬼灭漫画+简单JS分析

10话大概爬取了25分钟左右,算下来,爬完188话,也要7个多小时….后续可以用多进程方法加速一下爬取速度。

本文来自投稿,不代表程序员编程网立场,如若转载,请注明出处:http://www.cxybcw.com/203620.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code