2233娘吧 关注:1,975贴子:10,225

哔哩哔哩2233娘官方漫画python 爬虫,包含源码

只看楼主收藏回复

一位路过的垃圾技术宅给各位吧友一点礼物>>
只是偶然间看视频发现了“视频不见了”页面下面的漫画>>
百度N久之后,并没有在网上其他地方找到漫画集>>
所以只是突然间的兴致,想写个爬虫,把漫画爬下来>>
(只是偶然间路过此地,现在技术略有所得,所以想给各位吧友分享一下收获)

这是python爬虫的过程

这是python爬虫源码,python3.7,用到了requests,pyppeteer和simplified-scrapy库。一下是源码文本版>
>>>
from simplified_html.request_render import RequestRender
from simplified_scrapy.simplified_doc import SimplifiedDoc
import requests
str0 = ''
def callback(html,url,data):
doc = SimplifiedDoc()
div = doc.getElementByClass('img-box',html)
global str0
try:
str0 = (doc.listImg(div.innerHtml,url))[0]['url']
except:
pass
#print(type(str0))
def down(str0):
re = requests.get(str0)
with open('%s'%str0[-29:-21] + '%s'%str0[-20:-6],'wb') as f:
f.write(re.content)
for i in range(0,999):
req = RequestRender({ 'executablePath': r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'})
try:
req.get('https://www.bilibili.com/video/av76509567/',callback)
print(str0)
down(str0)
except:
i = i - 1
req.close()
>>>
自此,无意叨扰,愿各位能有所获。


IP属地:四川1楼2019-11-29 00:47回复
    是大佬呐。完全看不懂。


    IP属地:广东来自Android客户端2楼2019-11-29 11:48
    回复
      大佬


      来自Android客户端4楼2019-11-30 20:31
      回复
        晕了看不懂


        IP属地:江苏来自iPhone客户端5楼2019-12-07 23:28
        回复
          大佬会爬漫画吗


          IP属地:日本6楼2019-12-22 18:23
          收起回复
            大佬会把哔哩哔哩漫画上的漫画爬下来吗?


            来自Android客户端7楼2020-01-23 13:55
            收起回复
              我运行了一下(使用python3.7.4),出错了


              IP属地:黑龙江来自Android客户端8楼2020-03-19 15:38
              收起回复
                没想到在这里也能遇见py大佬


                IP属地:湖北10楼2020-03-24 10:25
                收起回复
                  我知道
                  这个原理是通过数据流从https://www.bilibili.com/video/av76509567/获取图片信息。
                  https://www.bilibili.com/video/av76509567/是没有视频的,它爬的是界面下面的图片


                  IP属地:北京11楼2020-04-01 11:22
                  回复
                    完全看不懂


                    IP属地:山东来自Android客户端12楼2020-04-01 15:14
                    回复
                      试用了,可用,谢谢


                      IP属地:福建13楼2020-04-18 11:25
                      收起回复
                        优化的地方:
                        1、global放函数定义一开头
                        2、str0里面的括号可以去掉
                        3、down()太浪费了,str0=str0岂不美哉?
                        4、i-=1.


                        IP属地:福建14楼2020-04-23 16:55
                        收起回复
                          大佬可以帮忙爬一部漫画吗


                          IP属地:福建来自iPhone客户端16楼2021-01-08 15:19
                          收起回复


                            星座王
                            点亮12星座印记,去领取
                            活动截止:2100-01-01
                            去徽章馆》
                            IP属地:上海来自Android客户端17楼2021-01-10 15:18
                            回复


                              星座王
                              点亮12星座印记,去领取
                              活动截止:2100-01-01
                              去徽章馆》
                              IP属地:上海来自Android客户端18楼2021-01-10 15:18
                              回复