項目地址：

https://github.com/cgDeepLearn/BilibiliCrawler

項目特點 采取了一定的反反爬策略。 Bilibili更改了用戶頁面的api, 用戶抓取解析程序需要重構(gòu)。快速開始 拉取項目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git 進入項目主目錄，安裝虛擬環(huán)境crawlenv(請參考使用說明里的虛擬環(huán)境安裝)。 激活環(huán)境并在主目錄運行crawl,爬取結(jié)果將保存在data目錄csv文件中。

ource activate crawlenvpython initial.py file # 初始化file模式python crawl_user.py file 1 100 # file模式，1 100是開始、結(jié)束bilibili的uid

進入data目錄查看抓取的數(shù)據(jù)，是不是很簡單！

如果需要使用數(shù)據(jù)庫保存和一些其他的設(shè)置，請看下面的使用說明

使用說明1.拉取項目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git2.進入項目主目錄， 安裝虛擬環(huán)境 若已安裝anaconda

conda create -n crawlenv python=3.6source activate crawlenv # 激活虛擬環(huán)境pip install -r requirements.txt 若使用virtualenv

virtualenv crawlenvsource crawlenv/bin/activate # 激活虛擬環(huán)境，windows下不用sourcepip install -r requirements.txt # 安裝項目依賴3. 修改配置文件

進入config目錄，修改config.ini配置文件(默認使用的是postgresql數(shù)據(jù)庫，如果你是使用的是postgresql，只需要將其中的參數(shù)替換成你的，下面其他的步驟可以忽略) 數(shù)據(jù)庫配置選擇其中一個你本地安裝的即可，將參數(shù)更換成你的 如果你需要更自動化的數(shù)據(jù)庫配置，請移步我的DB_ORM項目

[db_mysql]user = testpassword = testhost = localhostport = 3306dbname = testdb[db_postgresql]user = testpassword = testhost = localhostport = 5432dbname = testdb

然后修改conf.py中獲取配置文件的函數(shù)

def get_db_args(): ''' 獲取數(shù)據(jù)庫配置信息 ''' return dict(CONFIG.items(’db_postgresql’)) # 如果安裝的是mysql,請將參數(shù)替換為db_mysql

進入db目錄，修改basic.py的連接數(shù)據(jù)庫的DSN

# connect_str = 'postgresql+psycopg2://{}:{}@{}:{}/{}'.format(kwargs[’user’], kwargs[’password’], kwargs[’host’], kwargs[’port’], kwargs[’dbname’])# 若使用的是mysql，請將上面的connect_str替換成下面的connect_str = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(kwargs[’user’], kwargs[’password’], kwargs[’host’], kwargs[’port’], kwargs[’dbname’])# sqlite3，mongo等請移步我的DB_ORM項目，其他一些數(shù)據(jù)庫也將添加支持4. 運行爬蟲 在主目錄激活虛擬環(huán)境， 初次運行請執(zhí)行

python initial.py db # db模式，file模式請將db換成file# file模式會將抓取結(jié)果保存在data目錄# db模式會將數(shù)據(jù)保存在設(shè)置好的數(shù)據(jù)庫中# 若再次以db模式運行將會drop所有表后再create，初次運行后請慎重再次使用!!!# 如果修改添加了表，并不想清空數(shù)據(jù)，請運行 python create_all.py 開始抓取示例

python crawl_user.py db 1 10000 # crawl_user 抓取用戶數(shù)據(jù)，db 保存在數(shù)據(jù)庫中， 1 10000為抓取起止idpython crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取視頻ajax信息保存到數(shù)據(jù)庫中,python crawl_user_video.py db 1 10000 #同時抓取user 和videoinfo# 示例為uid從1到100的user如果有投稿視頻則抓取其投稿視頻的信息，# 若想通過視頻id逐個抓取請運行python crawl_video_by_aid.py db 1 1000 爬取速率控制

程序內(nèi)已進行了一些抓取速率的設(shè)置，但各機器cpu、mem不同抓取速率也不同，請酌情修改太快太慢請修改各crawl中的sleepsec參數(shù),ip會被限制訪問頻率，overspeed會導(dǎo)致爬取數(shù)據(jù)不全，之后會添加運行參數(shù)speed(high, low),不用再手動配置速率

日志

爬取日志在logs目錄user, video分別為用戶和視頻的爬取日志storage為數(shù)據(jù)庫日志 如需更換log格式，請修改logger模塊

后臺運行

linux下運行python ......前面加上nohup，例如:

nohup python crawl_user db 1 10000

程序輸出保存文件，默認會包存在主目錄額nohup.out文件中，添加 > fielname就會保存在設(shè)置的文件中:

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out # 輸出將保存在video_ajaxup_1_1000.out中 更多

程序多線程使用的生產(chǎn)者消費者模式中產(chǎn)生了程序運行的狀況的打印信息，類似如下

produce 1_1consumed 1_1...

如想運行更快，請在程序各項設(shè)置好后注釋掉其中的打印程序

# utils/pcModels.pyprint(’[+] produce %s_%s’ % (index, pitem)) # 請注釋掉print(’[-] consumed %s_%sn’ % (index, data)) # 請注釋掉更多

項目是單機多線程，若想使用分布式爬取，請參考Crawler-Celery

以上就是python 爬取嗶哩嗶哩up主信息和投稿視頻的詳細內(nèi)容，更多關(guān)于python 爬取嗶哩嗶哩的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！