Python while true實現爬蟲定時任務
記得以前的windows 任務定時是可以的正常使用的,今天試了下,發現不能正常使用了,任務計劃總是掛起。
接下來記錄下python 爬蟲定時任務的幾種解決方法。
今天是第一篇,后面會陸續更新。
首先最容易的是while true死循環掛起,上代碼
import osimport timeimport sysfrom datetime import datetime, timedeltadef One_Plan(): # 設置啟動周期 Second_update_time = 24 * 60 * 60 # 當前時間 now_Time = datetime.now() # 設置 任務啟動時間 plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) # 設置差值,-1 day, 21:48:53.246576,類似于這樣 # time.sleep()需要傳入int,所以下面使用.total_seconds() # 主要用來計算差值,返回int,具體功能可以自行查閱相關資料 delta = plan_Time - now_Time first_plan_Time = delta.total_seconds() % Second_update_time print('距離第一次執行需要睡眠%d秒' % first_plan_Time) return first_plan_Time# while Ture代碼塊,掛起程序,睡眠時間結束后調用函數名進行執行while True: s1 = One_Plan() time.sleep(s1) # 下面這里是自己定義的函數,想跑代碼的可以換成hellow world函數或者注釋掉這行測試下 exe_file(D_list) print('正在執行首次更新程序')
個人感覺使用這種方式進行定時計劃的啟動如果為單個程序,并且一天執行一次的話沒什么問題,如果要考慮到一天執行多個任務并且一天需要執行多次,短板一下就凸顯出來了,
在工作的情況中還需要考慮到很多因素,比如爬蟲程序需要在晚上12點和早上6點,9點,下午3點執行四次,并且需要同時執行4個爬蟲,還需要考慮到網絡是否穩定,如果程序掛掉該怎么處理等等因素
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。
相關文章:
