文章詳情頁
python - 如何爬取跳轉網站的數據
瀏覽：65日期：2022-06-30 14:37:44
問題描述
目前在學習一些爬蟲的知識，對于一些復雜的網站使用selenium進行爬取。碰到一個問題，我需要爬取的工單網站（不知道密碼）需要先通過登錄一個鑒權系統，然后鑒權系統頁面點擊其中的工單系統連接，就會自動免登錄跳轉到工單系統網站，這種系統的數據我該如何使用爬蟲進行抓取？以下是鑒權系統selenium拿到關于工單系統的html
<a href='http://www.aoyou183.cn/link-test001' target='_blank' rel='link-test001' data='1' datasrc='工單系統|||/files/link/test001.gif|||new|||/link-test001'> <img src='http://www.aoyou183.cn/files/link/test001.gif' alt='工單系統' align='absmiddle'><span>工單系統</span></a>
問題解答
回答1：用firefox的擴展selenium ide錄制一遍操作。然后導出為python文件。改改運行就可以了。
建議你去讀讀蟲師寫的書。
回答2：例如使用requests庫作為爬蟲的話，先創建session()，A登錄，B是跳轉的頁面即可。
T=requests.session()A=T.post(url=url,data=data)B=T.get(url=url)
創建的T就代表存儲的cookie，會一直保留
相關文章：
1. python - 獲取到的數據生成新的mysql表2. javascript - js 對中文進行MD5加密和python結果不一樣。3. mysql里的大表用mycat做水平拆分，是不是要先手動分好，再配置mycat4. window下mysql中文亂碼怎么解決？？5. sass - gem install compass 使用淘寶 Ruby 安裝失敗，出現 4046. python - （初學者）代碼運行不起來，求指導，謝謝！7. 為啥不用HBuilder?8. python - flask sqlalchemy signals 無法觸發9. python的文件讀寫問題？10. 為什么python中實例檢查推薦使用isinstance而不是type？
排行榜
網公網安備