python urllib和urllib3知識點總結
在python數據請求中,我們有一個標準庫專門處理這方面的問題,那就是urllib庫。在不同的python版本中,urllib也有著版本上的變化。本篇就urllib和urllib3這兩種庫為大家帶來介紹,分析其基本的用法、不同點、使用注意和實例,希望能對大家在數據請求的學習有所幫助。
1、說明
在可供使用的網絡庫中,urllib和urllib3可能是投入產出比最高的兩個。它們能讓你通過網絡訪問文件,就像這些文件位于你的計算機中一樣。只需一個簡單的函數調用,就幾乎可將統一資源定位符(URL)可指向的任何動作作為程序的輸入。想想這種功能與模塊 re 結合起來使用都能做什么吧!你可下載網頁、從中提取信息并自動生成研究報告。
2、不同點
模塊urllib 和 urllib3的功能差不多,但 urllib3 更好一些。對于簡單的下載,urllib 綽綽有余。如果要實現 HTTP 身份驗證或 Cookie,抑或編寫擴展來處理自己的協議,urllib3 可能是更好的選擇。
3、使用注意
要在沒有聯網的情況下嘗試使用模塊 urllib,可使用以 file: 打頭的 URL 訪問本地文件,如 file:c:textsomefile.txt(別忘了對反斜杠進行轉義)。
4、實例
幾乎可以像打開本地文件一樣打開遠程文件,差別是只能使用讀取模式,以及使用模塊 urllib.request 中的函數 urlopen,而不是 open(或 file)。
>>> from urllib.request import urlopen>>> webpage = urlopen(’http://www.python.org’)
如果連接到了網絡,變量 webpage 將包含一個類似于文件的對象,這個對象與網頁 https://www.python.org/ 相關聯
內容擴展:
urllib
它是 Python 內置的 HTTP 請求庫,也就是說我們不需要額外安裝即可使用,基本上涵蓋了基礎的網絡請求功能,它包含四個模塊:
urllib.request 用于打開和讀取url urllib.error 用于處理前面request引起的異常 urllib.parse 用于解析url urllib.robotparser 用于解析robots.txt文件urllib.request
urllib中,request這個模塊主要負責構造和發起網絡請求,并在其中加入Headers、Proxy等。
利用它可以模擬瀏覽器的一個請求發起過程
到此這篇關于python urllib和urllib3知識點總結的文章就介紹到這了,更多相關python urllib和urllib3的內容詳解內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!
相關文章: