python 使用fileinput讀取文件
fileinput 是 Python 的內(nèi)置模塊,但我相信,不少人對它都是陌生的。今天我把 fileinput 的所有的用法、功能進(jìn)行詳細(xì)的講解,并列舉了一些非常實(shí)用的案例,對于理解和使用它可以說完全沒有問題。
1. 從標(biāo)準(zhǔn)輸入中讀取當(dāng)你的 Python 腳本沒有傳入任何參數(shù)時(shí),fileinput 默認(rèn)會(huì)以 stdin 作為輸入源
# demo.pyimport fileinputfor line in fileinput.input(): print(line)
效果如下,不管你輸入什么,程序會(huì)自動(dòng)讀取并再打印一次,像個(gè)復(fù)讀機(jī)似的。
$ python demo.py hellohellopythonpython2. 單獨(dú)打開一個(gè)文件
單獨(dú)打開一個(gè)文件,只需要在 files 中輸入一個(gè)文件名即可
import fileinputwith fileinput.input(files=(’a.txt’,)) as file: for line in file:print(f’{fileinput.filename()} 第{fileinput.lineno()}行: {line}’, end=’’)
其中 a.txt 的內(nèi)容如下
helloworld
執(zhí)行后就會(huì)輸出如下
$ python demo.pya.txt 第1行: helloa.txt 第2行: world
需要說明的一點(diǎn)是,fileinput.input() 默認(rèn)使用 mode=’r’ 的模式讀取文件,如果你的文件是二進(jìn)制的,可以使用mode=’rb’ 模式。fileinput 有且僅有這兩種讀取模式。
3. 批量打開多個(gè)文件從上面的例子也可以看到,我在 fileinput.input 函數(shù)中傳入了 files 參數(shù),它接收一個(gè)包含多個(gè)文件名的列表或元組,傳入一個(gè)就是讀取一個(gè)文件,傳入多件就是讀取多個(gè)文件。
import fileinputwith fileinput.input(files=(’a.txt’, ’b.txt’)) as file: for line in file:print(f’{fileinput.filename()} 第{fileinput.lineno()}行: {line}’, end=’’)
a.txt 和 b.txt 的內(nèi)容分別是
$ cat a.txthelloworld$ cat b.txthellopython
運(yùn)行后輸出結(jié)果如下,由于 a.txt 和 b.txt 的內(nèi)容被整合成一個(gè)文件對象 file ,因此 fileinput.lineno() 只有在讀取一個(gè)文件時(shí),才是原文件中真實(shí)的行號。
$ python demo.pya.txt 第1行: helloa.txt 第2行: worldb.txt 第3行: hellob.txt 第4行: python
如果想要在讀取多個(gè)文件的時(shí)候,也能讀取原文件的真實(shí)行號,可以使用 fileinput.filelineno() 方法
import fileinputwith fileinput.input(files=(’a.txt’, ’b.txt’)) as file: for line in file:print(f’{fileinput.filename()} 第{fileinput.filelineno()}行: {line}’, end=’’)
運(yùn)行后,輸出如下
$ python demo.pya.txt 第1行: helloa.txt 第2行: worldb.txt 第1行: hellob.txt 第2行: python
這個(gè)用法和 glob 模塊簡直是絕配
import fileinputimport globfor line in fileinput.input(glob.glob('*.txt')): if fileinput.isfirstline():print(’-’*20, f’Reading {fileinput.filename()}...’, ’-’*20) print(str(fileinput.lineno()) + ’: ’ + line.upper(), end='')
運(yùn)行效果如下
$ python demo.py-------------------- Reading b.txt... --------------------1: HELLO2: PYTHON-------------------- Reading a.txt... --------------------3: HELLO4: WORLD4. 讀取的同時(shí)備份文件
fileinput.input 有一個(gè) backup 參數(shù),你可以指定備份的后綴名,比如 .bak
import fileinputwith fileinput.input(files=('a.txt',), backup='.bak') as file: for line in file:print(f’{fileinput.filename()} 第{fileinput.lineno()}行: {line}’, end=’’)
運(yùn)行的結(jié)果如下,會(huì)多出一個(gè) a.txt.bak 文件
$ ls -l a.txt*-rw-r--r-- 1 MING staff 12 2 27 10:43 a.txt$ python demo.pya.txt 第1行: helloa.txt 第2行: world$ ls -l a.txt*-rw-r--r-- 1 MING staff 12 2 27 10:43 a.txt-rw-r--r-- 1 MING staff 42 2 27 10:39 a.txt.bak5. 標(biāo)準(zhǔn)輸出重定向替換
fileinput.input 有一個(gè) inplace 參數(shù),表示是否將標(biāo)準(zhǔn)輸出的結(jié)果寫回文件,默認(rèn)不取代
請看如下一段測試代碼
import fileinputwith fileinput.input(files=('a.txt',), inplace=True) as file: print('[INFO] task is started...') for line in file:print(f’{fileinput.filename()} 第{fileinput.lineno()}行: {line}’, end=’’) print('[INFO] task is closed...')
運(yùn)行后,會(huì)發(fā)現(xiàn)在 for 循環(huán)體內(nèi)的 print 內(nèi)容會(huì)寫回到原文件中了。而在 for 循環(huán)體外的 print 則沒有變化。
$ cat a.txthelloworld$ python demo.py[INFO] task is started...[INFO] task is closed...$ cat a.txt a.txt 第1行: helloa.txt 第2行: world
利用這個(gè)機(jī)制,可以很容易的實(shí)現(xiàn)文本替換。
import sysimport fileinputfor line in fileinput.input(files=(’a.txt’, ), inplace=True): #將Windows/DOS格式下的文本文件轉(zhuǎn)為Linux的文件 if line[-2:] == 'rn': line = line + 'n' sys.stdout.write(line)
附:如何實(shí)現(xiàn) DOS 和 UNIX 格式互換以供程序測試,使用 vim 輸入如下指令即可
DOS轉(zhuǎn)UNIX::setfileformat=unixUNIX轉(zhuǎn)DOS::setfileformat=dos6. 不得不介紹的方法
如果只是想要 fileinput 當(dāng)做是替代 open 讀取文件的工具,那么以上的內(nèi)容足以滿足你的要求。
fileinput.filenam()返回當(dāng)前被讀取的文件名。在第一行被讀取之前,返回 None。
fileinput.fileno()返回以整數(shù)表示的當(dāng)前文件“文件描述符”。當(dāng)未打開文件時(shí)(處在第一行和文件之間),返回 -1。
fileinput.lineno()返回已被讀取的累計(jì)行號。在第一行被讀取之前,返回 0。在最后一個(gè)文件的最后一行被讀取之后,返回該行的行號。
fileinput.filelineno()返回當(dāng)前文件中的行號。在第一行被讀取之前,返回 0。在最后一個(gè)文件的最后一行被讀取之后,返回此文件中該行的行號。
但若要想基于 fileinput 來做一些更加復(fù)雜的邏輯,也許你會(huì)需要用到如下這幾個(gè)方法
fileinput.isfirstline()如果剛讀取的行是其所在文件的第一行則返回 True,否則返回 False。
fileinput.isstdin()如果最后讀取的行來自 sys.stdin 則返回 True,否則返回 False。
fileinput.nextfile()關(guān)閉當(dāng)前文件以使下次迭代將從下一個(gè)文件(如果存在)讀取第一行;不是從該文件讀取的行將不會(huì)被計(jì)入累計(jì)行數(shù)。直到下一個(gè)文件的第一行被讀取之后文件名才會(huì)改變。在第一行被讀取之前,此函數(shù)將不會(huì)生效;它不能被用來跳過第一個(gè)文件。在最后一個(gè)文件的最后一行被讀取之后,此函數(shù)將不再生效。
fileinput.close()關(guān)閉序列。
7. 進(jìn)階一點(diǎn)的玩法在 fileinput.input() 中有一個(gè) openhook 的參數(shù),它支持用戶傳入自定義的對象讀取方法。
若你沒有傳入任何的勾子,fileinput 默認(rèn)使用的是 open 函數(shù)。
fileinput 為我們內(nèi)置了兩種勾子供你使用
fileinput.hook_compressed(*filename*, *mode*)使用 gzip 和 bz2 模塊透明地打開 gzip 和 bzip2 壓縮的文件(通過擴(kuò)展名 ’.gz’ 和 ’.bz2’ 來識別)。如果文件擴(kuò)展名不是 ’.gz’ 或 ’.bz2’,文件會(huì)以正常方式打開(即使用 open() 并且不帶任何解壓操作)。使用示例: fi = fileinput.FileInput(openhook=fileinput.hook_compressed)
fileinput.hook_encoded(*encoding*, *errors=None*)返回一個(gè)通過 open() 打開每個(gè)文件的鉤子,使用給定的 encoding 和 errors 來讀取文件。使用示例: fi = fileinput.FileInput(openhook=fileinput.hook_encoded('utf-8', 'surrogateescape'))
如果你自己的場景比較特殊,以上的三種勾子都不能滿足你的要求,你也可以自定義。
這邊我舉個(gè)例子來拋磚引玉下
假如我想要使用 fileinput 來讀取網(wǎng)絡(luò)上的文件,可以這樣定義勾子。
先使用 requests 下載文件到本地 再使用 open 去讀取它def online_open(url, mode): import requests r = requests.get(url) filename = url.split('/')[-1] with open(filename,’w’) as f1:f1.write(r.content.decode('utf-8')) f2 = open(filename,’r’) return f2
直接將這個(gè)函數(shù)傳給 openhook 即可
import fileinputfile_url = ’https://www.csdn.net/robots.txt’with fileinput.input(files=(file_url,), openhook=online_open) as file: for line in file:print(line, end='')
運(yùn)行后按預(yù)期一樣將 CSDN 的 robots 的文件打印了出來
User-agent: * Disallow: /scripts Disallow: /public Disallow: /css/ Disallow: /images/ Disallow: /content/ Disallow: /ui/ Disallow: /js/ Disallow: /scripts/ Disallow: /article_preview.html* Disallow: /tag/Disallow: /*?*Disallow: /link/Sitemap: https://www.csdn.net/sitemap-aggpage-index.xmlSitemap: https://www.csdn.net/article/sitemap.txt 8. 列舉一些實(shí)用案例
案例一:讀取一個(gè)文件所有行
import fileinputfor line in fileinput.input(’data.txt’): print(line, end='')
案例二:讀取多個(gè)文件所有行
import fileinputimport globfor line in fileinput.input(glob.glob('*.txt')): if fileinput.isfirstline():print(’-’*20, f’Reading {fileinput.filename()}...’, ’-’*20) print(str(fileinput.lineno()) + ’: ’ + line.upper(), end='')
案例三:利用fileinput將CRLF文件轉(zhuǎn)為LF
import sysimport fileinputfor line in fileinput.input(files=(’a.txt’, ), inplace=True): #將Windows/DOS格式下的文本文件轉(zhuǎn)為Linux的文件 if line[-2:] == 'rn': line = line + 'n' sys.stdout.write(line)
案例四:配合 re 做日志分析:取所有含日期的行
#--樣本文件--:error.logaaa1970-01-01 13:45:30 Error: **** Due to System Disk spacke not enough...bbb1970-01-02 10:20:30 Error: **** Due to System Out of Memory...ccc#---測試腳本---import reimport fileinputimport syspattern = ’d{4}-d{2}-d{2} d{2}:d{2}:d{2}’for line in fileinput.input(’error.log’,backup=’.bak’,inplace=1): if re.search(pattern,line):sys.stdout.write('=> ')sys.stdout.write(line)#---測試結(jié)果---=> 1970-01-01 13:45:30 Error: **** Due to System Disk spacke not enough...=> 1970-01-02 10:20:30 Error: **** Due to System Out of Memory...
案例五:利用fileinput實(shí)現(xiàn)類似于grep的功能
import sysimport reimport fileinputpattern= re.compile(sys.argv[1])for line in fileinput.input(sys.argv[2]): if pattern.match(line):print(fileinput.filename(), fileinput.filelineno(), line)$ ./demo.py import.*re *.py#查找所有py文件中,含import re字樣的addressBook.py 2 import readdressBook1.py 10 import readdressBook2.py 18 import retest.py 238 import re9. 寫在最后
fileinput 是對 open 函數(shù)的再次封裝,在僅需讀取數(shù)據(jù)的場景中, fileinput 顯然比 open 做得更專業(yè)、更人性,當(dāng)然在其他有寫操作的復(fù)雜場景中,fileinput 就無能為力啦,本身從 fileinput 的命名上就知道這個(gè)模塊只專注于輸入(讀)而不是輸出(寫)。
以上就是python 使用fileinput讀取文件的詳細(xì)內(nèi)容,更多關(guān)于python 用fileinput讀取文件的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!
相關(guān)文章:
1. bootstrap select2 動(dòng)態(tài)從后臺(tái)Ajax動(dòng)態(tài)獲取數(shù)據(jù)的代碼2. js select支持手動(dòng)輸入功能實(shí)現(xiàn)代碼3. ASP常用日期格式化函數(shù) FormatDate()4. 網(wǎng)頁中img圖片使用css實(shí)現(xiàn)等比例自動(dòng)縮放不變形(代碼已測試)5. html中的form不提交(排除)某些input 原創(chuàng)6. CSS3中Transition屬性詳解以及示例分享7. vue使用moment如何將時(shí)間戳轉(zhuǎn)為標(biāo)準(zhǔn)日期時(shí)間格式8. python 如何在 Matplotlib 中繪制垂直線9. jsp文件下載功能實(shí)現(xiàn)代碼10. 開發(fā)效率翻倍的Web API使用技巧
