一:通過生成器linux 文件分割 按行,每次讀取固定的行
def read_file(path):
with open(path,'rb') as f:
while True:
content = f.readlines(10)
if content:
yield content
else:
break
if __name__ == '__main__':
con = read_file()
with open(new_path,"wb") as f:
for i in con:
f.write(*i)
二:通過Linux的split
將一個大文件分成若干個小文件方法
例如將一個BLM.txt文件分成前綴為 BLM_ 的1000個小文件,后綴為系數形式,且后綴為4位數字形式
先利用
wc -l BLM.txt 讀出 BLM.txt 文件一共有多少行
再利用 split 命令
split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_
將 文件 BLM.txt 分成若干個小文件,每個文件2482行(-l 2482),文件前綴為BLM_ ,系數不是字母而是數字(-d),后綴系數為四位數(-a 4)
linux下文件分割可以通過split命令來實現linux 文件分割 按行,可以指定按行數分割和安大小分割兩種模式。Linux下文件合并可以通過cat命令來實現,非常簡單。
在Linux下用split進行文件分割:
模式一:指定分割后文件行數
對與txt文本文件,可以通過指定分割后文件的行數來進行文件分割。
命令:split-.
模式二:指定分割后文件大小
split-.
對二進制文件我們同樣也可以按文件大小來分隔。
在Linux下用cat進行文件合并:
命令:*>
將a.txt的內容輸入到b.txt的末尾
cat a.txt >> b.txt