【環(huán)球網(wǎng)科技綜合報(bào)道】7月7日消息，特斯拉正在其得州超級(jí)工廠進(jìn)行大規(guī)模擴(kuò)建，以容納一個(gè)先進(jìn)的AI超級(jí)計(jì)算機(jī)集群。這一擴(kuò)建工程得到了超微電腦（Supermicro）CEO梁見后的祝賀，他在社交媒體上發(fā)文表示，特斯拉的AI數(shù)據(jù)中心采用了超微電腦的液冷技術(shù)，這將有助于保護(hù)地球的森林資源。
特斯拉的xAI超級(jí)計(jì)算機(jī)工程正在如火如荼地建設(shè)中，預(yù)計(jì)將采用50000個(gè)英偉達(dá)GPU和更多的特斯拉自研AI硬件，用于訓(xùn)練特斯拉的全自動(dòng)駕駛系統(tǒng)。馬斯克估計(jì)，這個(gè)超級(jí)計(jì)算機(jī)集群每年將消耗130兆瓦的電力，并預(yù)計(jì)在18個(gè)月后增長(zhǎng)至500兆瓦以上。
梁見后表示，超微電腦的液冷技術(shù)與風(fēng)冷相比，可以使數(shù)據(jù)中心的散熱基礎(chǔ)設(shè)施電費(fèi)降低89%。他的目標(biāo)是在一年內(nèi)將液冷散熱方案的采用率從不到1%提高到30%以上，并預(yù)計(jì)液冷方案每年可為數(shù)據(jù)中心節(jié)省200億美元的能源成本。
此外，馬斯克還為xAI打造了一個(gè)價(jià)值數(shù)十億美元的超級(jí)計(jì)算機(jī)集群，該集群將采用10萬塊英偉達(dá)H100 GPU來訓(xùn)練其Grok模型。xAI超級(jí)計(jì)算機(jī)集群預(yù)計(jì)將在幾個(gè)月內(nèi)完工，并計(jì)劃在明年夏天升級(jí)為30萬塊英偉達(dá)B200 GPU。
indows server 2025-hyper-v高可用系列之故障轉(zhuǎn)移集群安裝配置。
·集群共享卷的添加：點(diǎn)擊添加角色和功能選項(xiàng)，這里勾選故障轉(zhuǎn)移集群選項(xiàng)點(diǎn)擊下一步，等待故障轉(zhuǎn)移集群功能安裝完成，同樣的步驟在另外一臺(tái)服務(wù)器也進(jìn)行安裝。
·安裝完成后點(diǎn)擊關(guān)閉按鈕，從服務(wù)器管理面板的工具選項(xiàng)下找到故障轉(zhuǎn)移集群選項(xiàng)打開，點(diǎn)擊創(chuàng)建集群選項(xiàng)，點(diǎn)擊瀏覽，輸入域管理員的賬號(hào)密碼，選擇要?jiǎng)?chuàng)建集群的這兩臺(tái)服務(wù)器，對(duì)集群進(jìn)行命名，點(diǎn)擊下一步，等待集群創(chuàng)建完成。
·如果是第一次做集群部署，最好先運(yùn)行一下驗(yàn)證配置，看看是否符合集群創(chuàng)建的基本條件。點(diǎn)擊完成按鈕，這里就可以看到創(chuàng)建的集群了，點(diǎn)擊展開，可以看到兩臺(tái)服務(wù)器的節(jié)點(diǎn)狀態(tài)都是正常的。打開磁盤選項(xiàng)，可以看到仲裁磁盤和數(shù)據(jù)磁盤都正常。
·現(xiàn)在有一個(gè)重要的步驟要操作，就是需要把數(shù)據(jù)磁盤修為集群共享卷，這樣兩臺(tái)電腦就可以同時(shí)訪問這塊磁盤了。步驟很簡(jiǎn)單，選擇集群磁盤2，點(diǎn)擊右側(cè)添加到集群共享卷選項(xiàng)，這里也可以看到磁盤的屬性也發(fā)生了改變，從可用存儲(chǔ)變成了集群共享卷。
·同時(shí)系統(tǒng)會(huì)在C盤根目錄下創(chuàng)建一個(gè)文件夾cluster storage，這里就是存放數(shù)據(jù)的一個(gè)文件夾，里面有volume1，這個(gè)文件夾就是以后存放虛擬機(jī)的文件夾，這里的文件兩臺(tái)服務(wù)器都可以同時(shí)訪問。在這里創(chuàng)建一個(gè)文件夾，另外一臺(tái)服務(wù)器上也可以同時(shí)訪問，這樣就可以實(shí)現(xiàn)數(shù)據(jù)的共用，非常的方便。
·在角色這里點(diǎn)擊右側(cè)窗口里面的虛擬機(jī)選項(xiàng)，創(chuàng)建一臺(tái)虛擬機(jī)，選擇虛擬機(jī)要存放的服務(wù)器節(jié)點(diǎn)，點(diǎn)擊確定。
·接下來的步驟就是常規(guī)的創(chuàng)建虛擬機(jī)的步驟，需要注意的一點(diǎn)是虛擬機(jī)的存放位置一定要選擇在C盤下系統(tǒng)創(chuàng)建的集群共享卷的文件夾。
剩下的操作就是常規(guī)的操作步驟，這里就快進(jìn)跳過了。這一節(jié)的重點(diǎn)就是故障轉(zhuǎn)移集群的創(chuàng)建和集群共享卷的添加，尤其是集群共享卷，這個(gè)是后續(xù)實(shí)現(xiàn)高可用的重要一步。
者 | 慢慢變成大佬
責(zé)編 | Carol
出品 | CSDN云計(jì)算（ID：CSDNcloud）
在文章開始之前，作者想要告訴大家：讀懂本篇文章，能讓小白快速入門，并且能夠搭建完全分布式的集群，以及能對(duì)Hadoop HDFS產(chǎn)生詳細(xì)的認(rèn)知，對(duì)以后的學(xué)習(xí)有很大的幫助。
我們先來了解Hadoop的HDFS基本概念，熟知基本概念，在搭環(huán)境時(shí)能夠能加得心應(yīng)手。
Hadoop基本介紹
1、HDFS的架構(gòu)
這里對(duì)HDFS的組成架構(gòu)做說明：
1）NameNode : 是HDFS的主從架構(gòu)中的Master，負(fù)責(zé)維護(hù)整個(gè)文件系統(tǒng)的目錄樹，管理數(shù)據(jù)塊（Block）的元數(shù)據(jù)信息，處理客戶端的讀寫請(qǐng)求，并且管理Block的副本放置策略。
2）DataNode: 是HDFS的主從架構(gòu)中的Slave，存放在HDFS中的文件都被分成塊來存儲(chǔ)，DataNode負(fù)責(zé)存儲(chǔ)文件的塊，對(duì)于DataNode所在的節(jié)點(diǎn)來說，塊就是一個(gè)普通的文件，可以在DataNode存放塊的目錄下查看，如果不改動(dòng)，默認(rèn)是$(dfs.data.dir)/current），塊的文件名為blk_blkID。DataNode會(huì)通過心跳機(jī)制和NameNode通信。
在集群初始化時(shí)，每個(gè)DataNode啟動(dòng)后都將當(dāng)前存儲(chǔ)的塊的元數(shù)據(jù)信息告訴NameNode，在集群正常工作時(shí)，DataNode會(huì)不斷的向NameNode通信，向它提供自己本地的信息，同時(shí)會(huì)接受來自NameNode的讀寫命令，來操作本地的數(shù)據(jù)塊。
這個(gè)時(shí)候我們會(huì)有疑問，NameNode的元數(shù)據(jù)到底存放在哪里？ 首先不可能是磁盤，因?yàn)槿绻娣旁?磁盤，那么經(jīng)常操作HDFS，效率會(huì)非常低，那么就只能會(huì)存放內(nèi)存里，可是，效率雖然快了，但是如果 內(nèi)存滿了，或者集群停止服務(wù)，那么數(shù)據(jù)的元數(shù)據(jù)就會(huì)丟失，對(duì)于這個(gè)問題，HDFS做了一個(gè)專門用來解決 這個(gè)問題的角色，SecondaryNameNode
3）SecondaryNamenode： 是用于定期合并命名空間鏡像和命名空間鏡像的編輯日志的輔助守護(hù)進(jìn)程，每個(gè)HDFS集群都有一個(gè)SecondaryNameNode，在生產(chǎn)環(huán)境下，一般SecondaryNameNode也會(huì)單獨(dú)運(yùn)行在一臺(tái)服務(wù)器上。
FSImage文件（命名空間鏡像） 可以理解為NameNode當(dāng)時(shí)的內(nèi)存狀態(tài)或者內(nèi)存中元數(shù)據(jù)序列化后形成的文件，所有信息保存做成的鏡像文件，是可以被加載的。也可以理解為是文件系統(tǒng)元數(shù)據(jù)的一個(gè)永久的性檢查點(diǎn)，但并不是每一個(gè)寫操作都會(huì)更新這個(gè)文件，因?yàn)镕SImage肯定是一個(gè)大型的文件，如果頻繁地執(zhí)行對(duì)這個(gè)文件進(jìn)行寫操作，會(huì)使系統(tǒng)運(yùn)行極為緩慢。
解決方案是，NameNode只將改動(dòng)內(nèi)容預(yù)寫日志（WAL），即寫入命名空間鏡像的編輯日志（edit log 記錄客戶端更新元數(shù)據(jù)信息的每一步操作）可通過Edits運(yùn)算出元數(shù)據(jù)。隨著時(shí)間的推移，編輯日志會(huì)變得越來越大，那么如果發(fā)生故障，將會(huì)花費(fèi)非常多的時(shí)間來進(jìn)行回滾操作，所以就像傳統(tǒng)的關(guān)系型數(shù)據(jù)庫一樣，需要定期地合并FSImage和編輯日志。
如果由NameNode來做合并的操作，那么NameNode在為集群提供服務(wù)時(shí)可能無法提供足夠的資源，那么為了徹底解決這一問題，就加入了SecondaryNameNode這個(gè)角色。
工作詳解：
NameNode啟動(dòng)時(shí)，先滾動(dòng)Edits并生成一個(gè)空的edits.inprogress，然后加載Edits和Fsimage到內(nèi)存中，此時(shí)NameNode內(nèi)存就持有最新的元數(shù)據(jù)信息。Client開始對(duì)NameNode發(fā)送元數(shù)據(jù)的增刪改的請(qǐng)求，這些請(qǐng)求的操作首先會(huì)被記錄到edits.inprogress中（查詢?cè)獢?shù)據(jù)的操作不會(huì)被記錄在Edits中，因?yàn)椴樵儾僮鞑粫?huì)更改元數(shù)據(jù)信息），如果此時(shí)NameNode掛掉，重啟后會(huì)從Edits中讀取元數(shù)據(jù)的信息。然后，NameNode會(huì)在內(nèi)存中執(zhí)行元數(shù)據(jù)的增刪改的操作。
由于Edits中記錄的操作會(huì)越來越多，Edits文件會(huì)越來越大，導(dǎo)致NameNode在啟動(dòng)加載Edits時(shí)會(huì)很慢，所以需要對(duì)Edits和Fsimage進(jìn)行合并（所謂合并，就是將Edits和Fsimage加載到內(nèi)存中，照著Edits中的操作一步步執(zhí)行，最終形成新的Fsimage）。SecondaryNameNode的作用就是幫助NameNode進(jìn)行Edits和Fsimage的合并工作。
4）塊： 每個(gè)磁盤都有默認(rèn)的數(shù)據(jù)塊大小，這是磁盤進(jìn)行數(shù)據(jù)讀/寫的最小單位，文件系統(tǒng)也有文件塊的概念，HDFS同樣也有塊（block）的概念，但是HDFS的塊比一般文件系統(tǒng)的塊大得多，默認(rèn)為128MB，并且可以隨著實(shí)際需要而變化，配置項(xiàng)為HDFS-site.xml文件中的dfs.block.size項(xiàng)。
與單一文件系統(tǒng)相似，HDFS上的文件也被劃分為塊大小的多個(gè)分塊，它是HDFS存儲(chǔ)處理的最小單元。HDFS中的塊如此之大的原因是為了最小化尋址開銷。如果塊設(shè)置的足夠大，從磁盤傳輸數(shù)據(jù)的時(shí)間可以明顯大于定位這個(gè)塊開始位置所需的時(shí)間。這樣，傳輸一個(gè)由多個(gè)塊組成的文件的時(shí)間取決于磁盤傳輸?shù)男?。得益于磁盤傳輸速率的提升，塊的大小可以被設(shè)為300 MB甚至更大。
2、HDFS的容錯(cuò)機(jī)制
1）心跳機(jī)制
在NameNode和DataNode之間維持心跳檢測(cè)，當(dāng)由于網(wǎng)絡(luò)故障之類的原因，導(dǎo)致DataNode發(fā)出的心跳包沒有被NameNode正常收到的時(shí)候，NameNode就不會(huì)將任何新的I/O操作派發(fā)給那個(gè)DataNode，該DataNode上的數(shù)據(jù)被認(rèn)為是無效的，因此NameNode會(huì)檢測(cè)是否有文件塊的副本數(shù)目小于設(shè)置值，如果小于就自動(dòng)開始復(fù)制新的副本并分發(fā)到其他DataNode節(jié)點(diǎn)。
2）檢測(cè)文件塊的完整性
HDFS會(huì)記錄每個(gè)新創(chuàng)建文件的所有塊的校驗(yàn)和。當(dāng)以后檢索這些文件時(shí)或者從某個(gè)節(jié)點(diǎn)獲取塊時(shí)，會(huì)首先確認(rèn)校驗(yàn)和是否一致，如果不一致，會(huì)從其他DataNode節(jié)點(diǎn)上獲取該塊的副本。
3）集群的負(fù)載均衡
由于節(jié)點(diǎn)的失效或者增加，可能導(dǎo)致數(shù)據(jù)分布不均勻，當(dāng)某個(gè)DataNode節(jié)點(diǎn)的空閑空間大于一個(gè)臨界值的時(shí)候，HDFS會(huì)自動(dòng)從其他DataNode遷移數(shù)據(jù)過來。
4）NameNode上的FSImage和編輯日志（edits log）
文件NameNode上的FSImage和編輯日志文件是HDFS的核心數(shù)據(jù)結(jié)構(gòu)，如果這些文件損壞了，HDFS將失效。因而，NameNode由Secondary NameNode定期備份FSImage和編輯日志文件，NameNode在Hadoop中確實(shí)存在單點(diǎn)故障的可能，當(dāng)NameNode出現(xiàn)機(jī)器故障，手工干預(yù)是必須的。
5）文件的刪除
刪除操作并不是馬上從NameNode移出命名空間，而是存放在/trash目錄隨時(shí)可恢復(fù)，直到超過設(shè)置時(shí)間才被正式移除。設(shè)置的時(shí)間由hdfs-site.xml文件的配置項(xiàng)fs.trash.interval決定，單位為秒。
6）多副本機(jī)制
HDFS會(huì)將文件切片成塊并存儲(chǔ)至各個(gè)DataNode中，文件數(shù)據(jù)塊在HDFS的布局情況由NameNode和hdfs-site.xml中的配置dfs.replication共同決定。dfs.replication表示該文件在HDFS中的副本數(shù)，默認(rèn)為3，即有兩份冗余。
Hadoop的默認(rèn)布局是在HDFS客戶端節(jié)點(diǎn)上放第一個(gè)副本，但是由于HDFS客戶端有可能運(yùn)行于集群之外，就隨機(jī)選擇一個(gè)節(jié)點(diǎn)，不過Hadoop會(huì)盡量避免選擇那些存儲(chǔ)太滿或者太忙的節(jié)點(diǎn)。
第二個(gè)副本放在與第一個(gè)不同且隨機(jī)另外選擇的機(jī)架中的節(jié)點(diǎn)上。第三個(gè)副本與第二個(gè)副本放在相同的機(jī)架，且隨機(jī)選擇另外一個(gè)節(jié)點(diǎn)。其他副本（如果dfs.replication大于3）放在集群隨機(jī)選擇的節(jié)點(diǎn)上，Hadoop也會(huì)盡量避免在相同的機(jī)架上放太多副本。
4、HDFS寫文件流程
1）客戶端通過Distributed FileSystem模塊向NameNode請(qǐng)求上傳文件，NameNode檢查目標(biāo)文件是否已存在，父目錄是否存在。
2）NameNode返回是否可以上傳。
3）客戶端請(qǐng)求第一個(gè) Block上傳到哪幾個(gè)DataNode服務(wù)器上。
4）NameNode返回3個(gè)DataNode節(jié)點(diǎn)，分別為dn1、dn2、dn3。
如果有多個(gè)節(jié)點(diǎn)，返回實(shí)際的副本數(shù)量，并根據(jù)距離及負(fù)載情況計(jì)算
5）客戶端通過FSDataOutputStream模塊請(qǐng)求dn1上傳數(shù)據(jù)，dn1收到請(qǐng)求會(huì)繼續(xù)調(diào)用dn2，然后dn2調(diào)用dn3，將這個(gè)通信管道建立完成。
6）dn1、dn2、dn3逐級(jí)應(yīng)答客戶端。
7）客戶端開始往dn1上傳第一個(gè)Block（先從磁盤讀取數(shù)據(jù)放到一個(gè)本地內(nèi)存緩存），以Packet為單位，dn1收到一個(gè)Packet就會(huì)傳給dn2，dn2傳給dn3；dn1每傳一個(gè)packet會(huì)放入一個(gè)應(yīng)答隊(duì)列等待應(yīng)答。
8）當(dāng)一個(gè)Block傳輸完成之后，客戶端再次請(qǐng)求NameNode上傳第二個(gè)Block的服務(wù)器。（重復(fù)執(zhí)行3-7步）。
注意： 如果寫入的時(shí)候，復(fù)制管道中的某一個(gè)DataNode無法將數(shù)據(jù)寫入磁盤（如DataNode死機(jī)）。發(fā)生這種錯(cuò)誤時(shí)，管道會(huì)立即關(guān)閉，已發(fā)送的但尚未收到確認(rèn)的數(shù)據(jù)包會(huì)被退回到隊(duì)列中，以確保管道中錯(cuò)誤節(jié)點(diǎn)的下游節(jié)點(diǎn)可以得到數(shù)據(jù)包。而在剩下的健康的DataNode中，正在寫入的數(shù)據(jù)塊會(huì)被分配新的blk_id。
這樣，當(dāng)發(fā)生故障的數(shù)據(jù)節(jié)點(diǎn)恢復(fù)后，冗余的數(shù)據(jù)塊就會(huì)因?yàn)椴粚儆谌魏挝募蛔詣?dòng)丟棄，由剩余DataNode節(jié)點(diǎn)組成的新復(fù)制管道會(huì)重新開放，寫入操作得以繼續(xù)，寫操作將繼續(xù)直至文件關(guān)閉。
NameNode如果發(fā)現(xiàn)文件的某個(gè)數(shù)據(jù)塊正在通過復(fù)制管道進(jìn)行復(fù)制，就會(huì)異步地創(chuàng)建一個(gè)新的復(fù)制塊，這樣，即便HDFS的多個(gè)DataNode發(fā)生錯(cuò)誤，HDFS客戶端仍然可以從數(shù)據(jù)塊的副本中恢復(fù)數(shù)據(jù)，前提是滿足最少數(shù)目要求的數(shù)據(jù)副本（dfs.replication.min）已經(jīng)被正確寫入（dfs.replication.min配置默認(rèn)為1）。
5、HDFS讀文件流程
1）客戶端通過Distributed FileSystem向NameNode請(qǐng)求下載文件，NameNode通過查詢?cè)獢?shù)據(jù)，找到文件塊所在的DataNode地址。
2）挑選一臺(tái)DataNode（就近原則，然后隨機(jī)）服務(wù)器，請(qǐng)求讀取數(shù)據(jù)。
3）DataNode開始傳輸數(shù)據(jù)給客戶端（從磁盤里面讀取數(shù)據(jù)輸入流，以Packet為單位來做校驗(yàn)）。
4）客戶端以Packet為單位接收，先在本地緩存，然后寫入目標(biāo)文件。
到這里，我們對(duì)HDFS的大部分概念已經(jīng)了解了，下面則來進(jìn)行完全分布式的環(huán)境搭建。
環(huán)境搭建
1. 首先準(zhǔn)備3臺(tái)虛擬機(jī)，并且要保證虛擬機(jī)的時(shí)間同步和hosts，ip都配置好，集群能互相通信。
這里可以看到，我的三臺(tái)都配好了ip，而且hosts也都寫了，并且集群時(shí)間同步也都已經(jīng)做了。
2. 解壓安裝JDK,并且在/etc/profile 里面配置環(huán)境變量
通過xftp把文件傳到linux本地里面 ，自己新建文件夾，放到里面 ，然后解壓到自己的文件夾內(nèi)。
通過tar命令進(jìn)行解壓并進(jìn)行環(huán)境變量的配置，最后記得source配置文件。
然后我們進(jìn)入Hadoop的目錄看一看：
（1）bin目錄：存放對(duì)Hadoop相關(guān)服務(wù)（HDFS,YARN）進(jìn)行操作的腳本
（2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件
（3）lib目錄：存放Hadoop的本地庫（對(duì)數(shù)據(jù)進(jìn)行壓縮解壓縮功能）
（4）sbin目錄：存放啟動(dòng)或停止Hadoop相關(guān)服務(wù)的腳本
（5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例
3. 接下來，我們進(jìn)入etc目錄，并且對(duì)Hadoop的配置進(jìn)行修改。
我們總共要修改 core-site.xml . hadoop-env.sh . hdfs-site.xml ,mapred-env.sh, mapred-site.xml , slaves, yarn-env.sh, yarn-site.xml
首先，在上面這些配置文件后綴都是sh的，比如hadoop-env.sh，我們就只需要把JavaHome配置一下。
其他的-env.sh的也是這樣，只需要配置JDK即可,這里就不多闡述 。
接下來，我們vim core-site，并配置這些東西
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
這個(gè)就配置完成，接著，我們就配置hdfs-site.xml
<!-- 配置塊的副本數(shù) -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop輔助名稱節(jié)點(diǎn)主機(jī)配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>然后配置yarn-site.xml
<!-- 配置塊的副本數(shù) -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop輔助名稱節(jié)點(diǎn)主機(jī)配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>接著配置mapred-site.xml
<!-- 指定MR運(yùn)行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>到這里，我們Hadoop的配置就已經(jīng)完成，因?yàn)槭欠植际?，所以我們就通過scp -r 的命令把jdk，和Hadoop都拷貝過去，并且各自配置一下環(huán)境變量，并source，到這里我們完全分布式就配置完成。
然后我們可以單點(diǎn)啟動(dòng)，也可以群起，不過群起需要配置免密，免密配置很簡(jiǎn)單，就不再多說，接下來我們直接通過start-all.sh啟動(dòng)集群，可以通過jps查看一下。
進(jìn)程全部起來了，接下來我們?nèi)ebUI可以查看HDFS，端口是50070,yarn是8088
至此，我們的完全分布式搭建成功，相信大家也對(duì)搭建的過程很了解了，對(duì)Hadoop HDFS也都算是非常詳細(xì)的介紹了，希望大家看完都能自己搭建一個(gè)集群，對(duì)以后的大數(shù)據(jù)學(xué)習(xí)打下基礎(chǔ)，至于shell操作HDFS，或者JavaAPI操作，都是非常簡(jiǎn)單的，在這里簡(jiǎn)單說一下， shell操作Hadoop十分簡(jiǎn)單，部分命令和linux很像。
```powershell
-mkdir 在HDFS上創(chuàng)建目錄
-moveFromLocal：從本地剪切粘貼到HDFS
-appendToFile：追加一個(gè)文件到已經(jīng)存在的文件末尾
-cat：顯示文件內(nèi)容
-chgrp 、-chmod、-chown：Linux文件系統(tǒng)中的用法一樣，修改文件所屬權(quán)限
-copyFromLocal：從本地文件系統(tǒng)中拷貝文件到HDFS路徑去
-copyToLocal：從HDFS拷貝到本地
-cp ：從HDFS的一個(gè)路徑拷貝到HDFS的另一個(gè)路徑
-mv：在HDFS目錄中移動(dòng)文件
-get：等同于copyToLocal，就是從HDFS下載文件到本地
-getmerge：合并下載多個(gè)文件，比如HDFS的目錄 /user/lmr/test下有多個(gè)文件:log.1, log.2,log.3,...
-put：等同于copyFromLocal
-tail：顯示一個(gè)文件的末尾
-rm：刪除文件或文件夾
-rmdir：刪除空目錄
-du統(tǒng)計(jì)文件夾的大小信息至于Java的API相關(guān)操作，也是很簡(jiǎn)單的，這里就不多說。
如果你有任何意見或想法，歡迎在評(píng)論區(qū)和我們討論！