.說(shuō)明
如何在Windows環(huán)境下使用Linux命令，
這是一個(gè)屢見(jiàn)不鮮的問(wèn)題，
而且已經(jīng)有很多解決方法，
下面僅推薦幾個(gè)我覺(jué)得好用的工具，
這些工具可能就是我們常用的軟件，
而且已經(jīng)在Windows環(huán)境下安裝好了，
只是沒(méi)有發(fā)現(xiàn)居然能夠這樣使用。
2.Git Bash命令行
Git Bash是Git For Windows工具集提供的，
在Windows下的使用Linux命令行的工具，
主要是用來(lái)執(zhí)行Git命令，管理Git工程項(xiàng)目，
這是我們安裝這個(gè)工具的主要目的，
由于是基于msys GNU環(huán)境的，
它在Windows下提供了完善的Linux命令。
3.Cygwin
Cygwin是一個(gè)在Windows平臺(tái)上運(yùn)行的類Unix模擬環(huán)境。
它對(duì)于學(xué)習(xí)Linux/Unix操作環(huán)境，
或者從Unix到Windows的應(yīng)用程序移植，
或者進(jìn)行某些特殊的開發(fā)工作，
尤其是使用GNU工具集在Windows上進(jìn)行嵌入式系統(tǒng)開發(fā)，非常有用。
4.MobaXterm
MobaXterm是一款增強(qiáng)型終端、X服務(wù)器和Unix命令集(GNU/Cygwin)工具箱。
通常我們使用MobaXterm登陸Linux遠(yuǎn)程服務(wù)器。
通過(guò)Start local termianl，
我們還可以在本機(jī)使用Linux命令行。
5.總結(jié)
通過(guò)使用上面這些工具，
可以在Windows環(huán)境下使用Linux命令，
不僅有tar，grep，awk等，
而且有安裝編譯環(huán)境gcc，make等。
你甚至可以把Windows當(dāng)成一個(gè)(偽)Linux服務(wù)器，
不僅可以對(duì)Windows下的文件進(jìn)行各種操作(tar，grep等)，
還可以和遠(yuǎn)程的Linux服務(wù)器交互（ssh,scp等），
更可以在上面安裝運(yùn)行hadoop，zookeeper之類的服務(wù)。
最后，小編給大家準(zhǔn)備了Linux300多G的自學(xué)資料和視頻教程，還是那句話，無(wú)論這篇文章，對(duì)大家有幫助與否，請(qǐng)大家在評(píng)論區(qū)指出，小編也會(huì)盡力完善，感謝大家
上述教程為L(zhǎng)inux從基礎(chǔ)--進(jìn)階---實(shí)戰(zhàn)的視頻教程，如果大家有需要，請(qǐng)私信小編“資料”即可領(lǐng)取！
知名調(diào)研機(jī)構(gòu)弗雷斯特研究公司發(fā)現(xiàn)，Hadoop在過(guò)去三年的采用勢(shì)頭可謂空前高漲。2017年，公司企業(yè)在Hadoop軟件和相關(guān)服務(wù)方面的開支將達(dá)到8億美元。
但是與任何好運(yùn)一樣，時(shí)代在變。而給Hadoop施加壓力的一大力量就是云計(jì)算。弗雷斯特研究公司最近分析了云計(jì)算給Hadoop帶來(lái)的影響，結(jié)果發(fā)現(xiàn)：
許多公司想要使用更多的公共云來(lái)處理大數(shù)據(jù)。Hadoop不是為云設(shè)計(jì)，所以廠商在紛紛讓Hadoop具有重要地位。與此同時(shí)，復(fù)雜性也提高了。
云廠商在隱藏或者干脆完全更換Hadoop。AWS Athena讓你可以針對(duì)大數(shù)據(jù)執(zhí)行SQL查詢，不必為服務(wù)器實(shí)例而操心。DataBricks直接針對(duì)S3來(lái)使用Spark。IBM的平臺(tái)針對(duì)CloverSafe來(lái)使用Spark。
由于更多的公司厭煩Hadoop的本地復(fù)雜性，轉(zhuǎn)而使用公共云，它們會(huì)期望改變?cè)贫说腍adoop架構(gòu)。這意味著，Hadoop廠商將開始看到其收入由本地轉(zhuǎn)向云端。
討論問(wèn)題：
1.什么是Hadoop？
2.為什么組織從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)工具轉(zhuǎn)移到基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心？
3.更智能&更大的數(shù)據(jù)中心架構(gòu)與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有何不同？
4.相較Spark等5種大數(shù)據(jù)框架，基于Hadoop的數(shù)據(jù)中心的好處是什么？
精彩回答：
Fantigcy：
1.什么是Hadoop？
Hadoop是一個(gè)生態(tài)系統(tǒng)，Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。
2.為什么組織從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)工具轉(zhuǎn)移到基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心？
顧名思義，這樣會(huì)更加智能，hadoop的框架設(shè)計(jì)比傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)工具要復(fù)雜，相對(duì)來(lái)說(shuō)分析處理數(shù)據(jù)的過(guò)程速度更快更好，成本來(lái)說(shuō)也要低。
3.更智能&更大的數(shù)據(jù)中心架構(gòu)與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有何不同？
Hadoop是一個(gè)生態(tài)系統(tǒng)，擁有15多種框架和工具，如Sqoop，F(xiàn)lume，Kafka，Pig，Hive，Spark，Impala等，以便將數(shù)據(jù)攝入HDFS，在HDFS中轉(zhuǎn)移數(shù)據(jù)（即變換，豐富，聚合等），并查詢來(lái)自HDFS的數(shù)據(jù)用于商業(yè)智能和分析。某些工具（如Pig和Hive）是MapReduce上的抽象層，而Spark和Impala等其他工具則是來(lái)自MapReduce的改進(jìn)架構(gòu)/設(shè)計(jì)，用于顯著提高的延遲以支持近實(shí)時(shí)（即NRT）和實(shí)時(shí)處理。比起傳統(tǒng)ETL批處理更智能分析。
4.相較Spark等5種大數(shù)據(jù)框架，基于Hadoop的數(shù)據(jù)中心的好處是什么？
隨著數(shù)據(jù)量和復(fù)雜性的增加，并行處理，內(nèi)存密集型處理框架。基于Hadoop的解決方案不僅在商品硬件節(jié)點(diǎn)和開源工具方面更便宜，而且還可以通過(guò)將數(shù)據(jù)轉(zhuǎn)換卸載到Hadoop工具（如Spark和Impala）來(lái)補(bǔ)足數(shù)據(jù)倉(cāng)庫(kù)解決方案，從而更高效地并行處理大數(shù)據(jù)。這也將釋放數(shù)據(jù)倉(cāng)庫(kù)資源。更好的靈活性。通常業(yè)務(wù)需求的改變，也需要對(duì)架構(gòu)和報(bào)告進(jìn)行更改。基于Hadoop的解決方案不僅可以靈活地處理不斷發(fā)展的模式，還可以處理來(lái)自不同來(lái)源，如社交媒體，應(yīng)用程序日志文件，image，PDF和文檔文件的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。甚者這里面有些數(shù)據(jù)通常在數(shù)據(jù)倉(cāng)庫(kù)中不可得。
東風(fēng)玖哥：
1.什么是Hadoop？
Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。實(shí)現(xiàn)了HDFS，容錯(cuò)性非常高，并且能在廉價(jià)硬件上部署，極適合超大數(shù)據(jù)集的項(xiàng)目。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。
2.為什么組織從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)工具轉(zhuǎn)移到基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心？
（1）高可靠性：Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。
（2）高擴(kuò)展性：Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
（3）高效性：Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快。
（4）高容錯(cuò)性：Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。
（5）低成本：與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低。
3.更智能&更大的數(shù)據(jù)中心架構(gòu)與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有何不同？
（1）面向大數(shù)據(jù)：數(shù)據(jù)中心架構(gòu)的設(shè)計(jì)概念不同于傳統(tǒng)數(shù)據(jù)中心的集散控制系統(tǒng)。數(shù)據(jù)中心架構(gòu)會(huì)提供優(yōu)化快速的傳輸機(jī)制，海量數(shù)據(jù)的高度并行處理，讓大數(shù)據(jù)分析應(yīng)用具備不同的特點(diǎn)。
（2）對(duì)任務(wù)的變化和適應(yīng)：應(yīng)用程序的資源使用的優(yōu)先級(jí)
（3）智能管理：數(shù)據(jù)中心架構(gòu)涉及到大量的硬件資源和高密度計(jì)算，需要更高的智能化管理
（4）高擴(kuò)展性：大數(shù)據(jù)的應(yīng)用程序需要在DCS系統(tǒng)中以高吞吐量低延遲的環(huán)境下訪問(wèn)
（5）開放的、基于標(biāo)準(zhǔn)和靈活的服務(wù)層：傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的存儲(chǔ)UI存在于不用的協(xié)議層上，會(huì)導(dǎo)致無(wú)法動(dòng)態(tài)的分配資源
4.相較Spark等5種大數(shù)據(jù)框架，基于Hadoop的數(shù)據(jù)中心的好處是什么？
（1）Spark沒(méi)有文件管理功能，因而必須依賴Hadoop分布式文件系統(tǒng)(HDFS)或另外某種解決方案。
（2）Hadoop占用內(nèi)存比Spark更小
（3）Spark無(wú)法進(jìn)行分布式數(shù)據(jù)的存儲(chǔ)
Jieforest：
1.什么是Hadoop？
Hadoop起源于Google。Google公司于2003年和2004年發(fā)表了兩篇描述Google技術(shù)的學(xué)術(shù)論文：谷歌文件系統(tǒng)（GFS）和MapReduce 。它們提供了一個(gè)高效處理極大規(guī)模數(shù)據(jù)的平臺(tái)。與此同時(shí)，Doug Cutting正在研究開源的網(wǎng)頁(yè)搜索引擎Nutch。他一直致力于系統(tǒng)原理的工作，當(dāng)Google的GFS和MapReduce論文發(fā)表后，引起了他的強(qiáng)烈共鳴。Doug開始著手實(shí)現(xiàn)這些Google系統(tǒng)，不久之后，Hadoop誕生了。Hadoop早期以Lucene子項(xiàng)目的形式出現(xiàn)，不久之后成了Apache開源基金會(huì)的頂級(jí)項(xiàng)目。因此，從本質(zhì)上來(lái)講，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce和GFS技術(shù)的開源平臺(tái)，它可以在由低成本硬件組成的集群上處理極大規(guī)模的數(shù)據(jù)集。作為一個(gè)頂級(jí)項(xiàng)目，Hadoop項(xiàng)目包含許多組件子項(xiàng)目。
2.為什么組織從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)工具轉(zhuǎn)移到基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心？
主要因素還是在于企業(yè)組織在生產(chǎn)運(yùn)營(yíng)中產(chǎn)生的數(shù)據(jù)越來(lái)越大，使用傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)工具顯得越來(lái)越力不從心。企業(yè)組織經(jīng)過(guò)多方面了解、評(píng)估之后，開始考慮建立基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心。
3.更智能&更大的數(shù)據(jù)中心架構(gòu)與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有何不同？
傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)主要包含數(shù)據(jù)流入流出的過(guò)程，通常分為三層：源數(shù)據(jù)層、數(shù)據(jù)倉(cāng)庫(kù)層、數(shù)據(jù)應(yīng)用層。
源數(shù)據(jù)層：日志、數(shù)據(jù)庫(kù)、文件系統(tǒng)、媒體文件
數(shù)據(jù)倉(cāng)庫(kù)層：聚合數(shù)據(jù)、多維數(shù)據(jù)、業(yè)務(wù)模型、關(guān)系型數(shù)據(jù)
數(shù)據(jù)應(yīng)用層：報(bào)表展示、實(shí)時(shí)查詢、數(shù)據(jù)分析、數(shù)據(jù)挖掘
而智能化的數(shù)據(jù)中心架構(gòu)大致分四層：數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)&分析層、數(shù)據(jù)共享層、數(shù)據(jù)應(yīng)用層。數(shù)據(jù)采集層的任務(wù)就是把數(shù)據(jù)從各種數(shù)據(jù)源中采集和存儲(chǔ)到數(shù)據(jù)存儲(chǔ)上，期間有可能會(huì)做一些簡(jiǎn)單的清洗。數(shù)據(jù)共享層指的是前面數(shù)據(jù)分析與計(jì)算后的結(jié)果存放的地方。
4.相較Spark等5種大數(shù)據(jù)框架，基于Hadoop的數(shù)據(jù)中心的好處是什么？
好處有：1）基于Hadoop的數(shù)據(jù)中心在技術(shù)方面顯得更成熟、穩(wěn)定；
2）相關(guān)的IT從業(yè)人員也更多，更易于招聘；
3）基于Hadoop的商業(yè)解決方案也更多，哪怕是不懂這些的公司也更易于實(shí)施。
sjf0115：
（１）什么是Hadoop？
Hadoop由 Apache Software Foundation 公司于 2005 年秋天作為L(zhǎng)ucene的子項(xiàng)目Nutch的一部分正式引入。它受到最先由 Google Lab 開發(fā)的 Map/Reduce 和 Google File System(GFS) 的啟發(fā)。是由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上來(lái)提供高吞吐量訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。
（２）為什么組織從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)工具轉(zhuǎn)移到基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心？
對(duì)于傳統(tǒng)手段實(shí)現(xiàn)的數(shù)據(jù)倉(cāng)庫(kù)工具，利用的主要是結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。這部分功能在大數(shù)據(jù)平臺(tái)上完全可以實(shí)現(xiàn)，而且大數(shù)據(jù)平臺(tái)采用的分布式架構(gòu)設(shè)計(jì)，利用分布式計(jì)算完成相同的工作內(nèi)容所需時(shí)間更短。說(shuō)一下基于Hadoop生態(tài)系統(tǒng)的智能數(shù)據(jù)中心的優(yōu)點(diǎn)：
結(jié)構(gòu)化（例如RDBMS），非結(jié)構(gòu)化（例如images，PDF，docs ）和半結(jié)構(gòu)化（例如logs，XMLs）的數(shù)據(jù)可以以可擴(kuò)展和容錯(cuò)的方式存儲(chǔ)在較便宜的商品機(jī)器中
可以通過(guò)批處理作業(yè)和近實(shí)時(shí)（即，NRT，200毫秒至2秒）流（例如Flume和Kafka）來(lái)攝取數(shù)據(jù)。
數(shù)據(jù)可以使用諸如Spark和Impala之類的工具以低延遲（即低于100毫秒）的能力查詢。
Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。
（3）更智能&更大的數(shù)據(jù)中心架構(gòu)與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有何不同？
傳統(tǒng)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)：
（４）相較Spark等5種大數(shù)據(jù)框架，基于Hadoop的數(shù)據(jù)中心的好處是什么？
Hadoop社區(qū)活躍，對(duì)開發(fā)人員的能力要求相對(duì)不高，工程師的學(xué)習(xí)成本也并不高，Hadoop社區(qū)活躍，軟件進(jìn)化較快，從業(yè)人員供應(yīng)相對(duì)較多，且有相對(duì)較多的真實(shí)應(yīng)用案例，這使得應(yīng)用風(fēng)險(xiǎn)相對(duì)較低；成熟的生態(tài)圈代表的未來(lái)的發(fā)展方向，代表著美好的市場(chǎng)前景；
應(yīng)用環(huán)境搭建維護(hù)的成本方面，其對(duì)硬件要求較低，不需要為其配置傳統(tǒng)高端計(jì)算、存儲(chǔ)，且因?yàn)榭伤綌U(kuò)展的原因，規(guī)模成本可隨著需求逐步增加，避免一次性投資風(fēng)險(xiǎn)；