in正常連接linux上的hadoop集群后,如果要運(yùn)行wordcount會(huì)遇到以下問題:
1.在eclipse里在hdfs上創(chuàng)建目錄 和上傳文件都會(huì)報(bào)錯(cuò),無權(quán)限問題。
在安裝hadoop機(jī)器上執(zhí)行命令:
cd /hadoop/hadoop-2.7.7/bin/
hadoop fs -chmod -R 777 /
再上傳文件,刪除文件夾,均正常。
2.新建map-reduce工程
1》將,hadoop源碼包中的 hadoop-2.7.7-src\hadoop-2.7.7-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java 文件復(fù)制到新建的工程中。修改包的路徑跟自己工程的路徑一致。
(hadoop源碼下載地址 http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7-src.tar.gz)
2》點(diǎn)擊右鍵,Run as ->Run Configurations,點(diǎn)擊 Arguments
輸入以下內(nèi)容:
hdfs://192.168.1.104:9000/input hdfs://192.168.1.104:9000/output
然后點(diǎn)擊 RUN,運(yùn)行,會(huì)報(bào)以下錯(cuò)誤 。
解決辦法:
在工程的src目錄下新建文件: log4j.properties
內(nèi)容如下:
log4j.rootLogger=info,appender
log4j.appender.appender=org.apache.log4j.ConsoleAppender
log4j.appender.appender.layout=org.apache.log4j.TTCCLayout
然后重新運(yùn)行Wordcount。
會(huì)有新的錯(cuò)誤:
解決辦法:
1.下載64位的 winutils.exe,放到windows下的hadoop目錄下的bin目錄。
2.下載hadoop.dll,放到 C:\Windows\System32
相關(guān)文件下載地址 點(diǎn)擊下載
3.在WordCount方法的main函數(shù)里添加如下代碼:
System.setProperty("hadoop.home.dir", "D:\java\hadoop-2.7.7");
然后重新運(yùn)行。
至此eclipse的控制臺(tái)再?zèng)]有任何錯(cuò)誤。
刷新hadoop的hdfs目錄,就可以看到有新的文件夾和文件生成。
打開part-t-0000文件,就可以看到正確結(jié)果。
windows下安裝eclipse c/c++
windows 下安裝 eclipse 只需要3步:
安裝java環(huán)境:Java SE Development Kit
安裝編譯環(huán)境:mingw or 其他編譯器
安裝 eclipse
傳送門:linux下安裝eclipse c/c++
安裝jdk
eclipse最初用于java開發(fā),并且采用IBM公司開發(fā)的SWT(一種基于Java的窗口組件),所以eclipse必須依賴JDK或者JRE環(huán)境。
所以你要被迫安裝一個(gè)java虛擬機(jī),即使你不開發(fā)java 。。。
通常我們選擇 Java SE Development Kit 。
下載地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html
安裝mingw
安裝
因?yàn)閑clipse只是一個(gè)框架平臺(tái),本身并不帶有編譯器,需要單獨(dú)安裝。
下載地址
安裝后會(huì)自動(dòng)打開 installation Manager 。
選擇你需要使用到的基礎(chǔ)組件 (通常下面3個(gè)全選):
剩下的看你的開發(fā)環(huán)境需求安裝(這里選擇g++):
配置
安裝完成后,需要手工進(jìn)行 環(huán)境變量 的設(shè)置。
-> 我的電腦右鍵屬性 -> 高級(jí)系統(tǒng)設(shè)置 -> 環(huán)境變量設(shè)置 -> 系統(tǒng)變量框中找到 Path 變量 -> 新建一個(gè)環(huán)境變量 -> 輸入 mingw\bin 的路徑 -> 確認(rèn)
安裝eclipse
安裝
現(xiàn)在我們可以安裝eclipse了。
下載地址:https://www.eclipse.org/downloads/
安裝時(shí)選擇 Eclipse IDE for C/C++ Developers ,其含有 c/c++ 的 Mylyn 插件和 CDT(c/c++ development tool) 插件。
測(cè)試
workspaces路徑
安裝完成后,運(yùn)行eclipse,選擇 workspaces 存放路徑。(按照你自己的需求選擇)
測(cè)試
workspaces路徑
安裝完成后,運(yùn)行eclipse,選擇 workspaces 存放路徑。(按照你自己的需求選擇)
新建工程
new project
select a wizard
c project
編寫測(cè)試代碼
工程下新建 demo.c 文件,編寫 hello world 代碼。
編譯和運(yùn)行
編譯,運(yùn)行,在 console 中看到結(jié)果。
build all
run
恭喜
現(xiàn)在你可以使用eclipse開發(fā)c/c++代碼了!
最后,如果你想學(xué)C/C++可以私信小編“01”獲取素材資料以及開發(fā)工具和聽課權(quán)限哦!