初識MapReduce的應(yīng)用場景(附JAVA和Python代碼)
Java版本代碼
先是準(zhǔn)備一個(gè)數(shù)據(jù)集,包含著已經(jīng)切割好的詞匯,這里我們設(shè)置文件的格式是txt格式的。文件名是WordMRDemo.txt,內(nèi)容是下面簡短的一句話,以空格分割開:
hello my name is spacedong welcome to the spacedong thank you
引入Hadoop的依賴包
//這里使用的是2.6.5的依賴包,你可以使用其他版本的
<dependency>
<groupId>org.a(chǎn)pache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.a(chǎn)pache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.5</version>
</dependency>
(溫馨提示:代碼部分可左右滑動(dòng))
新建WordMapper.java文件,代碼的作用是進(jìn)行以空格的形式進(jìn)行分詞。
public class WordMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
@Override
protected void map(LongWritable key, Text value, Mapper.Context context)
throws java.io.IOException, InterruptedException {
String line = value.toString();
//StringTokenizer默認(rèn)按照空格來切
StringTokenizer st = new StringTokenizer(line);
while (st.hasMoreTokens()) {
String world = st.nextToken();
//map輸出
context.write(new Text(world), new IntWritable(1));
}
}
}
新建WordReduce.java文件,作用是進(jìn)行詞匯的統(tǒng)計(jì)。
public class WordReduce extends Reducer<Text, IntWritable, Text, IntWritable> {
@Override
protected void reduce(Text key, Iterable<IntWritable> iterator, Context context)
throws java.io.IOException ,InterruptedException {
int sum = 0 ;
for(IntWritable i:iterator){
sum+=i.get();
}
context.write(key, new IntWritable(sum));
}
}
新建WordMRDemo.java文件,作用是運(yùn)行Job,開始分析句子。
public class WordMRDemo {
public static void main(String[] args) {
Configuration conf = new Configuration();
//設(shè)置mapper的配置,既就是hadoop/conf/mapred-site.xml的配置信息
conf.set("mapred.job.tracker", "hadoop:9000");
try {
//新建一個(gè)Job工作
Job job = new Job(conf);
//設(shè)置運(yùn)行類
job.setJarByClass(WordMRDemo.class);
//設(shè)置要執(zhí)行的mapper類
job.setMapperClass(WordMapper.class);
//設(shè)置要執(zhí)行的reduce類
job.setReducerClass(WordReduce.class);
//設(shè)置輸出key的類型
job.setMapOutputKeyClass(Text.class);
//設(shè)置輸出value的類型
job.setMapOutputValueClass(IntWritable.class);
//設(shè)置ruduce任務(wù)的個(gè)數(shù),默認(rèn)個(gè)數(shù)為一個(gè)(一般reduce的個(gè)數(shù)越多效率越高)
//job.setNumReduceTasks(2);
//mapreduce 輸入數(shù)據(jù)的文件/目錄,注意,這里可以輸入的是目錄。
FileInputFormat.a(chǎn)ddInputPath(job, new Path("F:BigDataWorkPlacedatainput"));
//mapreduce 執(zhí)行后輸出的數(shù)據(jù)目錄,不能預(yù)先存在,否則會(huì)報(bào)錯(cuò)。
FileOutputFormat.setOutputPath(job, new Path("F:BigDataWorkPlacedataout"));
//執(zhí)行完畢退出
System.exit(job.waitForCompletion(true) ? 0 : 1);
} catch (Exception e) {
e.printStackTrace();
}
}
}
最后執(zhí)行WordMRDemo.java文件,然后得到的結(jié)果是out文件夾內(nèi)的內(nèi)容,它長這個(gè)樣子:
out的文件目錄
打開part-r-00000文件的內(nèi)容如下
具體的文件內(nèi)容Python代碼版本
新建map.py文件,進(jìn)行詞匯的切割。
for line in sys.stdin:
time.sleep(1000)
ss = line.strip().split(' ')
for word in ss:
print ' '.join([word.strip(), '1'])
新建red.py文件,進(jìn)行詞匯的統(tǒng)計(jì)。
cur_word = None
sum = 0
for line in sys.stdin:
ss = line.strip().split(' ')
if len(ss) != 2:
continue
word, cnt = ss
if cur_word == None:
cur_word = word
if cur_word 。 word:
print ' '.join([cur_word, str(sum)])
cur_word = word
sum = 0
sum += int(cnt)
print ' '.join([cur_word, str(sum)])
新建run.sh文件,直接運(yùn)行即可。
HADOOP_CMD="/usr/local/src/hadoop-2.6.5/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-2.6.5/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar"
INPUT_FILE_PATH_1="/test.txt"
OUTPUT_PATH="/output"
$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH
# Step 1.
$HADOOP_CMD jar $STREAM_JAR_PATH
-input $INPUT_FILE_PATH_1
-output $OUTPUT_PATH
-mapper "python map.py"
-reducer "python red.py"
-file ./map.py
-file ./red.py
以上的是演示demo的核心代碼,完整的代碼可以上github的代碼倉庫上獲取。
GitHub地址為:http://github.com/cassieeric/bigDaaNotes
以上的文章是MapReduce系列的第一篇,下篇預(yù)告是MapReduce的編程模型,敬請期待!
福利
看完后,是否對 MapReduce 有了初步的了解呢?最后送一本電子書給大家《Hadoop的技術(shù)內(nèi)幕:深入解析MapReduce架構(gòu)設(shè)計(jì)及實(shí)現(xiàn)原理》,在公眾號后臺回復(fù) MapReduce 關(guān)鍵字即可獲取。
參考資料:
Hadoop的技術(shù)內(nèi)幕:深入解析MapReduce架構(gòu)設(shè)計(jì)及實(shí)現(xiàn)原理
題圖:cosmin Paduraru
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 8 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 10 Open AI融資后成萬億獨(dú)角獸,AI人才之爭開啟
- 高級軟件工程師 廣東省/深圳市
- 自動(dòng)化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市