hadoop如何實現統計輸入行數的MAP

這篇文章給大家分享的是有關hadoop如何實現統計輸入行數的MAP的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

import java.io.IOException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class FilterCidMap2 extends Mapper<LongWritable, Text, Text, LongWritable> {
	private long count=0;
	@Override
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {

		try {
		           //取得讀取的行數
		         count=key.get();
			
		         //正常邏輯
				context.write(new Text(), new LongWritable(1));

		} catch (Exception e) {

			e.printStackTrace();
		}

	}
	
	//map 方法調用完后才調用的
	@Override
	protected void cleanup(Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {
		//map清理資源的操作
		//在reduce中把linescount取出來就行了
		context.write(new Text("linesCount"), new LongWritable(count));
	}

}

感謝各位的閱讀！關于“hadoop如何實現統計輸入行數的MAP”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！