Mdrill測試數據寫入程序的示例分析

Mdrill測試數據寫入程序的示例分析，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

需要寫入數據的表的sql：

CREATE TABLE tv (

thedate string,

tv string

)

寫入的java代碼：

import java.io.BufferedWriter;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.text.SimpleDateFormat;

import java.util.Calendar;

import java.util.Date;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class ImportData {

 static Configuration conf = null;

 static FileSystem fs = null;

 public static void main(String[] args) throws IOException {

  conf = ConfigurationUtil.getConf();

  fs = FileSystem.get(conf);

  // TODO Auto-generated method stub

  String pathStirng = "/group/tbdp-etao-adhoc/p4padhoc/tablelist/tv";

  // 生成一年的文件夾(365個)，并將數據寫入到文件夾中 文件夾名稱：dt=20140201

  Calendar calendar = Calendar.getInstance(); // 創建一個日歷對象

  calendar.setTime(new Date());

  calendar.set(2013, 1, 1);

  SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");

  while (calendar.get(Calendar.YEAR) < 2014) {

   System.out.println(sf.format(calendar.getTime()));

   String dateStr = sf.format(calendar.getTime());

   String path = pathStirng + "/dt=" + dateStr;

   mkdir(path);

   writeTVData(path, dateStr);

   calendar.add(Calendar.DAY_OF_YEAR, 1);

  }

  fs.close();

 }

 /**

  * 寫入100000條數字

  * @param dir

  * @throws  IOException

  */

 public static void writeTVData(String dir, String dateStr)

   throws IOException {

  FSDataOutputStream fos = null;

  OutputStreamWriter osw = null;

  BufferedWriter bw;

  fos = fs.create(new Path(dir + "/data.txt"), false);

  osw = new OutputStreamWriter(fos);

  bw = new BufferedWriter(osw);

  //給data.txt 一行行追加數據

  for (int i = 0; i < 100000; i++) {

   StringBuffer strBuffer = new StringBuffer();

   strBuffer.append(dateStr);

   strBuffer.append((char) 1);

   strBuffer.append(i);

   strBuffer.append(System.lineSeparator());

   bw.write(strBuffer.toString());

  }

  bw.close();

  osw.close();

  fos.close();

 }

 public static void mkdir(String dir) throws IOException {

  Path p = new Path(dir);

  if (!fs.exists(p)) {

   fs.mkdirs(p);

  }

 }

}

關于Mdrill測試數據寫入程序的示例分析問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。