Hive中如何配置與編寫自定義UDF函數

小編給大家分享一下Hive中如何配置與編寫自定義UDF函數，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

環境介紹：CentOS7+hive-1.1.0-cdh6.7.0+IntelliJ IDEA+Maven3.3.9
1、創建工程
   打開IntelliJ IDEA
     File-->New-->Project...-->Maven選擇Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart

2、配置
  2.1、增加內容如下：
   在工程中找到pom.xml文件中hadoop-common 、hive-exec 、hive-jdbc

點擊(此處)折疊或打開

1. <properties>
   

2.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
   

3. 
   

4. 
   

5.     <!-- hadoop、hive版本信息 -->
   

6.     <hadoop.version>2.6.0-cdh6.7.0</hadoop.version>
   

7.     <hive.version>1.1.0-cdh6.7.0</hive.version>
   

8.   </properties>
   

9. 
   

10. 
    

11.     <!-- hadoop依賴 -->
    

12.     <dependency>
    

13.       <groupId>org.apache.hadoop</groupId>
    

14.       <artifactId>hadoop-common</artifactId>
    

15.       <version>${hadoop.version}</version>
    

16.     </dependency>
    

17. 
    

18. 
    

19.     <!-- hive依賴 -->
    

20.     <dependency>
    

21.       <groupId>org.apache.hive</groupId>
    

22.       <artifactId>hive-exec</artifactId>
    

23.       <version>${hive.version}</version>
    

24.     </dependency>
    

25.   </dependencies>
    

26.   
    

27.   <!-- cdn資源倉庫 -->
    

28.   <repositories>
    

29.     <repository>
    

30.       <id>cloudera</id>
    

31.       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    

32.     </repository>
    

33.   </repositories>

  2.2、在<repository></repository>中修改內容如下：

點擊(此處)折疊或打開

1. <dependency>
   

2.       <groupId>junit</groupId>
   

3.       <artifactId>junit</artifactId>
   

4.       <version>4.10</version>
   

5.       <scope>test</scope>
   

6.     </dependency>

3、創建類，并編寫一個UDF HelloUDF.java，代碼如下：

點擊(此處)折疊或打開

1. package org.apache.hadoop.hive.ql.udf;
   

2. 
   

3. 
   

4. import org.apache.hadoop.hive.ql.exec.UDF;
   

5. import org.apache.hadoop.io.Text;
   

6. 
   

7. 
   

8. public class HelloUDF extends UDF {
   

9.     public Text evaluate(Text input) {
   

10.         return new Text("Hello：" + input);
    

11.     }
    

12. 
    

13. 
    

14.     public static void main(String args[]){
    

15.         HelloUDF helloUDF = new HelloUDF();
    

16.         Text rs = helloUDF.evaluate(new Text("zhangsan"));
    

17.         System.out.println(rs.toString());
    

18.     }
    

19. }

4、測試UDF類，在上又鍵選擇Run 'HelloUDF.main()'

5、打包：
   在IDEA菜單中選擇view-->Tool Windows-->Maven Projects，然后在Maven Projects窗口中選擇【工程名】-->Lifecycle-->package，在package中右鍵選擇Run Maven Build開始打包
   執行成功后在日志中找：
     [INFO] Building jar: D:\software\ruozedata_workspace\basic02-hive\target\hive-1.0.jar

以上是“Hive中如何配置與編寫自定義UDF函數”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！