hive udf 등록하는 방법

 

1. 영구적으로 적용하는 방법

• udf jar 파일을 클러스터 서버에 배포한다.

ansible -i hosts all -m copy -a "src=/tmp/sunnyudf.jar dest=/usr/lib/hive/auxlib/"

• hive-site.xml 에 배포한 jar 경로를 설정한다.

<property>
	<name> hive.aux.jars.path </name>
    <value> file:///usr/lib/hive/auxlib/sunnyudf.jar </value>
</property>

• function 등록

vim /etc/hive/conf/.hiverc

++ CREATE TEMPORARY FUNCTION sunnyudf as 'com.test.sunny.SunnyUdf';

• hive 재시작

service hive-server2 restart

 

 

2. 임시로 적용하는 방법

• HDFS에 udf jar 파일 업로드

sudo -uhdfs hadoop fs -copyFromLocal /tmp/sunnyudf.jar /tmp/udf/

• hive 쿼리 수행하기

add jar hdfs:///tmp/udf/sunnyudf.jar;
create temporary function sunny_udf as 'com.test.udf.SunnyUdf';