Oozie sharelib 사용 방법

액션 디펜던시 - sharelib

일반적으로 우지 액션은 자바 어플리케이션 입니다. 그러면 액션을 실행할 때 액션에서 의존성이 있는 클래스를 classpath에 설정해야 합니다.
우지에서는 sharelib이라는 액션들이 사용하는 라이브러리의 공유 위치를 정의할 수 있습니다.

 

sharelib directory 정의

oozie-site.xml
    <name>oozie.use.system.libpath</name>
    <value>true</value>

    <name>oozie.service.WorkflowAppService.system.libpath</name>
    <value>hdfs://location/share/lib</value>

 

sharelib 생성

shareLib 설치하며, 이 스크립트는 ShareLib 압축 해제, lib_<timestamp> 디렉터리 생성 및 업로드를 처리합니다.

oozie-setup.sh sharelib create -fs hdfs://<HOST>:<PORT> <SHARED_LIBRARY_TARBALL>

 

sharelib 업그래이드

oozie-setup.sh sharelib upgrade -fs hdfs://<HOST>:<PORT> <SHARED_LIBRARY_TARBALL>

 

sharelib 목록 확인

admin -shareliblist 명령을 사용하면 ShareLib 콘텐츠를 나열하고 현재 어떤 ShareLib Oozie를 사용하고 있는지 확인할 수 있습니다.

oozie admin -oozie http://127.0.0.1:11000/oozie -shareliblist [spark|pig]

 

 

shareLib를 업데이트

Oozie가 실행되는 동안 실제로 ShareLib를 업데이트할 수 있는데,  최신 lib_ 디렉터리로 전환 되었습니다. Oozie를 실행하면 각 Oozie 서버가 최신 ShareLib을 찾습니다.

oozie admin -oozie http://127.0.0.1:11000/oozie -sharelibupdate

 

웹 UI에서도 현재 ShareLib Oozie가 사용하고 있는 정보를 찾을 수도 있습니다.
- sharelib.keys: ShareLibs loaded (e.g. “oozie”, “hive”, “pig”, etc)
sharelib.source: Indicates if the system.libpath or the mapping file is being used. (We’ll look at the mapping file later.)
sharelib.system.libpath: Path to the currently loaded sharelib