본문 바로가기
728x90
반응형

Bigdata/Oozie6

Oozie 모니터링 메트릭 도구 Oozie metric info는 Apache Oozie의 성능과 상태를 모니터링하기 위한 메트릭 정보를 의미합니다. 이는 Oozie 시스템의 건강 상태, 성능, 그리고 튜닝을 위해 사용됩니다.  ${OOZIE_URL}/oozie/v2/admin/metrics ${OOZIE_URL}/oozie/admin/jvminfo.jspOozie 메트릭의 주요 특징 접근 방법: Oozie 메트릭은 Admin 웹 서비스 API를 통해 접근할 수 있으며, 정기적으로 instrumentation 로그에도 기록됩니다. 메트릭 유형: Oozie 메트릭은 변수, 샘플러, 타이머, 카운터 등 다양한 유형의 데이터를 포함합니다. 샘플링 간격: 대부분의 샘플러는 1분 간격으로 작동하여 평균 데이터를 생성합니다. 주요 메트릭 카테고리.. 2025. 1. 18.
Oozie sharelib 사용 방법 액션 디펜던시 - sharelib일반적으로 우지 액션은 자바 어플리케이션 입니다. 그러면 액션을 실행할 때 액션에서 의존성이 있는 클래스를 classpath에 설정해야 합니다. 우지에서는 sharelib이라는 액션들이 사용하는 라이브러리의 공유 위치를 정의할 수 있습니다. sharelib directory 정의oozie-site.xml     oozie.use.system.libpath     true     oozie.service.WorkflowAppService.system.libpath     hdfs://location/share/lib sharelib 생성shareLib 설치하며, 이 스크립트는 ShareLib 압축 해제, lib_ 디렉터리 생성 및 업로드를 처리합니다.oozie-setup.s.. 2025. 1. 18.
Oozie job stuck at Running 이미지와 같이 특정 잡이 Running 상태로 유지되어 있음해결 방법oozie.service.CallableQuGGGeueService.callable.concurrency 값을 수정 하여 해결 함 관련 블로그- https://sungwoon.tistory.com/217 2024. 12. 25.
Oozie Perfomance Tunning Callable- 비동기적으로 실행되는 작업 단위- 작업: 워크플로우, 코디네이터, 시스템 내부 작업 CallableQueueService- Callable 객체들을 큐에 넣고 비동기적으로 실행하는 서비스- 큐 크기와 스레드 수를 조정하여 성능 최적화 가능주요설정- oozie.service.CallableQueueService.queue.size: Callable 큐의 최대 크기 (기본값: 10000)- oozie.service.CallableQueueService.threads: Callable 실행을 위한 스레드 수 (기본값: 10)- oozie.service.CallableQueueService.callable.concurrency: 특정 Callable 유형의 최대 동시성 (기본값: 3)성능 영향.. 2024. 12. 25.
728x90
반응형