본문 바로가기
728x90
반응형

Bigdata12

Airflow Hook 정의 및 예제 Airflow에서 Hook은 외부 시스템(데이터베이스, 클라우드 서비스, API 등)과 통신하기 위한 인터페이스를 제공하는 추상화된 API입니다. Airflow Hook은 주로 Operator와 함께 사용되며, DAG 코드에서 직접 사용할 수도 있습니다.주요 특징외부 시스템(데이터베이스, API 등)과 상호작용하기 위한 인터페이스를 제공하는 모듈로, 연결을 표준화예를 들어 MySqlHook, S3Hook, SlackHook 등Hook은 Operator 내부에서 사용되거나 DAG 코드에서 직접 사용될 수 있음외부 시스템에 연결하기 위해 일반적으로 Connection ID만 필요BaseHook 클래스를 상속받아 외부 시스템 연결 로직을 구현주요 기능연결 설정: 외부 시스템과의 연결을 설정하고 유지함데이터 전.. 2024. 5. 22.
Apache Curator Example & Description 먼저 다음과 같이 CuratorFramework 인스턴스를 빌드해야 합니다. 여기서 connectString은 앙상블에 있는 서버의 IP 및 포트 조합이 쉼표로 구분된 목록을 의미합니다.CuratorFrameworkFactory.Builder builder = CuratorFrameworkFactory.builder() .connectString(connectString) .retryPolicy(new ExponentialBackoffRetry(retryInitialWaitMs, maxRetryCount)) .connectionTimeoutMs(connectionTimeoutMs) .sessionT.. 2024. 5. 22.
Zookeeper 개념 및 아키텍처 분산 시스템이란?: 네트워크를 통해 여럿의 컴퓨터에서 돌아가는 시스템​분산 시스템에서의 잇슈분산된 시스템 간의 정보 공유?클러스터에 있는 서버들의 상태 체크?분산된 서버들 간에 동기화를 위해 잠금(Lock)?​Zookeeper - 코디네이션 서비스 시스템(Coordination Service)주키퍼 기능분산 환경에서 노드 간에 조정자 역할을 수행하는 서비스노드 간 정보 공유, 잠금, 이벤트 등의 기능 수행여러 개의 노드에 작업을 분산시켜주는 부하 분산 기능 제공서버에서 처리된 결과를 다른 서버에게 동기화 할때 잠금(Lock) 처리 수행서버 장애 시 대기 서버가 기존 서버를 대신 처리할 수 있도록 장애 상황 판단 및 복구주키퍼는 관리 데이터를 메모리상에 유지함​​Zookeeper 아키텍처ZooKeeper는.. 2024. 5. 21.
Airflow 설치 및 Tutorial 실행 SequentialExecutor는 airflow를 처음 설치할 때 기본 Executor로 sqlite와 함께 사용할 수 있는 유일한 실행자입니다(sqlite는 다중 연결을 지원하지 않음).이 Executor로는 한 번에 하나의 작업 인스턴스만 실행하여, 운영환경에는 적합하지 않습니다.​PrerequisitesPython: 3.8, 3.9, 3.10, 3.11, 3.12Databases:PostgreSQL: 12, 13, 14, 15, 16MySQL: 8.0, InnovationSQLite: 3.15.0+Kubernetes: 1.26, 1.27, 1.28, 1.29​Airflow Databaseairflow 계정을 만드는 예제 입니다.mysql> create database airflow;mysql> c.. 2024. 5. 20.
728x90
반응형

티스토리툴바