728x90 반응형 airflow5 Airflow Plugins Airflow에는 $AIRFLOW_HOME/plugins 폴더에 파일을 놓으면 외부 기능을 코어에 통합할 수 있는 플러그인 관리자가 내장되어 있습니다. 플러그인 폴더의 Python 모듈을 가져오고, 매크로와 웹 보기가 Airflow의 기본 컬렉션에 통합되어 사용할 수 있습니다.airflow plugins 명령어: 로드된 플러그인에 대한 정보를 덤프버전 2.0에서 변경됨: airflow.{operators,sensors,hooks}.을 통해 플러그인에 추가된 연산자, 센서, 후크 가져오기는 더 이상 지원되지 않으며 이러한 확장은 일반 Python 모듈로 가져와야 합니다. What for?조직마다 스택과 요구 사항이 다릅니다. Airflow 플러그인을 사용하면 기업이 생태계를 반영하도록 Airflow .. 2024. 5. 28. Airflow PYTHONPATH Built-in PYTHONPATH entries in Airflowairflow 다음과 같이 3개 경로를 PYTHONPATH로 설정함Airflow, when running dynamically adds three directories to the sys.path:The dags folder: It is configured with option dags_folder in section [core].The config folder: It is configured by setting AIRFLOW_HOME variable ({AIRFLOW_HOME}/config) by default.The plugins Folder: It is configured with option plugins_folder in sec.. 2024. 5. 28. Airflow XCcom(Cross-Communication) 정의 및 예시 Apache Airflow에서 XCom (Cross-Communication)은 작업 간의 데이터를 교환하는 데 사용되는 메커니즘입니다. XCom은 DAG의 태스크 간에 작은 데이터 조각을 공유하거나 전달하는 데 유용합니다. 이를 통해 한 태스크의 출력 데이터를 다른 태스크의 입력 데이터로 사용할 수 있습니다. 주요 특징 XCom의 저장 및 검색:XCom은 키-값 쌍의 형태로 데이터베이스에 저장됩니다.각 XCom은 key, value, timestamp, task_id, dag_id 등의 메타데이터와 함께 저장됩니다.XCom 푸시:xcom_push 메서드를 사용하여 데이터를 푸시할 수 있습니다.일반적으로 PythonOperator 내에서 return 문을 사용하면 자동으로 XCom에 푸시됩니다.XCom .. 2024. 5. 23. [Airflow]Operator 정의 및 예제 Airflow에서 Operator는 작업(Task)을 정의하고 실행하는 객체입니다. Operator는 DAG (Directed Acyclic Graph)의 노드로서, 작업의 실행 논리를 정의하며, 데이터 처리, 시스템 운영, 모니터링 등 다양한 작업을 정의하고 실행하는 데 사용됩니다. Operator의 주요 특징Operator는 단일 작업을 정의하고 실행함.예를 들어 BashOperator는 Bash 명령을 실행하고, PythonOperator는 Python 함수를 실행함. Operator는 BaseOperator 클래스를 상속받아 구현되며, Airflow에는 다양한 기본 제공 Operator가 있으며, 사용자 정의 Operator도 작성할 수 있음.예를 들어 BashOperator, PythonOper.. 2024. 5. 23. 이전 1 2 다음 728x90 반응형