728x90 반응형 Bigdata/Airflow7 alembic.util.exc.CommandError: Can't locate revision identified by '22ed7efa9da2' airflow db upgrade를 실행 하다가 다음과 같은 에러가 발생하였습니다.alembic.util.exc.CommandError: Can't locate revision identified by '22ed7efa9da2'여기 저기 뒤져보니..머머를 삭제하면 된다고 했지만,저는 alembic을 초기화하니 해결 되었습니다.alembic init alembic 그리고 alembic.ini 파일 sqlalchemy.url 값을 수정하였습니다.sqlalchemy.url = mysql+pymysql://user:pass@localhost/dbname편의상 airflow-venv 위치에 했습니다. 2024. 8. 23. Airflow Plugins Airflow에는 $AIRFLOW_HOME/plugins 폴더에 파일을 놓으면 외부 기능을 코어에 통합할 수 있는 플러그인 관리자가 내장되어 있습니다. 플러그인 폴더의 Python 모듈을 가져오고, 매크로와 웹 보기가 Airflow의 기본 컬렉션에 통합되어 사용할 수 있습니다.airflow plugins 명령어: 로드된 플러그인에 대한 정보를 덤프버전 2.0에서 변경됨: airflow.{operators,sensors,hooks}.을 통해 플러그인에 추가된 연산자, 센서, 후크 가져오기는 더 이상 지원되지 않으며 이러한 확장은 일반 Python 모듈로 가져와야 합니다. What for?조직마다 스택과 요구 사항이 다릅니다. Airflow 플러그인을 사용하면 기업이 생태계를 반영하도록 Airflow .. 2024. 5. 28. Airflow PYTHONPATH Built-in PYTHONPATH entries in Airflowairflow 다음과 같이 3개 경로를 PYTHONPATH로 설정함Airflow, when running dynamically adds three directories to the sys.path:The dags folder: It is configured with option dags_folder in section [core].The config folder: It is configured by setting AIRFLOW_HOME variable ({AIRFLOW_HOME}/config) by default.The plugins Folder: It is configured with option plugins_folder in sec.. 2024. 5. 28. Airflow XCcom(Cross-Communication) 정의 및 예시 Apache Airflow에서 XCom (Cross-Communication)은 작업 간의 데이터를 교환하는 데 사용되는 메커니즘입니다. XCom은 DAG의 태스크 간에 작은 데이터 조각을 공유하거나 전달하는 데 유용합니다. 이를 통해 한 태스크의 출력 데이터를 다른 태스크의 입력 데이터로 사용할 수 있습니다. 주요 특징 XCom의 저장 및 검색:XCom은 키-값 쌍의 형태로 데이터베이스에 저장됩니다.각 XCom은 key, value, timestamp, task_id, dag_id 등의 메타데이터와 함께 저장됩니다.XCom 푸시:xcom_push 메서드를 사용하여 데이터를 푸시할 수 있습니다.일반적으로 PythonOperator 내에서 return 문을 사용하면 자동으로 XCom에 푸시됩니다.XCom .. 2024. 5. 23. 이전 1 2 다음 728x90 반응형