본문 바로가기
728x90
반응형

Bigdata/Airflow9

http.client.BadStatusLine: Invalid status 71 저는 잘못된 port로 설정하여 잘못된 호출을 하고 있었습니다. port 수정 후 정상 확인 하였습니다.  http.client.BadStatusLine 오류는 주로 HTTP 응답의 상태 라인이 예상과 다르거나 잘못된 형식일 때 발생합니다. "Invalid status 71" 오류의 주요 원인은 다음과 같습니다잘못된 HTTP 응답: 서버가 올바르지 않은 형식의 HTTP 응답을 보내는 경우 발생할 수 있습니다프로토콜 버전 불일치: HTTP 프로토콜 버전이 대소문자를 구분하여 "Http/1.0"과 같이 소문자로 되어 있을 때 발생할 수 있습니다연결 종료: 서버가 연결을 예기치 않게 종료하거나, 지속적인 연결에서 서버가 연결을 닫은 경우 발생할 수 있습니다프록시 서버 문제: 프록시 서버가 특정 요청을 거부하거.. 2025. 2. 23.
AttributeError: 'HttpHook' object has no attribute 'update_relative' dag 선언하는 구문에 hook을 선언해 발생 with DAG()as dag: task = HttpHook(http_conn_id='httpHook', method="GET") res = task3.run( endpoint='/actions/2' ) 함수에 선언해서 pythonOperator로 호출하는 방식으로 변경해야 함def my_python_function(): hook = HttpHook(http_conn_id='my_conn',method='GET') res = hook.run( endpoint='/endpoint' )with Dag() as dag: # PythonOperator 정의 python_task = PythonOpe.. 2025. 2. 23.
alembic.util.exc.CommandError: Can't locate revision identified by '22ed7efa9da2' airflow db upgrade를 실행 하다가 다음과 같은 에러가 발생하였습니다.alembic.util.exc.CommandError: Can't locate revision identified by '22ed7efa9da2'여기 저기 뒤져보니..머머를 삭제하면 된다고 했지만,저는 alembic을 초기화하니 해결 되었습니다.alembic init alembic 그리고 alembic.ini 파일 sqlalchemy.url 값을 수정하였습니다.sqlalchemy.url = mysql+pymysql://user:pass@localhost/dbname편의상 airflow-venv 위치에 했습니다. 2024. 8. 23.
Airflow Plugins Airflow에는 $AIRFLOW_HOME/plugins 폴더에 파일을 놓으면 외부 기능을 코어에 통합할 수 있는 플러그인 관리자가 내장되어 있습니다. 플러그인 폴더의 Python 모듈을 가져오고, 매크로와 웹 보기가 Airflow의 기본 컬렉션에 통합되어 사용할 수 있습니다.​airflow plugins 명령어: 로드된 플러그인에 대한 정보를 덤프​버전 2.0에서 변경됨: airflow.{operators,sensors,hooks}.을 통해 플러그인에 추가된 연산자, 센서, 후크 가져오기는 더 이상 지원되지 않으며 이러한 확장은 일반 Python 모듈로 가져와야 합니다. ​What for?조직마다 스택과 요구 사항이 다릅니다. Airflow 플러그인을 사용하면 기업이 생태계를 반영하도록 Airflow .. 2024. 5. 28.
728x90
반응형