본문 바로가기

airflow2

[Airflow] 에어플로 DAG seems to be missing. 에러 해결 상황 에어플로에서 DAG 작성 후 web ui에서 확인 시 다음과 같은 메시지가 출력된다. 해당 DAG는 아리 사진의 번개표시의 "Code View" 기능을 제외한 다른기능들은 동작하지 않았다. web ui에서 DAG 그림도 나오지 않고, pause를 헤제 할 수도 없었다. 발생 이유 필자는 airflow DAG를 여러 sub module로 관리하였으며 이 sub module을 이용하기 위해 from ${디렉토리}.${파일명} import ${메소드 명} 의 import 구문으로 모듈을 추가하여 이용하였다. 모듈 파일이 dagbag에 캐시되어 코드를 수정하여도 바로 반영되지 않아 DAG가 제대로 생성되지 않았으며, 따라서 web ui에서 DAG가 제대로 동작하지 않았다. 에러를 찾은 방법 및 에러 해결방.. 2020. 8. 27.
Airflow Exception: Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql 상황 Airflow를 설치하여 mysql과 연동과정에서 $ airflow initdb 명령 수행 중 제목과 같은 에러가 발생하였다. 발생 이유 및 해결 방안 mysql의 explicit_defaults_for_timestamp가 1이어야 한다. my.cnf 파일찾기(링크)의 방법에 따라 my.cnf 파일의 위치를 확인한다. mysqld 하위의 explicit_defaults_for_timestamp를 1로 설정한다. explicit_defaults_for_timestamp 항목이 존재 하지 않을 경우, mysqld 하위에 explicit_defaults_for_timestamp의 설정을 새로 입력한다. [mysqld] ... explicit_defaults_for_timestamp = 1 ... mysq.. 2020. 6. 3.
반응형