Crontab
-
[airflow] queued의 다양한 케이스카테고리 없음 2024. 4. 8. 19:54
운영하다보면,, 잘 되던 dag의 task가 갑자기 queued상태에서 멈추는 현상이 일어난다,, 1. airflow log full 다른 거 필요없이 airflow log가 쌓이는 저장소의 상태를 확인해보자 centos라면 df -h 명령어로 확인 가능하다.. airflow 로그는 airflow를 설치한 config 파일에서 확인 가능하니,, 해당 경로 저장소가 가득차있는지를 확인한다.. 해당 케이스에서는 간단히 오래된 로그를 비워주는것으로 해결 가능하다! 저장소를 정리했다면, airflow scheduler를 재시작하거나, 수행하고자하는 dag를 재시작하여야 수행 가능하다. 수행중인 dag가 많은 경우였다면 dag를 다시 막 수행하다 scheduler가 죽기 때문에 (오류 메세지 : The sched..