[airflow] queued의 다양한 케이스

운영하다보면,, 잘 되던 dag의 task가 갑자기 queued상태에서 멈추는 현상이 일어난다,,

 

 

1. airflow log full

 

다른 거 필요없이 airflow log가 쌓이는 저장소의 상태를 확인해보자

centos라면 df -h 명령어로 확인 가능하다..

 

airflow 로그는 airflow를 설치한 config 파일에서 확인 가능하니,, 해당 경로 저장소가 가득차있는지를 확인한다..

 

해당 케이스에서는 간단히 오래된 로그를 비워주는것으로 해결 가능하다!

 

저장소를 정리했다면,

airflow scheduler를 재시작하거나, 수행하고자하는 dag를 재시작하여야 수행 가능하다.

 

수행중인 dag가 많은 경우였다면 dag를 다시 막 수행하다 scheduler가 죽기 때문에

(오류 메세지 : The scheduler does not appear to be running.)

처음부터 scheduler를 재시작하는것을 추천한다.

 

▼ centos - 자동삭제 .sh 코드 

AIRFLOW_LOG_DIR = "/var/log/airflow/scheduler"
DAYS_TO_KEEP    = 60

echo ""
echo "----------------------------------------------------------"
echo " 로그 폴더에서 60일 보다 오래된 모든 폴더 삭제."
echo " 00*** sh /.../airflowLogDelete.sh"
echo "----------------------------------------------------------"
echo ""

find "$AIRFLOW_LOG_DIR" -type d -mtime + $DAY_TO_KEEP -exec rm -r {}\;