-
[airflow] queued의 다양한 케이스카테고리 없음 2024. 4. 8. 19:54
운영하다보면,, 잘 되던 dag의 task가 갑자기 queued상태에서 멈추는 현상이 일어난다,, 1. airflow log full 다른 거 필요없이 airflow log가 쌓이는 저장소의 상태를 확인해보자 centos라면 df -h 명령어로 확인 가능하다.. airflow 로그는 airflow를 설치한 config 파일에서 확인 가능하니,, 해당 경로 저장소가 가득차있는지를 확인한다.. 해당 케이스에서는 간단히 오래된 로그를 비워주는것으로 해결 가능하다! 저장소를 정리했다면, airflow scheduler를 재시작하거나, 수행하고자하는 dag를 재시작하여야 수행 가능하다. 수행중인 dag가 많은 경우였다면 dag를 다시 막 수행하다 scheduler가 죽기 때문에 (오류 메세지 : The sched..
-
[apache] 아파치 디렉토리 보안설정 (FollowSymLinks)카테고리 없음 2021. 8. 24. 02:41
운영하면서 하다하다 별걸 다한다. 아파치 보안 설정 변경 중 FollowSymLinks를 수정했는데 FollowSymLinks는 간단하게! 나 다른 폴더 참조할거야! 하는 설정이다 앞에 '+'를 두면 폴더안에 있는거 그냥 다 웹에 보여주자~ 이고, 앞에 '-'를 두면 참조한 폴더 안에 있는 데이터들은 웹에 보여주지 말지 뭐 이런 느낌이다.. 내가 이걸 다시 보게 될 날이 올라나 모르겠지만,, 다시 설정하게 되는 날이 온다면,, 아래 링크를 다시 참고해보자,,, https://s-jg.tistory.com/26 Apache 디렉토리 보안 설정, FollowSymLinks FollowSymlinks 설정은 디렉토리내 심볼릭 링크 사용과 연관이 있다 Option 지시자에 +/- 로 설정하여 활성화 또는 비활성..
-
[PYTHON] 크롤링 - 크롤링 종료 (close, quit, dispose 차이 비교)Study/Python 2021. 6. 16. 15:53
크롤링이 끝나면 크롬 드라이버를 종료시켜줘야한다. Selenium 모듈에는 3가지 종료 함수가 있다. 함수 크롬 브라우저 종료 크롬 드라이버 종료 특징 close() 현재 실행중인 1개만 종료 X 1. 활성화 된 창만 닫기 때문에 현재 창을 닫고 새로운 창을 열어 재활용 가능 2. 드라이버가 종료된게 아니라 메모리를 계속 사용 3. 완전 종료 시 사용하면 안됨 quit() 모두 종료 O 1. Selenium 전체 종료 2. 완전 종료시 사용 dispose() 모두 종료 O 1. quit()와 동일 참고 사이트 더보기 https://pgh268400.tistory.com/121 [C#] Selenium 프로그램 종료 후 종료되게 하기와 Close,Quit, Dispose 차이 알아보기 Selenium에서 ..
-
[PYTHON] 크롤링 - selenium 백그라운드 실행하기Study/Python 2021. 6. 16. 15:33
파이썬으로 크롤링 시 백그라운드에서 실행 시킬 수 있다. 정기적으로 자동 실행하며, 더이상 크롤링 과정을 모니터링 하지 않아도 될 경우 사용하면 좋다. # selenium 모듈 import from selenium import webdriver # 크롬드라이버 경로 설정 chrome_driver_path = "크롬드라이버 설치 경로" # 크롤링 옵션 생성 options = webdriver.ChromeOptions() # 백그라운드 실행 옵션 추가 options.add_argument("headless") # 크롬 드라이버 실행 driver = webdriver.Chrome(executable_path = chrome_driver_path, chrome_options= options) 해당 소스를 사용하..
-
[PYTHON] 크롤링 - 일시정지 (sleep)Study/Python 2021. 6. 16. 15:15
파이썬에서 웹 크롤링 시 이전 동작을 기다렸다 실행시켜야하는 경우 사용하는 함수 아래 소스를 사용하면 정확히 1초 뒤에 end가 실행되는것을 확인할 수 있다. sleep(초) : ()안에는 초단위로 지정해주면 된다. (소수점도 가능) # time 모듈 import from time import sleep print("Start") sleep(1) print("End") 참고 사이트 더보기 https://ponyozzang.tistory.com/336 Python 일시 정지 sleep(초,밀리초) 함수 사용 방법 및 예제 파이썬에서 동작을 실행 중에 1초 동안 대기했다가 처리를 해야 하거나 다른 API에서 응답을 기다리기 위해 잠시 멈춰야 하거나 하는 경우가 있습니다. 이러한 경우에는 Python의 tim..
-
[Oracle] 인덱스 - 리빌드Study/SQL 2021. 5. 25. 13:34
뜻하지 않게 운영업무를 맡게되어 내 업무가 될지 몰랐던,, oracle 관리 작업을 시작하였다. 현재 엑사데이터에 여유공간이 전혀 없이 풀로 사용하고 있어 언제라도 장비가 꺼지면 데이터는 다 날아가버리는 위기 상황이다.. 저장공간 확보 대장정의 세번째! 인덱스 리빌드를 해보려한다.. 인덱스 리빌드는 왜 해야하지? 인덱스와 테이블의 정보가 달라질 때 진행한다. 테이블이 insert/delete/update 될 때 인덱스도 같이 수정된다고 생각한다면 그건 바로 경기도 오산,, 테이블의 수정사항이 많다면 인덱스도 리빌드 해줘야한다! INSERT INSERT SPLIT 현상이 발생할 수 있다! INSERT SPLIT이란? 인덱스의 블럭들이 하나에서 두 개로 나눠지는 현상 기존 블록에 여유공간이 없는 상황에서 새..
-
[bat] 배치파일 공부중카테고리 없음 2021. 2. 3. 11:17
1. 배치파일이란? 2. 기본 명령어 > @echo on/off on : 실행 소스가 cmd 창에 남음 off : 실행 소스가 cmd 창에 남지 않고 실행만 함 > pause : 계속하려면 아무키나 클릭하세요... 라는 메세지와 함께 사용자가 클릭해야 다음 스탭으로 넘어감 마지막에 넣으면 완료 후에도 cmd창이 남아있어 실행한 cmd 창 확인하고 싶을 때 사용 > title + cmd창 제목 : cmd 창 위에 제목 > color + 번호 : cmd 창 스타일 변경 * cmd - color /?로 컬러 표 확인할 수 있음 > mode : 인쇄 방향 전환, 입력 속도 등 - con 디스플레이 모드 con cols = 가로 lines = 세로 > echo : 내가 설명하고자 하는 글 혹은 어떤 작업을 하는지..
-
[python] Google ColaboratoryStudy/Python 2020. 3. 12. 17:57
Google Colaboratory 소개 구글에서 제공하는 jupyter notebook 플랫폼 •Colaboratory 환경 –CPU: Intel (R) Xeon(R) CPU @ 2.30GHz (Dual-Core) –GPU: Nvidia Tesla K80 –GPU Memory: 13GB –VM 지속시간: 12시간 •장점 : GPU를 무료로 사용할 수 있음 •단점 : Docker로 실행하기 때문에 데이터 설치한 패키지 등이 세션이 끊기면 날라갈 수 있음 → Google Drive에 데이터 백업 ① Google Colaboratory 시작하기 https://drive.google.com/ 접속 → 새로 만들기 → 더보기 → 연결할 앱 더보기(이미 연결한 경우 생략) → Colaboratory 검색하여 추가..