[PYTHON] 크롤링 - selenium 백그라운드 실행하기

파이썬으로 크롤링 시 백그라운드에서 실행 시킬 수 있다.

정기적으로 자동 실행하며, 더이상 크롤링 과정을 모니터링 하지 않아도 될 경우 사용하면 좋다.

# selenium 모듈 import from selenium import webdriver # 크롬드라이버 경로 설정 chrome_driver_path = "크롬드라이버 설치 경로" # 크롤링 옵션 생성 options = webdriver.ChromeOptions() # 백그라운드 실행 옵션 추가 options.add_argument("headless") # 크롬 드라이버 실행 driver = webdriver.Chrome(executable_path = chrome_driver_path, chrome_options= options)

해당 소스를 사용하면 창이 켜지지 않고 백그라운드에서 동작하게 된다.

 

이 때 주의해야하는 것은  

작업이 종료되면 꼭 quit() 함수로 종료 시켜야한다.

quit()를 하지 않으면 백그라운드에서 종료되지 않은 채 리소스를 잡아먹기 때문에 꼭! 실행 시켜야한다.

 

크롤링 종료 방법은 이전 포스팅 확인

2021.06.16 - [Study/Python] - [PYTHON] 크롤링 - 크롤링 종료 (close, quit, dispose 차이 비교)

[PYTHON] 크롤링 - Selenium 프로그램 종료 (close, quit, dispose 차이 비교)

 

참고 사이트

https://minimin2.tistory.com/118

[Python] Selenium을 크롬 창 없이 실행하기(background에서 실행하기)

https://beomi.github.io/2017/09/28/HowToMakeWebCrawler-Headless-Chrome/

나만의 웹 크롤러 만들기(7): 창없는 크롬으로 크롤링하기 - Beomi's Tech blog