[PYTHON] 크롤링 - selenium 백그라운드 실행하기

Study/Python

[PYTHON] 크롤링 - selenium 백그라운드 실행하기

쑨블리 2021. 6. 16. 15:33

파이썬으로 크롤링 시 백그라운드에서 실행 시킬 수 있다.

정기적으로 자동 실행하며, 더이상 크롤링 과정을 모니터링 하지 않아도 될 경우 사용하면 좋다.

# selenium 모듈 import
from selenium import webdriver

# 크롬드라이버 경로 설정
chrome_driver_path = "크롬드라이버 설치 경로"

# 크롤링 옵션 생성
options = webdriver.ChromeOptions()
# 백그라운드 실행 옵션 추가
options.add_argument("headless")

# 크롬 드라이버 실행
driver = webdriver.Chrome(executable_path = chrome_driver_path, chrome_options= options)

해당 소스를 사용하면 창이 켜지지 않고 백그라운드에서 동작하게 된다.

이 때 주의해야하는 것은

작업이 종료되면 꼭 quit() 함수로 종료 시켜야한다.

quit()를 하지 않으면 백그라운드에서 종료되지 않은 채 리소스를 잡아먹기 때문에 꼭! 실행 시켜야한다.

크롤링 종료 방법은 이전 포스팅 확인

2021.06.16 - [Study/Python] - [PYTHON] 크롤링 - 크롤링 종료 (close, quit, dispose 차이 비교)

[PYTHON] 크롤링 - Selenium 프로그램 종료 (close, quit, dispose 차이 비교)

크롤링이 끝나면 크롬 드라이버를 종료시켜줘야한다. Selenium 모듈에는 3가지 종료 함수가 있다. 함수 크롬 브라우저 종료 크롬 드라이버 종료 특징 close() 현재 실행중인 1개만 종료 X 1. 활성화 된

ssoondata.tistory.com