크롤링
-
[PYTHON] 크롤링 - 크롤링 종료 (close, quit, dispose 차이 비교)Study/Python 2021. 6. 16. 15:53
크롤링이 끝나면 크롬 드라이버를 종료시켜줘야한다. Selenium 모듈에는 3가지 종료 함수가 있다. 함수 크롬 브라우저 종료 크롬 드라이버 종료 특징 close() 현재 실행중인 1개만 종료 X 1. 활성화 된 창만 닫기 때문에 현재 창을 닫고 새로운 창을 열어 재활용 가능 2. 드라이버가 종료된게 아니라 메모리를 계속 사용 3. 완전 종료 시 사용하면 안됨 quit() 모두 종료 O 1. Selenium 전체 종료 2. 완전 종료시 사용 dispose() 모두 종료 O 1. quit()와 동일 참고 사이트 더보기 https://pgh268400.tistory.com/121 [C#] Selenium 프로그램 종료 후 종료되게 하기와 Close,Quit, Dispose 차이 알아보기 Selenium에서 ..
-
[PYTHON] 크롤링 - selenium 백그라운드 실행하기Study/Python 2021. 6. 16. 15:33
파이썬으로 크롤링 시 백그라운드에서 실행 시킬 수 있다. 정기적으로 자동 실행하며, 더이상 크롤링 과정을 모니터링 하지 않아도 될 경우 사용하면 좋다. # selenium 모듈 import from selenium import webdriver # 크롬드라이버 경로 설정 chrome_driver_path = "크롬드라이버 설치 경로" # 크롤링 옵션 생성 options = webdriver.ChromeOptions() # 백그라운드 실행 옵션 추가 options.add_argument("headless") # 크롬 드라이버 실행 driver = webdriver.Chrome(executable_path = chrome_driver_path, chrome_options= options) 해당 소스를 사용하..
-
[PYTHON] 크롤링 - 일시정지 (sleep)Study/Python 2021. 6. 16. 15:15
파이썬에서 웹 크롤링 시 이전 동작을 기다렸다 실행시켜야하는 경우 사용하는 함수 아래 소스를 사용하면 정확히 1초 뒤에 end가 실행되는것을 확인할 수 있다. sleep(초) : ()안에는 초단위로 지정해주면 된다. (소수점도 가능) # time 모듈 import from time import sleep print("Start") sleep(1) print("End") 참고 사이트 더보기 https://ponyozzang.tistory.com/336 Python 일시 정지 sleep(초,밀리초) 함수 사용 방법 및 예제 파이썬에서 동작을 실행 중에 1초 동안 대기했다가 처리를 해야 하거나 다른 API에서 응답을 기다리기 위해 잠시 멈춰야 하거나 하는 경우가 있습니다. 이러한 경우에는 Python의 tim..