Study
-
[PYTHON] 크롤링 - 크롤링 종료 (close, quit, dispose 차이 비교)Study/Python 2021. 6. 16. 15:53
크롤링이 끝나면 크롬 드라이버를 종료시켜줘야한다. Selenium 모듈에는 3가지 종료 함수가 있다. 함수 크롬 브라우저 종료 크롬 드라이버 종료 특징 close() 현재 실행중인 1개만 종료 X 1. 활성화 된 창만 닫기 때문에 현재 창을 닫고 새로운 창을 열어 재활용 가능 2. 드라이버가 종료된게 아니라 메모리를 계속 사용 3. 완전 종료 시 사용하면 안됨 quit() 모두 종료 O 1. Selenium 전체 종료 2. 완전 종료시 사용 dispose() 모두 종료 O 1. quit()와 동일 참고 사이트 더보기 https://pgh268400.tistory.com/121 [C#] Selenium 프로그램 종료 후 종료되게 하기와 Close,Quit, Dispose 차이 알아보기 Selenium에서 ..
-
[PYTHON] 크롤링 - selenium 백그라운드 실행하기Study/Python 2021. 6. 16. 15:33
파이썬으로 크롤링 시 백그라운드에서 실행 시킬 수 있다. 정기적으로 자동 실행하며, 더이상 크롤링 과정을 모니터링 하지 않아도 될 경우 사용하면 좋다. # selenium 모듈 import from selenium import webdriver # 크롬드라이버 경로 설정 chrome_driver_path = "크롬드라이버 설치 경로" # 크롤링 옵션 생성 options = webdriver.ChromeOptions() # 백그라운드 실행 옵션 추가 options.add_argument("headless") # 크롬 드라이버 실행 driver = webdriver.Chrome(executable_path = chrome_driver_path, chrome_options= options) 해당 소스를 사용하..
-
[PYTHON] 크롤링 - 일시정지 (sleep)Study/Python 2021. 6. 16. 15:15
파이썬에서 웹 크롤링 시 이전 동작을 기다렸다 실행시켜야하는 경우 사용하는 함수 아래 소스를 사용하면 정확히 1초 뒤에 end가 실행되는것을 확인할 수 있다. sleep(초) : ()안에는 초단위로 지정해주면 된다. (소수점도 가능) # time 모듈 import from time import sleep print("Start") sleep(1) print("End") 참고 사이트 더보기 https://ponyozzang.tistory.com/336 Python 일시 정지 sleep(초,밀리초) 함수 사용 방법 및 예제 파이썬에서 동작을 실행 중에 1초 동안 대기했다가 처리를 해야 하거나 다른 API에서 응답을 기다리기 위해 잠시 멈춰야 하거나 하는 경우가 있습니다. 이러한 경우에는 Python의 tim..
-
[Oracle] 인덱스 - 리빌드Study/SQL 2021. 5. 25. 13:34
뜻하지 않게 운영업무를 맡게되어 내 업무가 될지 몰랐던,, oracle 관리 작업을 시작하였다. 현재 엑사데이터에 여유공간이 전혀 없이 풀로 사용하고 있어 언제라도 장비가 꺼지면 데이터는 다 날아가버리는 위기 상황이다.. 저장공간 확보 대장정의 세번째! 인덱스 리빌드를 해보려한다.. 인덱스 리빌드는 왜 해야하지? 인덱스와 테이블의 정보가 달라질 때 진행한다. 테이블이 insert/delete/update 될 때 인덱스도 같이 수정된다고 생각한다면 그건 바로 경기도 오산,, 테이블의 수정사항이 많다면 인덱스도 리빌드 해줘야한다! INSERT INSERT SPLIT 현상이 발생할 수 있다! INSERT SPLIT이란? 인덱스의 블럭들이 하나에서 두 개로 나눠지는 현상 기존 블록에 여유공간이 없는 상황에서 새..
-
[python] Google ColaboratoryStudy/Python 2020. 3. 12. 17:57
Google Colaboratory 소개 구글에서 제공하는 jupyter notebook 플랫폼 •Colaboratory 환경 –CPU: Intel (R) Xeon(R) CPU @ 2.30GHz (Dual-Core) –GPU: Nvidia Tesla K80 –GPU Memory: 13GB –VM 지속시간: 12시간 •장점 : GPU를 무료로 사용할 수 있음 •단점 : Docker로 실행하기 때문에 데이터 설치한 패키지 등이 세션이 끊기면 날라갈 수 있음 → Google Drive에 데이터 백업 ① Google Colaboratory 시작하기 https://drive.google.com/ 접속 → 새로 만들기 → 더보기 → 연결할 앱 더보기(이미 연결한 경우 생략) → Colaboratory 검색하여 추가..
-
[jupyter] 주피터 노트북에 이미지 삽입Study/Python 2020. 2. 10. 15:19
python ide로 많이 사용하는 jupyter notebook에 이미지를 삽입하는 방법입니다! 방법은 두가지가 있습니다 먼저 패키지를 설치하고 # !pip install IPython from IPython.display import Image # 주피터 노트북에 이미지 삽입 1. 코드블럭 안에 삽입하는 법 Image("파일경로/파일명.확장자명") ex) Image("img/picture.png") 2. markdown 안에 삽입하는 법 ![이미지이름?](파일경로/파일명.확장자명) ex) ![nn](img/99.01_01.png)
-
[기초통계] 표집분포Study/Statistics 2019. 5. 31. 16:50
통계량도 확률분포를 가진다(표집분포) 그래서 분포를 봤더니 모집단에 상관없이 표본의 크기가 30이상이면 정규분포를 따름 통계학의 핵심은 표본으로부터 모집단의 성격을 알아내고자 하는 추론(inference)!! => 적절한 표본추출법에 의한 표본이 전체 모집단의 특성을 잘 반영하고 있기 때문에, 일부분을 가지고 전체에 대해 일반화하여 이야기할 수 있음 모수(parameter) : 수치로 표현되는 모집단의 특성 예) 모평균, 모비율, 모표준편차,,, 통계적 추론 : 제한된 표본으로부터 모수를 추론하는 이론적인 뒷받침 제공 통계량(statistic) : 표본의 관측값들에 의해 결정되는 양 예)표본상관계수, 표본표준편차,,, 통계량 유의할 점 1. 표본은 모집단의 일부분이므로 표본으로부터 계산된 통계량의 값은 ..
-
[기초통계] 정규분포Study/Statistics 2019. 5. 31. 15:11
정규분포는 3시그마안에 확률의 99.7% 포함되어 있는 것으로 통계기법의 대부분은 정규분포를 따라야 한다는 조건이 있다! 때문에 따르지 않는다면 자료를 변환해야함 정규분포(Normal Distribution) 연속확률분포 중 하나 정규분포의 특징 평균=최빈값=중앙값 3시그마 안에 거의 포함됨(0.997) * 그래서 정규분포표에 3.99까지밖에 없음 분산은 같고 평균이 다를 경우 위치만 이동 평균은 같고 분산이 다를 경우 분포의 형태만 변화 = 분산이 커질수록 퍼짐~ 표준정규분포(Standard normal distribution) 평균이 0이고 분산이 1인 정규분포 표준정규분포를 갖는 확률변수 = Z Z는 0을 중심으로 대칭인 분포를 갖게 됨 = 표준정규분포는 0을 기준으로 0.5씩 총 1의 확률을 가짐..