[지도학습] KNN

지도학습 중 가장 간단하다고 볼 수 있는 거리를 이용하여 예측하는 모델

테스트 데이터와 가장 가까운 k개의 특징을 보고 테스트 데이터 예측

k-최근접 이웃(K-Nearest Neighbors, KNN)

거리가 가장 가까운 데이터포인트를 찾고, 가장 많은 클래스가 예측 결과가 됨

 

훈련방법 : 훈련데이터 저장

예측방법 : 궁금한 데이터에서 가장 가까운 훈련 데이터를 찾아 선택

 

이웃을 몇개 찾을 지 몰라서 k! 이웃개수는 내가 정하면 됨~ 이웃수는 홀수로 정하기

예측 결과는 가장 많은 이웃의 상태가 됨!

 

knn 과정

1. 데이터셋 나누기(train/test)

2. 이웃 수(= k) 정하기 

3. 훈련 : 훈련데이터 저장

4. 예측 : 테스트 데이터에서 가장 가까운 k개 데이터 포인트가 속한 클래스 중 과반수에 해당하는 것이 예측 결과!

5. 평가

 

K-Neighbors Classifier 

knn이랑 같은데 포인트가 속한 클래스에 따라 평면에 색을 칠함

이항이라면 색이 지정 영역으로 나뉘는 결정경계를 볼 수 있음

이웃을 많이 선택할 수록 경계가 부드러워짐 = 복잡도가 낮아짐(단순해짐)

훈련 데이터 전체 개수를 이웃으로 정하는 경우 0,1 둘 중 많은 쪽으로 예측값이 다 동일하게 선택됨

=> 예측할 의미가 없어짐

결정경계 및 이웃 수별 차이

 

k-Neighbors Regression

하나일 경우는 knn이랑 같은데 둘 이상일 경우 개수가 많은 걸로 선택하는 것이 아니라 이웃 간의 평균

 

python 코드 중 sklearn 패키지 사용 시 knn_regression( weight=uniform,..) = np.mean사용한 단순 평균 (기본값) knn_regression( weight= distance,..) = 거리 고려한 가중치 평균

 

이웃수에 따른 정확도 비교

이웃 수가 많을수록 훈련데이터 정확도는 떨어지지만 테스트 정확도는 상승함 

이웃 수를 너무 많이 선택하면 오히려 정확도가 떨어짐

 

---

장단점과 파라메타

kneighbors 분류기에 중요한 매개변수는 2개
   - 이웃의 수

   - (KNR일 경우만!) 데이터 포인트 사이의 거리를 재는 방법(기본값은 유클리디안) 

 

장점	이해하기 쉬운 모델 매개변수를 많이 조정하지 않아도 좋은 성능
단점	훈련 세트가 매우 크면(특성의 수 or 샘플의 수) 느림 전처리과정이 중요! 수백개 이상의 특성을 가진 데이터셋에서는 잘 안됨 특성값 대부분이 0인 희소한 데이터 셋 잘 안됨

 

 

• 어떨때 사용?

복잡한 알고리즘 적용전 시작해볼 만함

 

* 이차원으로 했을 때 하나의 특성에만 영향이 클 수도 있어서 거리를 재는 것이기 때문에 전처리 과정에서 꼭 표준화 해주기!