K-최근접 이웃(K-NN) 알고리즘 완벽 이해: 기본 개념부터 거리 측정 방법까지

K-최근접 이웃(K-NN) 알고리즘 완벽 이해: 기본 개념부터 거리 측정 방법까지

 

K-최근접 이웃(K-Nearest Neighbors, K-NN) 알고리즘은 머신러닝에서 매우 간단하면서도 강력한 기법입니다. 이 알고리즘은 데이터를 분류하거나 회귀 분석을 할 때, '가까운 것이 비슷하다'는 직관적인 아이디어를 바탕으로 작동합니다. K-NN은 데이터를 학습하는 과정을 거치지 않고, 새로운 데이터를 기존 데이터와 비교하여 예측하는 게으른 학습(lazy learning) 방식입니다.

 

이 글에서는 K-NN의 기본 개념과 원리, 실생활에서의 활용 사례, 그리고 분류와 회귀에서의 적용 방식을 쉽게 풀어 설명하겠습니다.

 

K-NN 알고리즘의 원리: 가까운 이웃 찾기

K-NN은 새로운 데이터가 주어졌을 때, 이미 레이블이 지정된 데이터들 중에서 가장 가까운 K개의 이웃을 찾고, 그 이웃들의 레이블을 바탕으로 예측을 수행합니다. 가까운 이웃이 많은 쪽의 값이나 클래스로 새로운 데이터를 분류하거나 값을 예측하는 방식입니다.

 

거리 측정 방법

K-NN에서 데이터 간의 거리를 측정하는 방법으로는 다양한 기법이 존재합니다.

 

1) 유클리디안 거리

K-NN 알고리즘은 '가까운 이웃'을 찾는 것이 핵심입니다. 이를 위해 거리 측정 방법이 사용되며, 그 중 가장 흔히 사용되는 것은 유클리디안 거리입니다. 가장 일반적으로 사용되는 직선 거리 측정 방식입니다. 

 

공식:

 

예시: 두 개의 데이터 포인트가 있습니다. 첫 번째 포인트는 (2, 3), 두 번째 포인트는 (5, 7)입니다. 이 두 포인트 사이의 유클리디안 거리를 구하려면 다음 공식을 사용합니다:

 

이렇게 유클리디안 거리를 계산하여 두 포인트가 얼마나 가까운지 측정합니다. K-NN 알고리즘은 이런 방식으로 새로운 데이터 포인트와 기존 데이터 간의 거리를 계산해 가장 가까운 K개의 이웃을 찾습니다.

 

2) 맨해튼 거리

맨해튼 거리는 유클리디안 거리와 다르게 직선이 아닌 그리드 기반의 경로를 계산합니다. 이름은 뉴욕의 맨해튼 거리 패턴에서 유래했으며, 두 점 사이의 축을 따라 이동하는 거리를 측정합니다. 한마디로, 직선이 아닌 계단식 경로로 계산하는 거리입니다.

 

공식:

 

예시: 두 점 (2, 3)과 (5, 7)의 맨해튼 거리를 계산해보면,

 

맨해튼 거리는 직선 거리 대신 축을 따라 이동하는 방법으로 거리를 측정하는 기법입니다. 이는 자동차가 블록을 따라 움직이는 것처럼 이동하는 거리라고 생각할 수 있습니다. 이 방식은 계단식 경로나 네트워크 상에서 거리를 측정할 때 유용합니다.

 

3) 민코프스키 거리

위의 유클리드 거리와 맨해튼 거리를 일반화한 거리 계산 방식으로, 다양한 차원에 맞게 조절할 수 있습니다. 민코프스키 거리는 유클리디안 거리와 맨해튼 거리를 일반화한 거리 측정 기법입니다. 이 거리 측정 방식은 유클리디안 거리와 맨해튼 거리를 모두 포함할 수 있는 유연한 형태로, p-값에 따라 거리가 달라집니다.

 

공식:

 

여기서 p는 거리를 결정하는 중요한 요소입니다:

• p = 1이면 맨해튼 거리
• p = 2이면 유클리디안 거리
• p > 2이면 더 일반화된 거리

예시: (2, 3)과 (5, 7) 간 민코프스키 거리를 p = 3으로 설정해서 계산해보면,

 

이렇게 p-값에 따라 거리가 다르게 측정되며, p-값이 클수록 두 점 사이의 큰 차이에 더 많은 가중치를 두게 됩니다.

이런 거리 계산을 통해 가장 가까운 K개의 이웃을 선택합니다.

 

K-NN의 작동 방식: 단계별 과정

K-NN의 작동 방식: 단계별 과정

K-NN은 간단한 5단계로 작동합니다:

1. 데이터 준비: 특징(feature)과 레이블(label)이 있는 데이터셋을 준비합니다.
2. K값 선택: 예측을 할 때 사용할 이웃의 수 K를 결정합니다.
3. 거리 계산: 새로운 데이터 포인트와 모든 훈련 데이터 간의 거리를 계산합니다.
4. 이웃 선택: 거리 계산 결과를 기준으로 가장 가까운 K개의 이웃을 선택합니다.
5. 예측: 선택된 이웃의 레이블 또는 값에 따라 새로운 데이터 포인트를 분류하거나 값을 예측합니다.

 

K값의 중요성

K값은 매우 중요한 하이퍼파라미터입니다. K가 너무 작으면 모델이 노이즈에 민감해질 수 있고(과적합), K가 너무 크면 모델이 지나치게 단순해져 일반화 능력이 떨어질 수 있습니다(과소적합). 일반적으로 홀수의 K값을 선택하여 다수결에서 동점이 발생하지 않도록 합니다.

 

K-NN은 단순하지만 K값을 적절히 선택하는 것이 중요합니다.

예시:

• K = 1일 때: 가장 가까운 이웃 하나만을 고려해 예측합니다. 이 경우 매우 민감하여 노이즈가 있는 데이터에 쉽게 영향을 받을 수 있습니다.
• K = 10일 때: 10개의 가장 가까운 이웃을 고려해 다수결로 예측을 결정합니다. 이 경우 데이터에 있는 노이즈의 영향을 덜 받지만, K값이 너무 크면 국지적인 패턴을 잡아내지 못하고 더 넓은 패턴만을 반영할 수 있습니다.

실제로 K값을 선택할 때는 여러 값을 시도하면서 최적의 성능을 나타내는 K값을 찾아내야 합니다. 보통 교차 검증(Cross-validation)을 통해 최적의 K값을 선택하는 방법이 사용됩니다.

 

K-NN의 활용 사례: 실생활에서의 적용

• 영화 추천 시스템

영화 추천 시스템에서는 사용자의 영화 시청 기록을 바탕으로 비슷한 취향을 가진 사용자들이 좋아하는 영화를 추천합니다. 예를 들어, A 사용자가 본 영화를 기준으로 가장 가까운 K명의 사용자들의 취향을 분석해, 그들이 좋아하는 영화를 A 사용자에게 추천할 수 있습니다.

 

• 이미지 인식

손글씨 인식에서 K-NN은 손글씨 이미지를 숫자로 분류할 때 사용됩니다. 새로운 숫자 이미지가 주어지면, 기존의 숫자 이미지와 비교하여 가장 가까운 K개의 숫자를 기준으로 예측합니다. 가장 많은 이웃의 숫자를 해당 이미지의 결과로 분류합니다.

 

• 의료 진단

의료 분야에서 K-NN은 환자의 증상을 바탕으로 질병을 진단할 때 활용됩니다. 새 환자의 증상이 기존 환자들의 증상과 유사한 K명의 환자들과 비교되며, 그들의 진단을 참고하여 새 환자의 질병을 예측할 수 있습니다.

 

분류와 회귀에서의 K-NN

• 분류 문제에서의 K-NN

K-NN은 주로 분류 문제에 사용됩니다. 새로운 데이터가 주어지면, 가까운 K개의 이웃의 레이블을 기준으로 다수결을 통해 클래스를 결정합니다.

 

예를 들어, 스팸 메일 필터링 시스템을 생각해 봅시다. 사용자는 스팸과 비스팸 메일을 분류하려고 합니다. K-NN 알고리즘은 주어진 이메일의 텍스트 정보를 기반으로 기존에 있는 '스팸'과 '비스팸'으로 분류된 메일과 비교합니다. 예를 들어, '돈', '무료', '할인'과 같은 단어들이 많이 들어있는 이메일은 스팸 메일과 더 가까운 이웃으로 분류될 수 있습니다.

 

• 회귀 문제에서의 K-NN

K-NN은 회귀 문제에도 사용할 수 있습니다. 회귀 문제에서는 K개의 이웃 값들의 평균값을 사용하여 새로운 데이터를 예측합니다.

 

예를 들어, 부동산 가격 예측의 경우, 특정 지역의 집 가격을 예측하기 위해 K-NN을 사용할 수 있습니다. 예를 들어, 새로 등록된 주택의 면적, 방 개수, 위치 등의 정보를 바탕으로 가장 가까운 K개의 주택 정보를 확인합니다. 그런 다음 이 K개의 주택 가격을 평균 내어 새 주택의 가격을 예측할 수 있습니다. 회귀에서 K-NN은 이렇게 연속적인 값을 예측하는 데 사용됩니다.

 

K-NN의 장단점

장점

• 단순하고 직관적: K-NN은 개념적으로 쉽고, 모델을 학습하는 과정이 없기 때문에 바로 사용할 수 있습니다.
• 모델 학습이 필요 없음: 데이터가 주어지면 바로 예측을 수행할 수 있는 게으른 학습 방식입니다.
• 비선형 데이터 처리 가능: K-NN은 데이터의 분포가 선형일 필요가 없어 비선형 문제에도 적합합니다.

단점

• 예측 시간의 비효율성: 예측할 때 모든 데이터를 사용하여 거리를 계산하므로 대규모 데이터셋에서 처리 속도가 느릴 수 있습니다.
• K값 선택의 어려움: 적절한 K값을 선택하지 않으면 과적합 또는 과소적합의 위험이 있습니다.
• 차원의 저주: 특징이 많아지면(고차원 데이터) 데이터 간 거리가 무의미해지는 현상으로, K-NN의 성능이 저하될 수 있습니다.

K-NN 알고리즘의 실용성과 적절한 활용 방안

 

K-NN 알고리즘은 직관적이고 사용하기 쉬워서 머신러닝의 기초를 이해하는 데 매우 좋은 출발점이 됩니다. 비슷한 데이터끼리 가까이 위치한다는 단순한 개념에 기반한 K-NN은 분류와 회귀 문제에 모두 적용 가능하며, 사용자 맞춤 추천 시스템이나 의료 진단과 같은 다양한 분야에서 실용적으로 활용될 수 있습니다.

 

하지만 K-NN의 단점으로는 대규모 데이터셋에서의 느린 예측 시간과 고차원 데이터에서의 성능 저하가 있습니다. 이를 보완하기 위해서는 적절한 K값 선택, 거리 측정 방법의 최적화, 고급 기법(KD-트리 등)과의 결합이 필요합니다. 이러한 점들을 고려하면, K-NN은 여전히 간단하고 강력한 예측 알고리즘으로서 다양한 문제를 해결하는 데 활용될 수 있습니다.