패턴인식 - 2. 단서와 판단(1)

1. 단서와 판단

- 남자인지 여자인지(class)를 판단할때 feature로 머리카락 길이를 선정했다고 하자.

- 우리가 통계적으로 P(긴머리 | 여자) > P(긴머리 | 남자)임을 알고 있다고 하자. (학습을 통해 알아낸 사전확률, 사전지식)

- 사전에 알고있는 지식으로부터 P(여자 | 긴머리) > P(남자 | 긴머리) 라는 새로운 지식으로 변환할 수 있다. (판단의 근거가 되는 사후확률, posterior) 

- 즉 패턴인식의 본질은 조건부 확률의 계산이다. 

 

- 피처와 클래스가 많아진 경우를 살펴보자.

- P(피처벡터 | 클래스벡터)는 데이터로부터 얻을 수 있는 사전 정보들이다. 여기서 판단의 근거가 되는 확률인 P(클래스벡터 | 피처벡터)를 계산을 통해 구해야 한다.

- 그러나 feature가 많아지면 다차원 공간에서 확률분포(모델)가 만들어진다.

- 개념적으로는 쉬우나 피처 추가되는 경우 문제의 문제의 복잡도가 늘어날 수 있다.

- 즉 앞으로 패턴 인식의 문제를 conditional probability를 통해 해결하는 방법을 배울 것이다.

- feature x에 대해서 class1일 확률이 class2일 확률보다 높다면 class1이라고 판단할 근거가 될 수 있다.

- 즉 경험(데이터)으로 부터 얻을 수 있는 P(x|c), likelihood를 가지고 P(c|x)를 구해야 한다.

2. Bayesian Rule (베이즈 법칙)

- 베이즈 법칙으로 그 변환을 수행할 수 있다.

- 사전지식과 likelihood로 posterior을 구할 수 있다.

3. 판단 오류

- x라는 특징을 근거로 c1이라고 분류했을때, x특징을 갖지만 c2인 경우들은 모두 오류케이스가 될 것이다.

- 즉 에러가 발생할 확률 P(error|x)는 더 작은 P(c|x)가 될 것이다.

- 이렇게 구한 에러 확률을 최소가 되도록 하기 위해 minimize probability of wrong descision 문제로 확장할 수 있다.

- 베이즈 정리 문제에서 출발했지만 error 함수를 만들고 최소가 되도록 최적화하는 미분의 문제로 확장할 수 있는 것이다. 

4. 손실, 비용

- x라는 증거에 대해 c1이라고 판단을 내렸을때 발생하는 비용이 c2라고 판단을 내렸을때의 비용보다 크다면 가중치를 설정할 수 있다.

- 예를들어 레이더 탐지과정에서 아군기인지 적군기를 판단하는 문제를 들어보자.

- 아군기를 적군기로 판단하는 것의 비용이 적군기를 아군기로 판단하는 비용보다 크다면 feature x에 대해서 P(아군|x)에 가중치를 P(적군|x)보다 더 크게 주어야 할 것이다.

- 즉 판단 오류에 따른 손실, 이익 비용을 고려하여 문제를 확장할 수 있다.

5. 일반화

- 현실세계에서는 2개 이상의 class가 존재한다. 필기인식의 경우 0~9까지의 class가 존재할 수 있다.

- feature도 여러개가 존재할 수 있다.

- 만약 feature가 d개로 확장된다면 판단의 문제는 d차원 dimension의 공간에서 class를 구분하는 문제가 된다.

- false alarm의 경우 비용이 더 크다면 클래스 판단에 있어서 근거의 가중치를 다르게 설정할 수 있다. 혹은 답을 낼 수 없다는 선택지가 고려될수도 있다.

- 최종적으로 판단을 할때는 비용이 최소가되는 선택을 하게 된다.

6. Example

- 이렇게 판단의 최종 근거가 되는 비용이 구해지면 드디어 분류를 할 수 있다.

- 식을 계속 간단히 하다보면 맨 마지막 식이 도출된다. 즉 (좌)likelihood의 비율이 (우)임계값 보다 크면 c1을 판단하게 된다.

- 결국 인식과 판단의 문제를 확률로 해결할 수 있다.

 

- 남자를 정답으로 골랐을 때 발생하는 비용이다. 그러나 남자를 남자라고 옳게 판단했을 때는 비용이 0이니까. 여자를 남자로 판단했을 때 발생하는 바용 람다12만 고려할수 있다.

- 마찬가지로 여자를 정답으로 골랐을 때 발생하는 비용이다. 그러나 여자를 여자라고 옳게 판단했을 때는 비용이 0이니까. 남자를 여자로 판단했을 때 발생하는 바용 람다21만 고려할수 있다.

7. 확장

만약 클래스가 두개가 아니라 {c1,c2,c3} 세개라면?

- l11, l12, l13, l21, l22, l23, l31, l32, l33 총 9가지 경우가 있다. 

- c1라고 분류했을 때 비용 = l11P(c1|x) + l12P(c2|x) + l13P(c3|x)

- c2라고 분류했을 때 비용

- c3라고 분류했을 때 비용

- 이 세 경우 중 비용이 낮은 경우로 분류하면 된다.

 

{바나나, 사과}로 분류, 서로 독립인 세개의 특징, [길이, 당도, 색]의 경우?