패턴인식 - 3. 단서와 판단(2)

1. P(x|c)가 정규분포라면?

- 클래스 i에서 xi 특징이 나타나는 확률이 정규분포를 따른다면

- 베이어 판단 문제는 이렇게 바뀐다.

2. Discriminant Functions

- 결국 부등식을 푸는 문제다. 항을 한 쪽으로 몰아서 분별함수를 만들 것이다.

- 클래스 i에서 xi 특징이 정규분포를 이루기 때문에 위처럼 표현 가능하다.

- g1(x) >< g2(x)를 서로 비교하면 된다.

- 두 정규분포의 평균이 다를 때, 총 네가지 케이스를 살펴보자.

- case0 : 1차원에서 평균은 다른데 분산이 같은 경우

- case1 : (다차원) 클래스에 대한 특징들의 정규분포에서 서로 평균은 다른데 분산이 같은 경우 (P(x|c)의 분산들은 서로 같다)

- case2 : (다차원) P(x|c)의 분산들은 서로 다르다. 단 (c1, c2에서는 동일하다.)

- case3 : (다차원) P(x|c)의 분산들은 서로 다르다. (거의 풀기가 어렵다)

- 각 case별로 문제를 풀어보자.

3. case 0

- 두개의 클래스 c1, c2를 single feature x로 구분한다.

- 각 클래스에 대한 feature의 확률을 정규분포를 따른다.

- case 0의 경우이기 때문에 분산은 서로 같다.

- p(c|x)를 구하고 로그를 씌운다. 최종 discrimination funcition은 위와 같다.

- 결국 x feature에 대해서 c1이냐 c2냐를 결정하는 문제는 위의 부등식 문제가 된다.

*평균이 같냐, 다르냐 분산이 같냐 다르냐에 따라서 부등식이 달라진다.

- 그래프로 나타내면 위와 같다. (평균은 다른데 분산이 같은 경우) 부등식을 풀면 1차식으로 나타난다. (해가 1개)

*참고로 같은 문제조건에서 평균은 같은데 분산이 다르면 위와 같이 그래프가 그려질 것이다. 부등식을 풀면 2차식으로 나타난다 (해가2개)

*같은 문제조건에서 평균, 분산이 다르면 위와 같이 그래프가 그려질 것이다. 부등식을 풀면 2차식으로 나타난다.

4. case 1 

- 다차원 공간에서 평균은 다른데 분산이 같은 경우이다.

- feature도 한개가 아니라 [x1, x2] 처럼 여러개이다.

- p(x1|c1), p(x1|c2), p(x2|c1), p(x2|c2) 모두 분산은 동일하다. (클래스에 대한 feature들의 정규분포에서 분산 동일)

- 실제 패턴인식, 머신러닝 문제에서는 공간이 500차원도 훌쩍 넘는다. (hyperspace)

- case1 조건에 따라서 부등식을 만들기위해 식을 정리하면 위처럼 된다. (클래스와 상관없이 값이 같은 부분)

- 분산이 모두 같다고 했기 때문에 discriminant function이 linear function으로 바뀌었다.

- case1은 1차원 공간이라면 선형 방정식으로 그려지고 2차원 공간이라면 평면으로 그려진다.

- 이제 두 g1(x)와 g2(x)가 만나는 평면을 구한다. 2차원 feature 벡터 공간에서 c1, c2를 나누는 평면을 찾는 것이다.

- 두 클래스를 구분하는 plane을 눈으로 확인해보자.

- 참고로 삼차원 이상으로 가면 이렇게 눈으로 그려볼수가 없다. 따라서 차원의 변화에 따른 판단을 여기서 잘 이해해야 한다.

5. case 2

- 다차원에서 feature들의 분산은 서로 다르지만, class의 분산은 서로 같은 경우, (평균은 다르다.)

- p(x1|c1)와 p(x2|c1)의 분산이 다르다. [a1, a2]

- p(x1|c2)와 p(x2|c2)의 분산도 다르다. [a1, a2]

- 그런데 둘다 [a1, a2]로 동일하다. 

- 따라서 타원 모양이 서로 같고 위치만 다른데 feature들의 분산이 달라서 타원형이 된다.

- 부등식 비교를 위해 식을 정리한다.

- 두개의 클래스를 구분하는 discriminant function을 구해보자.

- case 1에서는 원의 중심을 잇는 선과 직교하는 평면이 그려졌지만 case2에서는 기울어진 평면이 그려진다. 시그마1과 시그마2가 다르기 때문이다.

- 두 클래스 모양이 동일한 이유는 분산이 서로 [a1, a2]로 동일하기 때문이다.

6. case 3

- p(x1|c1), p(x1|c2), p(x2|c1), p(x2|c2) 모두 평균, 분산이 다르다.

- 여기서는 모든게 다르기 때문에 상수항 빼고는 제거할게 없다.

- discrimination fuction이 곡면의 형태를 띤다. 

- 이렇게 다차원 공간에서 분별함수가 곡면을 띠는 경우는 수학적 모델로 해결할 수 없다.

- 선으로 바꾸어서 풀거나 kernel mapping을 사용해서 푸는 경우가 있다.

- 클래스가 많아지면 위와 같아진다.