Computer vision - Motion

1. motion field

- 영상의 모션은 벡터로 나타낼수 있다. 시간에 따른 픽셀들의 x의 변화, y의 변화를 나타내기 때문이다.

- 오른쪽으로 큐브가 회전하고 있다.

- 이를 모션 field라고 한다. 

2. optical flow

- 물체가 움직이면 밝기 변화가 생긴다.

- 2d영상에서 시간에 따라 물체가 이동할 때, 밝기가 변하는 패턴을 통해 motion을 인식하는 것을 optical flow라고 한다.

- 화면을 block으로 나눈다.

- 영상에서 사람이 문 쪽으로 다가가면 생기는 block단위의 밝기 변화 패턴을 감지하면 이렇게 이동 방향을 벡터로 나타낼 수 있다.

- corner 등의 feature가 시간에 따라 어디로 이동했는지 탐지하면 그게 feature tracking이다.

- motion vector (u,v)를 찾는게 목적이다.

- 저 이동한 픽셀의 밝기는 동일하다고 가정한다.

- 그럼 식을 정리해서 벡터로 정리가 가능해진다.

- 위 식 하나만 가지고는 motion의 방향을 결정하기 애매하다. 이를 aperture problem이라고 한다.

- 이를 해결하기 위해 (y,x)화소를 중심으로 하는 윈도우 영역 N(y,x)내 광류는 동일하다고 가정한다. (Lucas Kanade)

- 그러면 각 윈도우에 대해서 식이 9개가 나오므로 u,v 두 변수의 값을 구할 수 있다.

- 자그럼 다시 여기서 u, v를 구해야 한다.

- AT를 양변에 곱하면 ATAvT = ATb

- 역행렬로 넘기면 vT = (ATA)-1ATb

- ATA의 아이겐 벡터, 아이겐 밸류를 구한다.

- 그럼 최종 u,v를 풀 수 있다.

 

- edge, low texture region의 optical flow를 구하는건 high texture region보다 더 어렵다.

- feature tracking : harris corner같은 특징을 잡음 -> Patch를 만들고 동일 점을 계속 추적 -> ransac으로 motion 경로 추정