독립과 직교(orthogonal)

Independent와 orthogonal은 통계학을 공부하면서 계속해서 등장한다. 뭔가 비슷하면서도 다른 두 개념을 더 헷갈리게 하는 건 대상이 벡터인지 변수(variable)인지에 따라 의미가 달라지기 때문이다. 선형 대수에서 벡터를 대상으로 하는 독립은 선형 독립, 통계학에서 변수를 대상으로 하는 독립은 통계적 독립이다. 우선 선형대수에서 정의하는 벡터의 선형 독립과 직교에 대해 알아보자.

Indepent & Orthogonal for Vector

두 벡터의 내적이 0일 때, 두 벡터는 직교한다고 정의한다. 이때 두 벡터가 이루는 각도가 90도 이며 코사인 값은 0이다.

한편 특정 벡터의 선형 결합으로 다른 벡터를 표현할 수 없을 때, 두 벡터는 선형 독립이라고 정의한다. 따라서 두 벡터가 직교하면 독립이지만, 독립이라고 직교하진 않는다. 다음의 예를 보자.

u의 선형 결합으로 v를 만들 수 없고, v의 선형 결합으로 u를 만들 수 없으므로, 두 벡터는 선형 독립이다. 하지만 직교하지 않는 걸 확인할 수 있다. 이제 통계학의 확률 변수에서 얘기하는 통계적 독립과 직교를 보자.

 

Indepent & Orthogonal for Variable

통계학에서는 두 변수의 joint가 각각의 marginal의 곱과 같으면 두 확률변수는 통계적 독립이라고 정의한다. X, Y가 독립이면 E(X, Y) = E(X) * E(Y) 이므로 공분산이 0이 된다. 두 확률 변수를 벡터 공간에서 생각했을 때, 선형 독립은 통계적 독립을 보장해주지 않지만, 선형 종속인 경우 통계적 종속임은 성립한다. 

또한 이 벡터 공간에서 두 확률변수의 공분산은 두 벡터의 내적으로 생각할 수 있는데, X, Y가 통계적 독립이면 공분산(내적)이 0이므로 두 확률 변수는 uncorrelated하고 orthogonal 하다고 할 수 있다. 하지만 두 확률 변수가 orthogonal 하다고 해서 독립은 아니다. 이런 용어적 혼동은 orthogonal이 통계학 개념이 아닌데서 기인하는데, orthogonal과 uncorrelated는 같은 의미이므로, 확률 변수에 대해서는 uncorrelated, 벡터에 대해서는 orthogonal이라는 용어를 사용하는 게 좋아 보인다.