확률변수, 기댓값과 분산

세 번 던진 동전의 결과열 HHT를 성공 횟수 2로 바꿀 수 있습니다. 이처럼 결과를 숫자에 대응시키는 함수가 확률변수입니다. 함수와 반복 시행을 바탕으로 이산확률변수의 평균과 변동을 계산합니다.

같은 값의 결과를 모은다

공정하고 서로 독립인 두 번의 동전에서 X를 앞면 개수라 하면 TT는 X=0, HT·TH는 X=1, HH는 X=2입니다. 따라서 P(X=0)=1/4,P(X=1)=1/2,P(X=2)=1/4입니다. 값이 세 개라고 각각 1/3이 아닙니다. 같은 값으로 가는 원래 결과의 확률을 합칩니다.

기댓값은 $E[X]=\sum_x xP(X=x)$입니다. 위 예에서는 0·1/4+1·1/2+2·1/4=1입니다. 이는 장기 반복의 평균을 설명하는 수치이며 한 번의 결과가 반드시 1이라는 뜻은 아닙니다. 값 0과 3을 반반 내는 변수의 기대는 1.5로, 실제 가능한 값이 아닐 수도 있습니다.

분산은 편차의 제곱 평균

$$\operatorname{Var}(X)=E[(X-E[X])^2]=E[X^2]-(E[X])^2.$$

위 X는 E[X²]=0+1·1/2+4·1/4=1.5이고 분산은 1.5−1²=0.5입니다. 이 예의 표준편차는 $\sqrt{0.5}$입니다. 일반적으로 표준편차는 분산의 음이 아닌 제곱근이며 상수 확률변수는 분산·표준편차가 0입니다. 편차 자체를 평균하면 양수·음수가 상쇄되어 0이 되므로 제곱을 사용합니다. E[X²]와 (E[X])²를 같은 값으로 취급하면 분산을 잃습니다.

이 절은 가능한 값이 유한한 확률변수를 다루므로 필요한 평균·제곱 평균은 모두 유한합니다. 기댓값은 독립 여부와 무관하게 $E[X+Y]=E[X]+E[Y]$입니다. 같은 원래 결과별로 $(X+Y)$를 가중 합하면 X의 합과 Y의 합으로 나뉘기 때문입니다. 또 $E[aX+b]=aE[X]+b$, Var(aX+b)=a²Var(X)입니다. 상수를 더하면 평균만 이동하고 흩어진 정도는 같기 때문입니다.

두 변수가 함께 변하는 정도: 공분산

X와 Y의 값을 따로 나열하는 데서 끝내지 말고 같은 결과에서 두 값이 어떻게 짝지어지는지 봅니다. 결합확률 $p(x,y)=P(X=x,Y=y)$는 각 값의 쌍이 함께 나올 확률입니다. 모든 쌍의 확률은 비음수이고 합이 1입니다. $μ_X=E[X]$, $μ_Y=E[Y]$라 쓰면 공분산은

$$\operatorname{Cov}(X,Y)=\sum_{x,y}(x-\mu_X)(y-\mu_Y)p(x,y) =E[XY]-E[X]E[Y]$$

입니다. 두 편차가 같은 부호면 곱이 양수, 반대 부호면 음수입니다. 곱을 전개해 $E[XY]-\mu_YE[X]-\mu_XE[Y]+\mu_X\mu_Y$를 얻고, 가운데 평균에 $μ_X,μ_Y$를 넣으면 오른쪽 식이 됩니다.

같은 동전 결과를 두 번 읽는 예: 공정한 동전 하나의 앞면을 1, 뒷면을 0으로 읽는 X를 만들고 Y=X로 둡니다. 두 개의 독립 동전을 뜻하지 않습니다.

E[X]=E[Y]=1/2, Var(X)=Var(Y)=1/4입니다. XY는 0 또는 1이므로 E[XY]=1/2이고 Cov(X,Y)=1/2−1/4=1/4입니다. 편차 곱으로 직접 계산해도 $(-1/2)(-1/2)(1/2)+(1/2)(1/2)(1/2)=1/4$입니다.

합 X+Y는 0과 2를 각각 확률 1/2로 갖고 평균은 1입니다. 정의로 계산한 분산은 $(0-1)^2/2+(2-1)^2/2=1$입니다. 개별 분산 1/4+1/4만 더한 1/2와 다릅니다. 합의 편차 제곱을 전개하면

$$\begin{aligned} \operatorname{Var}(X+Y) &=E[((X-\mu_X)+(Y-\mu_Y))^2]\\ &=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y) \end{aligned}$$

이므로 이 예는 1/4+1/4+2·1/4=1로 일치합니다. 분산을 그냥 더할 조건은 공분산이 0이라는 것입니다. 독립이면 p(x,y)=P(X=x)P(Y=y)라 E[XY]=E[X]E[Y]이고 공분산은 0입니다. 서로 독립인 공정한 두 동전의 0·1 변수에서는 네 값의 쌍이 각각 확률 1/4, E[XY]=1/4, 공분산 0, 합의 분산 1/2입니다.

역으로 공분산이 0이라는 사실이 항상 독립을 뜻하지는 않습니다. X가 −1,0,1을 각각 확률 1/3로 갖고 Y=X²라 하면 E[X]=0, E[Y]=2/3, E[XY]=E[X³]=0이므로 공분산은 0입니다. 그러나 P(Y=0)=1/3인데 P(Y=0|X=0)=1이므로 두 변수는 의존합니다. 이 예도 분산을 더할 수 있으며 Var(X)=2/3, Var(Y)=2/9, Var(X+Y)=8/9입니다.

저장소의 docs/cs-textbooks/discrete-math-examples/finite_probability.py를 Python 3으로 실행하면 위 세 결합분포를 무작위 추출 없이 정확한 분수 합으로 계산합니다. 같은 동전 예는 Cov = 1/4, VarSum = 1, 독립 예는 0과 1/2, 마지막 예는 0과 8/9를 출력하며 두 항등식 검산은 모두 True입니다. 공분산 정의·분산 합의 조건은 교재 저자의 공분산 절에서도 확인할 수 있습니다.

이항분포를 지시변수로 읽기

성공확률 p인 각 독립 시행의 성공 지시변수 I는 성공 1, 실패 0이므로 E[I]=p, Var(I)=p(1−p)입니다. 성공 횟수 X는 n개 I의 합이라 E[X]=np, Var(X)=np(1−p)입니다. n=4,p=1/2면 평균 2, 분산 1입니다. 이 분산 공식의 합에는 시행 독립성을 사용합니다.

스스로 풀어보기

문제 1. Y가 0을 확률 1/2, 2를 확률 1/4, 4를 확률 1/4로 갖습니다. 기대·분산을 구하세요.

풀이: E[Y]=0+2/4+4/4=3/2입니다. E[Y²]=0+4/4+16/4=5이고 분산은 5−(3/2)²=11/4입니다. 확률 합이 1인지, 분산이 음수가 아닌지도 검산합니다.

문제 2. X의 기대 2, 분산 3일 때 Z=2X+5의 기대와 분산은 무엇인가요?

풀이: 기대는 2·2+5=9, 분산은 2²·3=12입니다. 상수 5는 분산에 더하지 않습니다. 값을 두 배로 늘리면 편차도 두 배, 제곱 편차는 네 배가 됩니다.

평균 계산 전에 값별 확률을 모으고 합이 1인지 확인하세요. 허프만 평균 길이도 문자 확률로 코드 길이를 가중한 기댓값입니다. 교재 전체를 복습할 때 정의역·조건·한 반례·중간 계산을 먼저 적는 습관을 유지합니다.