가설·검정·p값·오류

표본에서 차이가 보이면 곧바로 출시해도 될까

새 화면을 쓴 사람들의 작업시간이 짧아졌다고 하자. 화면이 좋아졌을 수도 있지만, 원래 빠른 사람이 새 화면 집단에 많이 들어갔을 수도 있다. 먼저 비교할 사람과 측정방법을 정하고, 차이가 없는 상황에서도 이 정도 차이가 흔히 나타나는지 따져야 한다.

이 절에서는 여섯 번의 동전 던지기로 검정의 생각법을 익힌다. 업무시간 자료에서 방법을 선택하고 표본수·계산·답안을 완성하는 적용은 가설검정·효과크기·검정력에서 이어진다. 동전과 업무 사례는 모두 자체 교육 예제다.

먼저 되짚기: 모집단·표본·추정

모집단은 알고 싶은 대상 전체이고 표본은 실제 관찰한 일부다. 추정은 표본에서 계산한 값으로 모집단의 특성을 불확실성과 함께 짐작하는 과정이다. 표본의 선택이 치우치면 크기가 커도 모집단을 대표하지 못한다.

먼저 비교할 두 주장을 정한다

통계적 가설은 모집단이나 자료 생성과정에 관한 검토 가능한 주장이다. 귀무가설 H₀는 검정에서 기준으로 삼는 주장이고, 대립가설 H₁은 그와 구별하려는 주장이다. H₀가 항상 ‘어떤 효과도 없다’인 것은 아니며 무엇을 기준으로 삼는지 명시해야 한다.

예를 들어 동전은 H₀를 ‘매번 앞면 확률이 1/2’, H₁을 ‘앞면 확률이 1/2와 다르다’로 정한다. 화면 비교는 H₀를 ‘두 모집단의 평균 작업시간 차이가 0’, H₁을 ‘0이 아니다’로 둘 수 있다. 앞면 확률과 작업시간 평균은 다른 대상이므로 같은 검정식을 무조건 복사하지 않는다.

앞면이 여섯 번 나왔다면 무엇과 비교하는가

던지기 횟수를 결과를 보기 전에 6번으로 고정한다. 각 던지기가 독립이고 H₀가 맞으면 앞·뒷면의 순서 64가지가 모두 같은 확률이다. 64는 2를 여섯 번 곱한 수다.

앞면이 한 번 나오는 위치는 6곳이다. 앞면 두 번의 위치는 6×5에서 순서만 바꾼 중복을 두 번씩 셌으므로 6×5/2=15가지이고, 세 번은 6×5×4/(3×2×1)=20가지다. 앞·뒷면을 바꾸면 나머지 도수도 얻으며 표의 합은 64다.

예상 중심 3에서 얼마나 멀어졌는지로 이례성을 정한다. 앞면 6번의 거리는 3이고, 뒷면만 나온 앞면 0번도 거리가 3이다. 양쪽 방향을 함께 보는 양측 비교에서는 두 경우를 모두 세므로 관찰한 정도 이상으로 치우친 확률은 2/64 = 0.03125다.

앞면이 5번이라면 거리 2 이상인 앞면 수 0·1·5·6을 센다. 이때는 (1+6+6+1)/64 = 0.21875다. ‘관찰한 순서 하나의 확률’만 세는 것이 아니라 사전에 정한 기준에서 같거나 더 극단적인 모든 결과를 합한다.

이례성을 숫자로 읽는 p값

검정통계량은 표본이 귀무가설에서 얼마나 벗어났는지 한 값으로 요약한 것이다. 위 동전에서는 ‘앞면 수와 3의 거리’를 사용했다. 검정 방법은 자료형, 표본설계와 분포 가정에 따라 이 통계량의 귀무가설 아래 분포를 정한다.

p값은 귀무가설과 검정의 가정이 맞다고 할 때, 관찰한 검정통계량과 같거나 귀무가설에 더 불리한 값이 나올 확률이다. 위 예의 p값은 0.03125다. 이것은 ‘공정한 동전일 확률이 3.125%’ 또는 ‘대립가설이 맞을 확률이 96.875%’라는 뜻이 아니다. 조건으로 둔 H₀의 확률과 그 조건 아래 자료의 확률은 서로 다른 질문이다. [S1]

계산한 뒤 기준을 고르지 않는다

유의수준 α는 알파라고 읽는 기호로 나타내며, 참인 귀무가설을 잘못 기각할 위험을 관리하기 위해 자료를 보기 전에 정하는 기준이다. 여기서는 α=0.05로 정했다. p≤α이면 H₀를 기각하고, 그렇지 않으면 기각할 증거가 부족하다고 말한다.

6번 모두 앞면인 p=0.03125는 0.05보다 작으므로 이 규칙에서 기각한다. 5번 앞면인 p=0.21875는 기각하지 못하지만 공정함을 증명한 것은 아니다. 이 이산적인 예에서 실제 H₀ 아래 기각 확률은 2/64이므로 α=5%가 실제 오류율을 언제나 정확히 5%로 만든다는 뜻도 아니다.

기각은 정한 모형·규칙 아래의 판단이다. 독립성이나 관측 과정이 잘못되었다면 동전 자체의 성질만 탓할 수 없다.

평균 차이는 표준오차 몇 배인지로 읽는다

평균·분산·표본·추정에서 표준오차는 통계량의 반복 표본 흔들림을 뜻했다. 차이 추정값이 2초, 귀무가설의 차이가 0초, 그 차이의 표준오차가 1초이면 표준화한 통계량은 (2-0)/1=2다. 2초라는 효과와 단위가 없는 통계량 2는 같은 정보가 아니다.

정규모형에서 모집단의 퍼짐을 알아 표준오차를 정할 수 있으면 표준정규분포의 z값과 비교한다. 퍼짐을 같은 표본으로 추정하는 정규 평균 검정에는 그 추가 불확실성을 반영한 t분포를 사용한다. 표본이 30개를 넘었다는 사실만으로 모집단 표준편차를 안다고 가정하지 않는다. [S2][S3]

자유도는 통계량의 기준분포를 정할 때 사용하는 모수다. 독립적인 정규 표본 하나에서 평균을 추정한 t검정의 자유도는 n-1이다. 평균과의 편차 합이 0이라 마지막 편차를 마음대로 바꿀 수 없다는 평균·분산·표본·추정의 설명과 연결된다.

임계값은 이 값을 넘는 양쪽 꼬리 면적의 합이 5%가 되는 경계다. 통계량 2는 정규 기준에서는 경계 밖이지만 자유도 5인 t 기준에서는 안쪽이다. 기준분포와 자유도를 먼저 정해야 같은 숫자를 올바르게 판단할 수 있다. 복잡한 꼬리면적 적분은 암산을 요구하지 않으며, 적용 절에서 필요한 임계값과 p값 조회값을 함께 제공한다.

12번 측정했어도 12명이 아닐 수 있다

독립 두 집단은 서로 다른 관찰 단위를 각 집단에서 비교하는 구조다. 6명은 기존 화면, 다른 6명은 새 화면을 한 번씩 쓰게 하면 각 집단 6명이다. 같은 사람이 두 화면을 모두 쓰면 사람별 두 값이 연결된 대응 자료이며 6쌍이다.

같은 사용자의 두 시간은 숙련도 같은 공통 원인의 영향을 받으므로 무관한 12명으로 세지 않는다. 대응 비교에서는 사람마다 ‘기존 시간−새 시간’을 먼저 구하고, 서로 독립인 6명의 차이를 분석한다. 같은 인원수라는 이유만으로 서로 다른 사람을 짝짓는 것도 잘못이다. [S3]

사용자 6명에게 100번씩 클릭하게 해도 독립 사용자 600명을 관찰한 것이 아니다. 무엇을 독립 단위로 배정·관찰했는지부터 확인한 뒤 표본수를 센다.

표본 증거를 의사결정으로 바꾸는 흐름

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

H₀는 독립적인 6번의 던지기에서 앞면 확률이 1/2이라는 가설이고, H₁은 1/2와 다르다는 가설이다. 앞면이 6번이면 중심 3에서 거리가 3인 0·6을 합해 p=2/64=0.03125, 앞면이 5번이면 거리가 2 이상인 0·1·5·6을 합해 p=14/64=0.21875다. 자료를 보기 전에 α=0.05를 정하고 두 결과를 다르게 판정한다. p는 H₀의 사후확률이 아니다.

이 통계 판단에는 사전 유의수준뿐 아니라 효과크기·신뢰구간·오류비용·가정 검토가 이어진다. 기각과 기각하지 못함은 업무결정과 동일하지 않으므로 출시·추가실험·중단을 별도로 판단하고 재검증한다.

두 종류의 오판 비용을 바꿔 생각한다

1종 오류는 참인 H₀를 기각하는 오류이고, 2종 오류는 거짓인 H₀를 기각하지 못하는 오류다. 후자를 ‘효과가 없다고 증명했다’로 해석하지 않는다. 특정한 실제 효과를 놓칠 확률을 β(베타)라 하면 검정력은 1-β로 그 효과를 탐지할 확률이다.

화면 평균 차이 0을 H₀로 둔 경우를 표에 적용한다.

효과 없는 화면을 전사 배포하는 비용과 실제로 좋은 화면을 놓치는 비용이 다르다. 예를 들어 진짜 5초 단축이 있을 때 검정력 80%인 설계도 같은 조건의 반복 실험에서는 약 20%를 놓칠 수 있다. 이 80%는 이번 도입 결정이 맞을 확률이 아니다. 유의수준은 관습적으로 고정할 숫자가 아니라 결정 비용, 필요한 검정력, 표본 확보 가능성과 함께 정한다.

통계적 유의성과 실질적 중요성도 다르다. 표본이 매우 크면 업무상 무의미한 작은 차이도 작은 p값을 만들 수 있고, 표본이 작으면 중요한 차이도 검출하지 못할 수 있다. 효과 크기, 신뢰구간, 비용·위험과 재현 가능성을 함께 제시한다.

자체 10점 문제

가설검정, p값, 유의수준과 1·2종 오류를 설명하고 정보시스템 실험 결과 해석 시 유의사항을 제시하시오.

요구어는 설명과 제시다. p값을 가설의 사후확률로 해석하지 않고 효과크기·신뢰구간·관찰단위·오류비용과 함께 판단한다.

10점 답안 목차와 도식 보기

10점 답안 목차

1. H0·H1
2. 검정통계량과 기준분포
3. p값과 α
4. 1종·2종 오류와 검정력
5. 효과크기·구간·업무비용

10점 답안 도식

양측 동전 판정 그림에서 가설 → 표본 → 통계량 → p값을 읽고 사전 α·오류비용과 비교한다. 통계판단 뒤에도 효과·구간·업무비용에 따른 업무판단이 필요하다.

화면 A와 B를 비교하는 검정의 흐름

1. 의사결정과 의미 있는 최소 구매율 차이를 먼저 정한다.
2. H₀를 A와 B의 모집단 구매율은 같다, H₁을 다르다로 둔다.
3. 사용자를 무작위로 나누는 방법, 표본 수, 관찰기간, 제외 기준과 유의수준을 자료를 보기 전에 정한다.
4. 두 집단의 차이를 검정통계량으로 계산하고, H₀ 아래 같거나 더 극단적인 차이의 확률인 p값을 구한다.
5. p값을 유의수준과 비교하되, 차이의 추정값과 신뢰구간, 1종·2종 오류 비용을 함께 본다.
6. 통계적 판단과 업무적 판단을 분리해 출시·추가실험·중단을 결정한다.

신뢰구간은 같은 절차를 반복했을 때 정한 비율의 구간이 참값을 포함하도록 만든 추정 범위다. 한 번 얻은 구간은 효과 크기와 불확실성을 함께 보여 주므로 p값 하나보다 업무적으로 의미 있는 차이가 가능한지 판단하기 쉽다. 검정 결과는 자료와 가정에 조건부인 증거이지 가설의 영구 판결이 아니다.

자체 설계 예에서는 사용자별 무작위 배정·사용자당 한 구매 여부, 주지표 구매율, 양측 α=0.05, 기준율 10%, 탐지할 개선 2%p(10%→12%), 목표 검정력 약 80%를 사전 선택한다. 독립 두 비율의 정규근사를 쓰는 계획 계산에서 집단당 필요 수는 약 3842명 수준이므로 4000명씩을 선택하고, 배정·관찰기간·동일 사용자 중복과 탈락 처리 규칙을 고정한다. 계획식의 중간값은 평균 예상율 0.11, 양측 5% 임계값 1.96, 검정력 80%의 표준정규 분위수 약 0.842다. 같은 크기의 두 집단에서 n≈[1.96√(2×0.11×0.89)+0.842√(0.10×0.90+0.12×0.88)]²/0.02²≈3842로 역산한다. 계획식은 두 집단의 예상 구매율 0.10·0.12와 그 평균 0.11을 쓴다. 2%p 차이를 비율로 쓰면 0.02다. 첫 제곱근은 √0.1958≈0.44249, 둘째는 √0.1956≈0.44227이므로 두 곱은 약 0.86729와 0.37239다. 합 1.23967을 제곱한 1.53679를 0.02²=0.0004로 나누면 위에 표시한 반올림 임계값에서 약 3841.98명, 즉 정수로 3842명이다. 실제 선택 4000명은 이 계획 수를 넘긴다. 이 80%는 차이 0이라는 H0를 기각할 근사 검정력이며 아래의 더 엄격한 출시선 통과확률이 아니다. 예상 기준율·독립성·정규근사에 의존한 교육용 계획값이므로 모든 실제 실험에 적용하는 상수가 아니다.

관측이 A 400/4000=10%, B 480/4000=12%라면 차이는 2%p다. 두 비율 차이의 근사 표준오차는 √(0.10×0.90/4000+0.12×0.88/4000)≈0.00699, 95% 구간은 약 [0.00629,0.03371], 곧 [0.63%p,3.37%p]다. 0과의 차이 증거와 “최소 2%p 이득을 보장할 근거”는 다르다. 예를 들어 출시 기준을 이득 구간의 하한≥2%p와 안전지표 충족으로 미리 정했다면 이 결과는 출시 보류이고, 후속 독립 실험을 새 계획으로 검토한다. 같은 자료에 유리한 결과가 나올 때까지 표본을 덧붙이지 않는다.

같은 무작위 배정·독립 두 집단 조건에서 H0: 두 구매율의 차이=0을 양측 정규근사로 검정해 보자. H0 아래 공통 비율은 (400+480)/(4000+4000)=0.11, 검정용 표준오차는 √(0.11×0.89×(1/4000+1/4000))≈0.006996이다. 따라서 z=(0.12−0.10)/0.006996≈2.86, 양측 p≈0.0043으로 α=0.05에서 H0를 기각한다. 앞의 효과 구간은 두 집단의 관측 비율을 따로 사용한 것이므로 검정용 공통 비율의 표준오차와 구별한다. 통계적으로 차이 0을 기각해도 구간 하한 0.63%p가 사전 출시선 2%p에 미달하므로 출시 보류 판단은 그대로다. 계산식과 검정 가정은 가설검정·효과크기·검정력에서 이어 읽는다.

원하는 p값이 나올 때까지 분석하면 오류율 약속이 깨진다

자료를 보며 표본을 더 모으거나, 여러 지표·집단·기간을 시험한 뒤 작은 p값만 보고하면 우연한 결과를 고를 기회가 늘어난다. 이를 막으려면 주가설, 지표, 표본 수, 종료와 제외 기준을 미리 정하고 모든 분석 수를 기록한다. 여러 검정을 했다면 전체 거짓양성 위험을 통제하는 보정이나 독립 자료에서의 재검증이 필요하다.

비무작위 집단의 차이를 검정해도 숨은 원인과 선택편향이 사라지지 않는다. 검정 가정에 맞지 않는 자료, 서로 의존하는 관측을 독립으로 처리한 자료, 중도이탈자를 뺀 자료는 p값을 왜곡한다. 유의하지 않음을 차이 없음으로 바꾸지 말고 검정력과 신뢰구간이 배제할 수 있는 효과 범위를 함께 말한다.

정답을 읽기 전에 세 문장을 고쳐 본다

‘여섯 번 모두 앞면이면 p=1/64다’는 양측의 반대쪽 극단을 빠뜨렸다. ‘앞면 0번도 포함하여 p=2/64=0.03125’로 고친다. 복습: 동전의 전체 경우.

‘p=0.21875이므로 동전은 공정하다’는 기각하지 못함을 증명으로 바꿨다. ‘α=0.05에서 공정함을 기각할 증거가 부족하다’로 고친다. 복습: 사전 기준.

‘같은 사람 6명의 전후 측정은 n=12’는 독립 단위를 잘못 셌다. ‘같은 사람의 차이 6개, 즉 6쌍’으로 고친다. 복습: 관찰 단위.

10점 모범답안 보기

기술사 답안으로 전환하기

예상문제: “가설검정, p값, 유의수준과 1·2종 오류를 설명하고 정보시스템 실험 결과 해석 시 유의사항을 제시하시오.”

귀무가설 H₀는 보통 차이·효과가 없다는 기준 가정, 대립가설 H₁은 검출하려는 차이·효과가 있다는 가정이다. p값은 H₀와 검정 가정이 맞을 때 관찰한 검정통계량과 같거나 H₀에 더 불리한 값이 나올 확률이다. 이는 H₀가 참일 확률이나 결과가 우연일 확률이 아니다. 자료를 보기 전에 정한 유의수준 α와 비교해 p≤α이면 H₀를 기각하고, 그렇지 않으면 기각할 증거가 부족하다고 말한다.

1종 오류는 실제 효과가 없는데 있다고 판단하는 거짓양성, 2종 오류는 실제 효과가 있는데 놓치는 거짓음성이다. 검정력은 1-β로 정한 크기의 실제 효과를 찾을 확률이다. 제품 출시에서는 효과가 없는데 대규모 투자하는 비용과 유효한 개선을 놓치는 비용을 비교해 α, 필요한 표본 수와 최소 의미 효과를 사전에 정한다.

결과는 p값뿐 아니라 효과 크기, 신뢰구간과 업무 비용으로 판단한다. 유의하지 않음은 차이 없음의 증명이 아니고, 큰 표본의 작은 p값도 실무상 무의미할 수 있다. 자료를 보며 종료·지표·집단을 바꾸거나 많은 검정 중 유리한 것만 보고하면 거짓양성이 늘어난다. 무작위 배정·독립성·분포·탈락 조건, 사전 계획, 다중분석 기록과 독립 재검증으로 통제한다.

자체 25점 문제

A/B 화면 실험에서 가설·관찰단위·표본수·유의수준·효과크기·1·2종 오류비용을 사전에 정하고 p값·신뢰구간으로 출시 판단하는 절차를 설계하시오.

요구어는 설계다. 결과를 본 뒤 표본·지표·종료규칙을 바꾸지 않고 통계적 유의성과 업무적 중요성을 분리한다.

25점 풀이 방향과 모범답안 보기

25점 답안 목차

1. 업무결정·최소 의미효과
2. H0·H1
3. 독립 관찰단위·배정
4. 표본수·기간·제외기준
5. α·검정력·오류비용
6. 통계량·p값·구간
7. 다중검정·중도종료 통제
8. 출시·추가실험·중단

25점 답안 도식

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

사전 계획은 4000명씩·기준 10%·개선 2%p·양측 α=0.05다. A 400/4000과 B 480/4000의 차이는 2%p이며, 95% 구간 약 0.63~3.37%p는 하한≥2%p라는 출시선을 넘지 못한다. 안전지표까지 충족해야 출시하며 이 관측 결과에서는 출시를 보류한다. 후속 실험은 새 독립표본·종료계획으로 검토한다.

25점 모범답안

먼저 출시결정에서 의미 있는 최소 효과와 없는 효과를 채택하는 비용, 있는 효과를 놓치는 비용을 정한다. H0와 H1, 주지표, 독립 관찰단위, 무작위 배정, 표본 수·기간·제외기준과 유의수준을 자료를 보기 전에 고정한다.

자료에서 효과크기와 신뢰구간을 계산하고 H0 아래 관찰한 정도 이상으로 극단적인 통계량이 나올 확률인 p값을 구한다. p값을 H0가 참일 확률로 바꾸지 않고 α와 비교한다. 기각하지 못한 결과도 효과가 없음을 증명한 것으로 말하지 않는다.

다중지표·집단·기간을 분석했다면 거짓양성 기회를 기록하고 필요한 보정이나 독립 재검증을 한다. 효과가 통계적으로 유의해도 업무상 너무 작으면 출시하지 않을 수 있고, 중요한 효과를 배제하지 못하는 넓은 구간이면 추가 실험을 선택할 수 있다.

앞의 선택안은 사용자 4000명씩, 기준 10%·최소 개선 2%p·양측 α=0.05이며 독립 사용자 배정 가정의 근사 계획이다. A 10%·B 12%의 결과 구간 약 0.63~3.37%p는 사전 출시선인 하한 2%p를 넘지 못하므로 출시를 보류한다. p값의 유의 여부만으로 이 결정을 뒤집지 않으며 후속 실험은 새로운 표본·종료계획으로 검토한다.

자기교정과 조건 변경

1종 오류 비용이 매우 크다면? α와 검증절차를 더 엄격하게 하고 필요한 표본·검정력을 다시 설계한다.

효과크기는 크지만 구간이 매우 넓다면? 불확실성이 커서 추가 표본이나 재검증을 검토한다.

여러 지표 중 하나만 유의하다면? 사전 주지표와 전체 검정 수를 확인하고 선택보고를 피한다.

30초 정리

1. 가설검정은 귀무가설을 증명하거나 반증하는 절대적인 절차가 아니라 표본 증거의 이례성을 평가하는 절차다.
2. p값은 귀무가설과 가정 아래 관찰값 이상으로 극단적인 자료가 나올 확률이다.
3. 1종 오류는 없는 효과를 있다고 판단하는 오류이고, 2종 오류는 있는 효과를 놓치는 오류다. 검정력은 후자를 피할 능력이다.
4. 유의수준·표본계획을 미리 정하고 효과 크기·신뢰구간·가정·다중검정과 업무 비용을 함께 판단한다.

근거와 다음 학습 위치

[S1] ASA, Statement on Statistical Significance and P-Values 발표문(2016-03-07), PDF 2쪽의 여섯 원칙. https://www.amstat.org/asa/files/pdfs/P-ValueStatement.pdf

[S2] NIST/SEMATECH e-Handbook, 1.3.5.3 Two-Sample t-Test for Equal Means, 통계량·임계영역. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm

[S3] NIST/SEMATECH e-Handbook, 7.3.1.1 Analysis of paired observations, 차이·표준편차·자유도·통계량. https://www.itl.nist.gov/div898/handbook/prc/section3/prc311.htm

기본 정의는 이 절이 담당하고, 평균·표준오차·구간은 평균·분산·표본·추정을 재사용한다. 동전 경우의 수와 업무 예시는 자체 유도이며 원문에 실린 실험이 아니다. 확인일은 2026-09-17이고 전문·권리·독립 검수 승인을 의미하지 않는다. 자료별 방법 선택부터 완성 답안까지는 가설검정·효과크기·검정력에서 이어간다.