가설검정·효과크기·검정력

1. ‘적절한 검정을 선택한다’에서 한 걸음 더 간다

새 업무화면을 도입하기 전에 평균 완료시간이 달라지는지 검토하려 한다. 다른 사람끼리 비교하는지 같은 사람의 전후를 비교하는지에 따라 계산할 변동성이 달라진다. p값이 작더라도 비용을 들여 도입할 만큼 빨라졌는지는 별도의 질문이다.

이 절에서는 자료 구조를 구별하고, 대응 자료와 독립 두 집단의 계산을 끝낸 뒤 표본수·분석계획·답안으로 연결한다. 모든 수치와 업무조건은 자체 교육 가정이며 실제 조사 결과가 아니다. 계산은 보통의 사칙연산으로 따라가고 분포표에서 읽는 값은 따로 제공한다.

귀무가설·p값·1종·2종 오류는 이미 배웠다

귀무가설·검정오류에서는 귀무가설 아래 현재와 같거나 더 극단적인 자료가 얼마나 이례적인지를 p값으로 읽고, 참인 귀무가설을 기각하는 1종 오류와 거짓 귀무가설을 놓치는 2종 오류를 구분했다. 이번 절은 그 정의를 실제 검정 설계와 효과 판단에 적용한다.

검정도 표본설계 위에 서 있다

모집단·표본설계는 모집단·표본틀·추출절차·비응답·가중치가 추정 범위를 결정한다고 설명했다. 표본이 체계적으로 치우쳐 있으면 정교한 검정식을 써도 목표 모집단에 대한 타당성이 자동 복구되지 않는다.

평균의 퍼짐과 개인의 퍼짐을 구분한다

표준편차·표준오차에서 표준편차 s는 개인값의 퍼짐, 표준오차 SE는 추정값의 반복 표본 흔들림이었다. 독립·동일분포 표본에서 평균의 SE는 s/√n으로 추정하고, 구간은 추정값에 임계값×SE를 더하고 빼서 만든다. 이제 각 자료 구조에 맞는 SE를 구한다.

이 절이 새로 가르치는 검정 설계

검정 설계는 질문과 관찰 단위에 맞는 통계량·가정·표본수·오류통제·판정 기준을 자료를 보기 전에 연결하는 활동이다.

가설·p값·1종·2종 오류는 앞의 가설검정 설명에서 배운 정의를 사용한다. 여기서는 그 정의를 전제로 ‘독립 평균 비교에는 어떤 식인가’, ‘같은 사람을 두 번 측정하면 무엇이 달라지는가’, ‘몇 명을 모아야 하는가’를 실제로 결정한다. 정규 평균 비교와 큰 표본의 두 비율 비교가 대표 범위이며 모든 통계기법을 이 절에서 완결했다고 표시하지 않는다.

연구질문에서 결론까지의 경계

관찰한 p값을 본 뒤 가설·방향·유의수준을 바꾸면 처음 정한 오류위험이 유지되지 않는다.

2. 연구질문을 검정 가능한 가설로 바꾼다

“신규 화면이 더 좋다”는 문장은 무엇이 얼마나 좋아져야 하는지 모호하다. 예를 들어 완료시간 평균의 차이를 볼 것인지, 성공률 차이를 볼 것인지, 개선 방향을 사전에 한쪽으로 정할 수 있는지, 최소한 의미 있는 효과가 얼마인지 먼저 적는다.

귀무·대립가설은 목적과 측정량을 공유해야 한다

검정은 H0와 자료의 충돌을 평가하고, 5초라는 실무 기준은 별도의 가치 판단이다.

시간·비율·짝지음을 먼저 읽고 방법을 고른다

Welch t검정은 두 독립 집단의 모분산이 같다고 가정하지 않고 평균 차이와 그 표준오차를 비교하는 방법이다. 대응표본 t검정은 짝마다 구한 차이의 평균을 기준값과 비교하는 일표본 t검정이다. 같은 숫자 6개씩이라도 사람의 연결이 다르면 다른 방법을 써야 한다. [S2][S3][S4]

Welch도 심한 이상값·작은 비대칭 표본·종속 관측을 자동 해결하지 않는다. 등분산 통합 t검정은 두 모분산이 같다는 추가 전제가 있을 때 쓰며, 두 집단 크기가 같다는 사실은 등분산의 근거가 아니다. 분포 진단의 작은 p값을 피하려고 검정을 갈아타지 말고 분석 목표와 자료 수집을 먼저 점검한다.

HT-P: 같은 사람 6명의 차이를 끝까지 계산한다

사람별 기존 시간 A와 새 시간 B를 측정했다고 하자. 차이는 d=A−B이므로 양수는 단축이다. 여섯 사람은 서로 독립이고 모집단 차이값은 대략 정규적이라는 교육 가정을 둔다. 여섯 값만으로 정규성이나 대표성이 입증됐다고 말하지 않는다.

차이 평균은 d̄=(1+2+3+4+5+6)/6=3.5초다. 편차는 −2.5, −1.5, −0.5, 0.5, 1.5, 2.5이고 그 제곱합은 17.5다. 표본분산은 s_d²=17.5/(6−1)=3.5, 표준편차는 s_d=√3.5≈1.871초다.

따라서 SE=√3.5/√6≈0.764초이고 H₀:평균 차이=0에 대한 t=3.5/0.764≈4.583이다. 자유도는 쌍 수−1=5이며, 양측 5% 임계값 2.571보다 크다. 분포 조회값은 p≈0.00593이고 95% 구간은 3.5±2.571×0.764≈[1.537,5.463]초다.

이 가정 아래 0과의 차이는 검출하지만 구간 하한이 5초보다 낮으므로 ‘최소 5초 단축을 확인했다’고 쓰지 않는다. 모든 사람에게 A를 먼저 시켰다면 두 번째 과업의 연습 효과가 섞일 수 있다. 계산을 잘해도 원인이 화면이라는 결론은 자동으로 나오지 않으므로 순서의 무작위화·균형 배치와 동등 과업이 필요하다. [S3]

짝 연결을 잃으면 같은 요약표로도 다른 답이 나온다

자료를 합치는 과정에서 B 열만 거꾸로 정렬했다고 가정해 보자. A의 순서는 그대로인데 B가 80,70,60,50,40,30으로 연결되면 차이는 −49,−28,−7,14,35,56초가 된다. 이 계산은 올바른 재분석이 아니라 사람 식별자를 잃은 오류를 재현하는 자체 예다.

두 열의 값 자체는 그대로이므로 A 평균 58.5초, B 평균 55초와 각각의 표본분산은 바뀌지 않는다. 차이 평균도 여전히 3.5초지만, 새 차이의 평균에 대한 편차는 −52.5,−31.5,−10.5,10.5,31.5,52.5초다. 제곱합 7717.5초²를 5로 나누면 차이의 표본분산은 1543.5초²이고 SE=√(1543.5/6)≈16.039초가 된다. 원래 짝의 0.764초와 전혀 다르다.

같은 열별 평균·표준편차·표본수만으로 대응검정의 SE를 복원할 수 없다는 뜻이다. 두 번째 행을 별도의 타당한 검정 결과로 보고하거나, SE가 작은 연결을 골라서는 안 된다. 원래 사람 ID로 짝을 확인하고 두 측정 중 하나가 없거나 중복된 ID는 사유와 개수를 점검한다. 연결을 복구할 수 없다면 대응 p값을 만들어 내지 않는다.

HT-W: 서로 다른 두 집단의 실제 계산 입력

이번에는 사용자를 무작위로 기존 A 또는 새 B에 배정하고 한 사람이 한 화면에서 같은 과업을 한 번 수행했다. 각 집단 64명이고 분석 자료는 모두 기록됐다고 가정한다. 시간은 같은 시작·완료 사건으로 측정하며 극단값과 분포를 점검해 평균 비교의 근사가 타당하다고 가정한다.

효과 Δ는 ‘기존 모집단 평균−새 모집단 평균’이고 추정값은 Δ̂=60−58=2초다. H₀:Δ=0, H₁:Δ≠0, α=0.05를 사전 결정한다. 양수는 단축, 음수는 지연이다. 두 모분산을 같다고 고정하지 않으므로 Welch를 사용한다. 아래의 표준편차는 이번 결과의 요약값이며 뒤의 표본계획에서 사용하는 사전 예상값과 구별한다.

표준오차 → 통계량 → 구간 → 결론

먼저 각 평균의 분산 추정량을 v_A=s_A²/n_A, v_B=s_B²/n_B라 쓴다. 독립 두 평균의 차이는 두 흔들림이 더해지므로 SE=√(v_A+v_B)다. 이 자료에서는 v_A=25/64=0.390625, v_B=36/64=0.5625이고 SE=√0.953125≈0.976281초다. [S2]

통계량은 t=(Δ̂−0)/SE=2/0.976281≈2.048590이다. Welch의 자유도 ν는 다음 식으로 계산한다. ν는 그리스 문자 뉴이며 여기서는 t분포의 모수로, 반드시 정수일 필요는 없다.

ν = (v_A + v_B)² / [v_A²/(n_A−1) + v_B²/(n_B−1)]
  = (0.390625 + 0.5625)²
    / [0.390625²/63 + 0.5625²/63]
  ≈ 122.031754

분포표·수치함수에서 읽는 값은 t(0.975,ν)=1.979595, 양측 p=0.042647이다. t(0.975,ν)는 누적확률 97.5% 지점이라 오른쪽 2.5%와 왼쪽 2.5%를 합한 양측 5% 경계다. 같은 자유도로 만든 95% 구간은 2±1.979595×0.976281=[0.067359,3.932641]초다. 여기서는 반올림 전 값을 계산에 사용했다.

따라서 통계적으로는 평균 차이가 0이라는 귀무가설을 기각하지만, 점추정과 구간 전체가 업무상 최소 단축 5초보다 작다. ‘단축은 관찰됐으나 목표한 업무효과는 확인되지 않았다’고 판단한다. ν를 126으로 바꾸거나 A·B를 뒤집은 부호를 그대로 두면 이 결과를 재현할 수 없다.

HT-P에 이 독립식까지 무조건 적용하면 어떻게 될까? HT-P의 A·B 열에서 각 평균을 뺀 제곱합은 각각 2117.5초²와 1750초²이므로 표본분산은 423.5초²와 350초²다. 이를 독립식에 넣으면 SE=√(423.5/6+350/6)≈11.354초가 나온다. 그러나 같은 사람의 두 측정은 독립 두 집단이 아니므로 이 값을 HT-P의 올바른 표준오차로 채택하지 않는다. HT-P는 실제 짝의 차이분산 3.5초²를 사용한 0.764초가 해당 가정의 값이다. 어느 식이 작은 p값을 만드는지가 아니라 누가 어떤 조건에서 측정됐는지가 식을 정한다.

시간이 아니라 성공 여부라면 분모도 식도 달라진다

독립 사용자 A 100명 중 10명, B 100명 중 20명이 성공했다고 하자. 두 비율 z검정은 독립 두 집단의 성공 확률 차이를 큰 표본 정규근사로 평가하는 방법이다. H₀는 두 성공 확률이 같음이고 효과는 B−A로 정하여 20/100−10/100=0.10, 즉 10%포인트다.

H₀ 아래 공통 비율은 p̂_pool=(10+20)/(100+100)=0.15다. 검정용 SE=√[0.15×0.85×(1/100+1/100)]≈0.050498이고 z=0.10/0.050498≈1.980295, 양측 p≈0.047670이다. 각 집단의 기대 성공 15명·실패 85명이 충분하다는 큰 표본 근사 아래 α=0.05에서 기각한다. 연속성 보정은 적용하지 않은 계산이다. [S7]

이 공통 비율 SE는 H₀를 가정한 검정용이며 신뢰구간에도 무조건 복사하지 않는다. 기대도수가 작은 경우에는 이 근사를 강행하지 말고 작은 도수에 맞는 정확검정을 검토한다. 같은 사용자들의 전후 성공 여부라면 독립 두 비율 식도 맞지 않는다. 성공 기준·분모·짝지음과 최소 의미 비율 차이를 먼저 정해야 하며 10%포인트를 10% 상대 증가와 혼동하지 않는다.

자료를 본 뒤 단측·양측을 바꾸지 않는다

양방향 차이를 탐색하기로 했는데 결과가 원하는 방향으로 나왔다고 단측검정으로 바꾸면 유의확률을 유리하게 만들 수 있다. 검정 방향은 질문과 의사결정 구조에서 사전에 정한다.

3. p값은 효과의 확률이 아니라 자료의 이례성 척도다

p값은 귀무가설과 검정모형이 맞다고 가정했을 때 현재와 같거나 더 극단적인 검정통계량이 나타날 확률이다. p=0.03을 “귀무가설이 참일 확률 3%” 또는 “대립가설이 참일 확률 97%”로 바꾸지 않는다.

서로 다른 p값은 서로 다른 입력·방법에서 나왔다

HT-P는 6쌍의 차이 평균으로 자유도 5인 t분포를 썼고, HT-W는 독립 64명씩의 평균 차이로 Welch 자유도를 구했다. 두 비율 예는 성공·실패 도수와 정규근사를 썼다. p값만 작은 순서로 비교해 가장 좋은 설계를 고르는 것이 아니라 질문과 관찰 단위에 맞는 계산을 선택한다.

유의하지 않음은 동일함의 증명이 아니다

p>0.05는 정한 검정에서 귀무가설을 기각할 근거가 충분하지 않았다는 뜻이다. 표본이 작아 검정력이 낮았을 수도 있고, 효과가 작지만 존재할 수도 있다. 동등성을 주장하려면 허용 가능한 차이 범위와 그에 맞는 설계가 필요하다.

4. 유의수준 α는 1종 오류를 관리하는 사전 규칙이다

유의수준은 귀무가설이 참일 때 장기적으로 잘못 기각하는 비율을 관리하기 위한 기준이다. α를 0.05로 정했다고 모든 분석에서 정확히 5%의 실제 오류가 보장되는 것은 아니며, 검정 가정과 다중비교·중간조회 같은 실행방식이 함께 지켜져야 한다.

HT-2: 20번을 각각 5%로 보면 한 번쯤 걸릴 가능성이 커진다

서로 독립이고 모두 귀무가설이 참인 20개의 검정을 각각 α=0.05로 수행한다고 단순 가정하면 한 번도 거짓 양성이 없을 확률은 0.95^20 ≈ 0.358이다. 따라서 적어도 하나가 거짓 양성일 확률은 약 1-0.358=0.642, 즉 64.2%다.

실제 검정들이 독립이 아닐 수 있으므로 이 수치는 다중검정 위험을 이해하기 위한 자체 계산 예다.

다중비교는 질문의 가족을 먼저 정의한다

지표 20개 중 하나라도 좋아 보이면 성공이라고 할지, 핵심 지표 1개와 보조 지표 19개를 구분할지에 따라 오류관리 방법이 달라진다. 분석 후 원하는 질문만 골라 보고하지 않고 검정 가족과 보정 전략을 사전에 기록한다.

20개 지표의 오류 한도를 실제로 정한다

20개 지표 중 하나라도 유의하면 성공이라고 할 경우, 그 20개가 하나의 검정 가족이다. Bonferroni 보정은 가족의 오류 한도 α를 비교 수 m으로 나누어 각 검정을 α/m에서 판단하는 방법이다. α=0.05, m=20이면 각 기준은 0.0025이고 p=0.03은 이 기준에서 유의하지 않다. [S6]

이 방법은 검정 간 독립을 요구하지 않지만 개별 p값 자체가 타당해야 한다. 안전한 상한을 택하는 만큼 실제 효과를 놓칠 수 있다. 사전에 하나의 주지표만 확증적으로 검정하고 다른 지표를 탐색용으로 보고하는 설계도 가능하지만, 탐색 결과를 뒤늦게 주결론으로 승격하면 안 된다.

매일 결과를 보고 0.05 아래일 때 멈추면 기준이 달라진다

고정 표본 검정을 계획해 놓고 데이터가 쌓일 때마다 반복 확인하다 유의해지는 순간 종료하면 원래 계산한 1종 오류율이 유지되지 않을 수 있다. 순차검정을 쓰려면 그에 맞는 사전 규칙과 경계를 사용한다.

5. 효과크기와 신뢰구간으로 ‘얼마나’ 다른지 본다

p값은 표본크기와 변동성에 크게 영향을 받는다. 같은 2점 차이도 표본이 매우 크면 작은 p값이 나올 수 있다. 점추정과 신뢰구간을 함께 보고, 업무상 최소 의미 있는 차이와 비교한다.

HT-W의 2초와 5초를 다른 질문으로 읽는다

HT-W의 95% 구간 [0.067,3.933]초는 0을 제외하지만 5초에 못 미친다. 반대로 HT-P의 구간 [1.537,5.463]초는 5초를 포함해도 하한이 5초 이상은 아니므로 최소 5초를 확인한 것이 아니다.

‘0과 다르다’, ‘적어도 5초다’, ‘허용 오차 안에서 같다’는 서로 다른 주장이다. 마지막 두 주장을 해야 한다면 사전 경계와 그에 맞는 단측 또는 동등성 검정 설계가 필요하다. p>0.05 하나로 같음을 선언하지 않는다.

서로 다른 질문을 한 숫자로 합치지 않는다

6. 검정력은 ‘효과가 있을 때 발견할 가능성’을 사전에 본다

검정력은 특정한 실제 효과크기·표본크기·변동성·유의수준·검정방법을 가정했을 때 귀무가설을 올바르게 기각할 확률이다. 표본수를 정할 때 최소 의미 효과를 탐지할 수 있는지 평가하는 데 사용한다.

작은 효과를 찾으려면 더 많은 정보가 필요하다

같은 변동성에서 탐지하려는 최소 효과가 작아질수록 일반적으로 더 큰 표본이 필요하다. α를 더 엄격하게 낮추거나 높은 검정력을 요구해도 필요한 표본이 커질 수 있다. 표본수는 ‘많을수록 좋음’이 아니라 의사결정 비용과 최소 효과를 포함한 설계 문제다.

HT-N: 각 집단 몇 명을 모을지 계산한다

HT-W를 계획할 때의 별도 교육 가정은 독립 두 집단에 같은 인원을 배정하고, 모집단 표준편차를 각각 10초로 예상하며, 실제 평균 단축이 5초일 때 Δ=0을 양측 α=0.05에서 검출할 목표 검정력을 80%로 정하는 것이다. 10초는 결과를 보고 역산한 값이 아니라 유사 과업의 사전 정보라고 가정한다. [S5]

필요한 정규분포 값은 z(0.975)=1.960, z(0.80)≈0.842다. 같은 크기의 두 집단은 차이의 SE≈σ√(2/n)이므로 신호 5초를 이 흔들림과 비교하는 정규근사 표본수는 다음과 같다.

집단당 n ≈ 2 × (z(0.975) + z(0.80))² × (σ/δ)²
         ≈ 2 × (1.960 + 0.842)² × (10/5)²
         ≈ 62.810

위 식의 δ(델타)는 검출하려는 실제 차이이고 n은 전체가 아니라 집단당 인원이다. 올림하면 63명씩이다. 그러나 이는 정규근사 출발값이다. 같은 정규·등분산 설계 가정에서 두 표본 t검정의 검정력을 수치 확인하면 63명씩은 약 0.7952, 64명씩은 약 0.8015이므로 본 계획은 64명씩, 총 128명을 선택한다. 재현식은 S5의 power.t.test(n=64, delta=5, sd=10, sig.level=0.05, type="two.sample", alternative="two.sided", strict=TRUE)다.

이 유한표본 검정력은 등분산 정규 설계 모형의 계산이지 실제 Welch 검정의 모든 이분산·결측 상황에 80%를 보장하는 값이 아니다. 실제로 예상 변동성·집단 불균형·의존성이 다르면 그 설계로 표본수를 다시 계산해야 한다. 이 계획은 진짜 5초 차이가 있을 때 0과 구별하는 계획이며 ‘5초보다 크다’를 증명할 80% 검정력 계획도 아니다.

인원수를 적은 뒤 가정이 바뀌었을 때도 확인한다

다른 조건이 같을 때 탐지 차이를 5초에서 2.5초로 줄이면 위 정규근사 인원은 네 배가 된다. 반대로 같은 사람을 두 번 측정하는 대응 설계는 개인별 시간의 표준편차가 아니라 차이의 표준편차 s_d를 써야 한다. 대응 6쌍을 독립 두 집단 6명씩 공식에 넣지 않는다.

유효 64명씩이 필요하고 결과와 무관한 10% 자료 손실을 사전 예상한다면 모집 계획을 집단당 ceil(64/0.9)=72명으로 정할 수 있다. ceil은 소수점을 올림해 정수로 만드는 뜻이다. 72명 모집이 실제로 유효 64명을 보장하거나 선택적 이탈 편향을 해결하지는 않는다.

주 사례 HT-W는 손실 없이 64명씩 모두 기록된 별도 조건이다. 손실이 발생하면 집단별 수·이유·발생 시점과 결과 연관성을 보고하고, 타당성이 불분명하면 도입 결론을 보류한다. p값을 본 뒤 원하는 결과가 나올 때까지 참가자를 추가하는 방식은 이 고정 표본계획이 아니다.

사후에 관찰한 p값으로 검정력을 대신하지 않는다

자료를 본 뒤 관찰효과를 그대로 넣어 계산한 사후검정력은 기존 p값과 거의 같은 정보를 다시 표현하는 경우가 있다. 설계 단계에서는 실제로 탐지할 가치가 있는 효과와 예상 변동성을 사전에 정해 표본수를 검토한다.

7. 검정 전후에 가정을 따로 점검한다

독립성, 측정척도, 분포·분산 가정, 표본추출 방식, 결측과 제외 규칙을 확인한다. 가정 위반이 있으면 데이터의 구조에 맞는 대안이나 강건한 방법을 검토하고, 원하는 p값이 나올 때까지 검정을 바꾸지 않는다.

보고서에는 ‘기각 여부’보다 설계와 숫자를 함께 남긴다

1. 연구질문과 H0/H1
2. 대상 모집단·표본설계
3. 주요 지표와 최소 의미 효과
4. 검정방법·가정·유의수준
5. 효과크기·점추정·구간
6. p값과 다중비교 처리
7. 검정력·표본수 근거
8. 제외·결측·중간조회 여부
9. 실무 해석과 일반화 한계

HT-W에 적용할 분석계획을 실제 문장으로 적는다

목표 대상은 해당 업무를 수행하는 적격 사용자이고 동일 과업·기기 조건에서 기존/새 화면을 1:1 무작위 배정한다. 한 사람은 한 화면을 한 번 사용하며 주지표는 동일한 시작·완료 사건 사이의 초 단위 시간이다. 결과 분석 전 담당자가 중복 사용자·시계 오류·결측 사유를 확인하고 기준을 기록한다.

사전 목표는 평균 단축 5초, 양측 α=0.05, 설계 모형의 검정력 80%, 유효 64명씩이다. 평균 비교는 이분산을 허용하는 Welch로 고정하고, 분석가는 집단별 n·평균·표준편차·분포를 확인한 뒤 Δ̂·SE·ν·p·95% 구간을 보고한다. 주지표 1개는 확증적 판단에 쓰고 나머지는 탐색용으로 표시한다.

고정된 수집이 끝날 때 한 번 효과를 분석한다. 데이터 손실·보안 등 운영상 중단 사유는 별도로 감시하되 중단된 실험을 계획대로 완료한 유효성 검정처럼 보고하지 않는다. 미완료 과업이나 선택적 이탈이 있다면 성공한 사람의 시간만 남겨 전체 효과로 일반화하지 말고 분석대상·누락 영향·추가설계 필요를 공개한다.

같은 사람에게 두 화면을 쓰게 하는 안은 적은 사람으로 개인차를 줄일 수 있지만 학습·순서 영향이 커 이 주 사례에서는 기각했다. 결과가 나온 뒤 방향·제외·주지표를 바꾸지 않고, 업무 책임자는 통계적 결과와 5초 기준·비용·위험을 분리해 도입 여부를 기록한다.

공식 범위 연결 — 가설 검정

공식 출제기준의 ‘1. 정보 전략 및 관리 → 5. 통계 → 가설 검정’에 대응한다. 귀무·대립가설, 검정통계량, 오류·검정력은 앞의 가설검정 설명에서 시작하고 이 절의 대응·Welch·두 비율 예와 표본계획으로 적용한다.

공식 문구가 개별 검정법을 여기 적은 목록으로 한정하는 것은 아니다. 이 절의 교육용 답안과 자기평가표는 공식 모범답안·채점표가 아니며, 회귀·시계열·재표집 등 다른 담당 범위의 미완료를 이 절 완료로 덮지 않는다.

근거·계산·적용 경계

[S1] ASA 발표문(2016-03-07), PDF 2쪽의 여섯 원칙: p값·효과·판단·보고의 구분. https://www.amstat.org/asa/files/pdfs/P-ValueStatement.pdf

[S2] NIST/SEMATECH 1.3.5.3, Definition / Critical Region: Welch 통계량·자유도. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm

[S3] NIST/SEMATECH 7.3.1.1: paired observations의 차이·표준편차·자유도. https://www.itl.nist.gov/div898/handbook/prc/section3/prc311.htm

[S4] R stats t.test, Arguments / Details: paired와 var.equal. https://stat.ethz.ch/R-manual/R-devel/library/stats/html/t.test.html

[S5] NIST/SEMATECH 7.2.2.2의 정규근사·t 보정 설명과 R power.t.test의 n·delta·sd·power·strict 입력. https://www.itl.nist.gov/div898/handbook/prc/section2/prc222.htm ; https://stat.ethz.ch/R-manual/R-devel/library/stats/html/power.t.test.html

[S6] R stats p.adjust, Details: Bonferroni와 가족 오류통제. https://stat.ethz.ch/R-manual/R-devel/library/stats/html/p.adjust.html

[S7] R stats prop.test, correct / Details: 두 집단 비율과 보정·구간. https://stat.ethz.ch/R-manual/R-devel/library/stats/html/prop.test.html

확인일은 2026-09-17이다. R-devel은 개발 문서의 관찰본이지 설치한 고정 릴리스가 아니다. 설명·수치·배정·결론은 자체 교육 사례이며 표준 정규·t 꼬리확률 조회와 별도 수치 검산을 구분한다. 원문에 없는 업무 사례를 직접 근거라고 표시하지 않는다. 풀이에 필요한 입력·공식·조회값·해설을 본문에 제공하며 외부 자료는 근거 확인·선택적 재현용이다.

공식 기준과 교육용 검정 목록은 다르다. 다른 분포·반복측정·작은 도수·생존시간·동등성 등 별도 설계의 미완료를 완료로 세지 않는다. 독립 기술·시험·초보 독자·권리 검수는 대기 상태다.

8. 한 장으로 정리하기

1. 가설과 유의수준은 자료를 보기 전에 정한다.
2. p값은 귀무가설이 참일 확률이 아니다.
3. 유의하지 않음과 동일함은 다르다.
4. p값과 효과크기·신뢰구간·실무 임계값을 함께 본다.
5. 검정력은 최소 의미 효과를 발견할 표본 설계에 사용한다.
6. 다중비교와 반복조회는 1종 오류 관리를 바꾼다.

9. 자체 10점 문제

가설검정에서 p값, 유의수준, 효과크기, 검정력의 의미와 상호관계를 설명하시오.

요구어는 설명이다. 네 용어를 따로 암기하지 말고 사전 설계→관찰자료→통계판단→실무판단의 순서로 연결한다.

10. 자체 25점 문제 — 분석계획부터 도입 판단까지

새 업무화면을 기존 화면과 비교하려 한다. 서로 다른 사용자를 1:1 무작위 배정하고 한 사람은 한 번만 측정한다. 사전 예상 표준편차는 두 집단 각각 10초, 최소 의미 단축은 5초, 양측 α=0.05, 목표 검정력은 80%다. 가설·표본수·검정방법·자료 수집과 오류통제를 설계하시오. 결과가 HT-W의 기존/새 집단 각 64명, 평균 60/58초, 표준편차 5/6초일 때 계산과 도입 판단을 제시하시오. 다중지표와 중간조회도 포함하시오.

요구어는 설계·계산·판단·포함이다. 각 64명은 왜 정했는지 먼저 설명하고, 결과의 표준편차로 과거의 표본계획을 소급 작성하지 않는다. 분포 조회값은 HT-W와 HT-N을 사용하며 실제 기출이나 공식 채점기준이 아닌 자체 문제다.

11. 계산을 맞힌 뒤 답안까지 스스로 고친다

복습 링크: 방법 선택, HT-P, HT-W 계산, HT-N, 결과 판단, 다중성, 인원 민감도.

교육용 자기점검은 방법과 관찰 단위, 가정·표본수, 계산·단위·부호, 통계와 업무 결론, 다중성·결측의 다섯 영역으로 한다. 각 영역에서 올바른 문장과 근거 본문을 찾을 수 있으면 1, 없으면 0으로 두고 빠진 영역부터 고친다. 이는 공식 배점·합격점 예측이 아니다. 합이 높아도 짝지음·분모·결론을 뒤집은 오류는 반드시 먼저 수정한다.

조건이 바뀌어도 같은 판단을 할 수 있는가

연습: HT-W에서 B의 평균만 54초이고 나머지는 같다면 어떻게 보고할까?

연습: 독립 집단 대신 같은 사용자 64명의 전후 값만 남았다면 HT-W의 요약표로 대응 p값을 계산할 수 있을까?

위 답을 단순 암기 대신 HT-P의 원래 짝과 잘못된 연결로 증명해 보자. B 열만 뒤집었을 때 열별 평균과 분산은 같으나 차이의 분산과 SE가 바뀌는 계산을 다시 적는다. 이어 A·B를 모두 같은 사람 순서로 뒤집으면 원래 짝이 보존되어 차이는 6,5,4,3,2,1이고 평균 3.5초·분산 3.5초²·SE 0.764초는 그대로임을 확인한다. 행의 표시 순서 변경과 실제 짝 연결의 파괴는 다른 작업이다.

면접에서는 ‘왜 Welch를 썼는가’에 독립 두 집단이고 모분산 동일을 고정하지 않았다고 답한다. ‘같은 사람이라면?’에는 짝의 차이와 사람 간 독립, 순서·학습 영향을 설명한다. 가상 사례는 판단 연습이지 본인의 실제 프로젝트 경력이 아니다.

직접 연습: 차이 검출·동등성·최소 효과를 서로 다른 가설로 푼다.

동등성 검정은 차이가 정확히 0이라고 증명하는 절차가 아니다. 사전에 허용 차이를 −1초부터 1초 사이로 정했다면, 동등성의 귀무가설은 Δ≤−1 또는 Δ≥1, 대립가설은 −1<Δ<1이다. 두 단측검정(TOST)은 각각의 바깥 경계 가설을 기각해야 한다. 두 p값 중 유리한 하나만 고르지 않는다.

아래는 효과 추정값이 평균 Δ와 알려진 표준오차 SE를 갖는 정규분포를 따른다는 교육용 모형이다. 따라서 t분포 대신 표준정규분포를 사용한다. 각 단측 α=0.05에서 임계값은 z(0.95)≈1.645이고, 두 검정을 모두 통과하는 조건은 동등성 판정용 양측 90% 구간 Δ̂±1.645×SE가 사전 허용 범위 내부에 들어가는 것이다. 95% 구간과 90% 구간 중 결과에 유리한 것을 선택하는 규칙은 아니다. 동등성의 두 단측검정과 구간 관계

1. EQ-1. 사전 허용 범위는 (−1,1)초, Δ̂=0.3초, 알려진 SE=0.4초다. 동등성의 두 경계 통계량과 90% 구간을 구하라. Δ=0에 대한 통상 양측 차이 검정의 통계량과 비교하여 동등성 결론이 ‘차이가 정확히 0’인지 설명하라. 양측 5% 정규 임계값은 1.960이다.
2. EQ-2. 허용 범위와 Δ̂는 같지만 SE=1초로 커졌다. 차이 검정에서 0을 기각하지 못하면 자동으로 동등한가? 90% 구간과 두 경계 통계량으로 확인하고, 동등성 미확인을 ‘차이가 반드시 1초 이상’이라고 바꿀 수 있는지도 판단하라.
3. ME-1. 별도의 실험은 사전에 평균 단축이 5초보다 큰지 확인하기로 했다. H₀:Δ≤5, H₁:Δ>5, 단측 α=0.05다. Δ̂=6.8초, 알려진 SE=1초일 때 경계 Δ=5에 대한 통계량과 단측 95% 하한을 구하라. 양측 95% 구간의 하한도 계산하고, 결과를 본 뒤 양측 계획을 이 단측 계획으로 바꾸어도 되는지 설명하라.