회귀·실험·시계열의 판단

1. 상관관계가 강하면 원인이라고 불러도 될까

매출과 광고비가 함께 늘었다. 광고가 매출을 늘렸을 수도 있지만 성수기라서 둘 다 늘었거나, 원래 잘 팔리는 지역에 광고를 더 집행했을 수도 있다. 같은 표에서 출발해도 ‘함께 움직인다’, ‘앞으로 맞힐 수 있다’, ‘이것을 바꾸면 결과가 달라진다’는 서로 다른 주장이다.

이 절의 목표는 작은 자료의 회귀계수·실험 차이·예측오차를 계산하고, 자료의 생성과 이용 시점에 맞춰 결론의 범위를 스스로 정하는 것이다. 다섯 사용자의 구매금액 RG-3, 추천기능의 구매 여부 EX-1, 월별 수요 TS-2는 서로 다른 질문을 연습하는 자체 가상 자료다. 한 번의 실제 서비스 실험 결과로 합치지 않는다.

표본·추정의 불확실성을 그대로 가져온다

모집단·표본설계의 모집단·표본설계·추정 경계를 유지한다. 회귀식이 복잡해져도 표본틀 누락과 비응답 편향은 자동으로 사라지지 않는다.

계수의 p값도 효과크기와 설계를 함께 본다

효과·판정의 구분은 p값·효과크기·검정력과 실무 임계값을 분리했다. 회귀계수의 유의성도 계수 크기·구간·모형 가정·표본설계와 함께 해석한다.

회귀식과 오차지표는 앞선 기법에서 가져온다

선형회귀의 기법에서 선형회귀의 절편·계수와 최소제곱, MAE와 R²를 배웠다. 이번에는 작은 자료에 그 식을 적용하고, 표본 안 적합과 인과·미래 성능을 구별한다.

이 절의 담당 경계

회귀·실험·시계열 분석은 변수 사이의 관계, 개입의 효과, 시간에 따른 변화라는 서로 다른 질문을 자료의 생성과 순서를 보존한 모형·설계로 구분하고, 가정과 누출 위험을 확인하여 결론의 범위를 정하는 분석 활동이다.

회귀계수는 조건부 관계를 요약할 수 있지만 인과효과는 개입·배정·교란 통제가 추가로 필요하다. 시계열에서는 미래 정보를 과거 예측에 쓰지 않는다.

질문에 따라 설계가 달라진다

같은 표에서 출발해도 다음 세 질문은 필요한 증거와 실패조건이 다르다. 회귀·상관의 관계를 개입 효과나 미래 정확도로 승격하지 않는다.

같은 표라도 질문이 달라지면 필요한 증거와 실패조건이 달라진다.

2. 회귀계수는 먼저 ‘함께 달라지는 정도’로 읽는다

앞서 배운 단순 선형회귀 Y=β₀+β₁X+ε에서 X는 설명변수, Y는 결과변수다. β₀는 절편, β₁은 기울기이고 ε는 직선의 평균 관계로 설명하지 못한 변동이다. 모집단의 모형 계수 β와 표본으로 계산한 추정값 b를 구별한다. 추정 직선은 ŷ=b₀+b₁x로 쓰며 ŷ는 관측한 y가 아니라 예측값이다.

단순회귀의 기울기는 모형과 자료 범위 안에서 X가 한 단위 다를 때 Y의 평균이 얼마나 다른지를 나타낸다. 여러 변수를 넣으면 포함된 다른 변수들을 같게 둔 조건에서의 관계다. 포함하지 않은 원인까지 통제했다거나 X를 강제로 바꾸면 같은 변화가 생긴다는 뜻은 아니다.

RG-3에서는 X를 지난주 방문 횟수, Y를 다음 주 구매금액(만 원)으로 둔다. Y가 0/1인 구매 여부인 EX-1과 같은 결과변수가 아니다. 금액 예측 4.6만 원을 구매확률 4.6으로 읽지 않는다.

RG-3: 다섯 줄에서 기울기와 잔차까지 계산한다

다섯 사용자의 자료를 다음과 같이 주었다. i는 사용자 번호다. 방문 횟수는 구매금액 측정 기간보다 앞서 기록됐으며, 이 표는 계산 학습용이지 대표성·인과성·모형 가정을 검증한 실측 표본이 아니다.

평균은 x̄=15/5=3회, ȳ=20/5=4만 원이다. 최소제곱은 잔차의 제곱합이 가장 작아지는 직선을 고른다. 표 마지막 두 열의 합을 이용하면 다음과 같다. [S1]

b₁ = Σ(xᵢ−x̄)(yᵢ−ȳ) / Σ(xᵢ−x̄)² = 6/10 = 0.6만원/회
b₀ = ȳ−b₁x̄ = 4−0.6×3 = 2.2만원
ŷ = 2.2+0.6x

Σ는 해당 열을 모두 더한다는 뜻이다. 분모가 0이면 x가 모두 같아 기울기를 이 식으로 정할 수 없으므로 계산을 중단한다. x=4의 예측은 4.6만 원이다. 관측한 4만 원과 같지 않아도 최소제곱 계산 오류는 아니다.

잔차(residual)는 같은 관측에서 실제값에서 적합값을 뺀 차이 eᵢ=yᵢ−ŷᵢ다. [S2]

잔차 합은 0이지만 제곱합 SSE는 2.4만 원²다. 양·음 오차가 상쇄됐을 뿐 완벽히 맞춘 것이 아니다. 평균 4를 기준으로 한 총제곱합 SST는 6이므로 R²=1−2.4/6=0.6이다. 이는 이 다섯 건의 관측에서 나타난 변동 중 직선이 설명한 비율이지 인과성이 60%라는 확률이나 새 사용자의 예측 정확도 60%가 아니다.

양의 기울기 0.6은 방문이 많은 사용자일수록 구매금액이 큰 관계를 나타낸다. 구매 의향이 방문과 금액 모두에 영향을 줄 수 있으므로 방문을 한 번 늘리는 조치의 효과가 0.6만 원이라고 결론 내리지 않는다. 절편 2.2도 관측 범위 1~5회 밖인 0회 사용자에게 그대로 일반화하지 않는다.

계수 하나를 인과효과로 바꾸지 않는다

교란(confounding)은 처치나 설명변수와 결과의 관계에 공통 원인 등의 영향이 섞여 관심 있는 인과효과를 구별하기 어려운 상태다. 운동시간과 건강점수의 양의 관계에도 기존 건강상태나 소득이 함께 작용할 수 있다.

변수를 많이 넣는 것만으로 교란이 해결되지는 않는다. 추천 노출 뒤에 생긴 클릭 수처럼 처치가 바꾼 중간 변수를 무조건 통제하면 원래 구하려던 전체 효과와 다른 질문이 된다. 어떤 변수가 언제 생겼고 어떤 경로에 놓이는지부터 설명한다.

RG-1: 아이스크림과 익사사고의 가상 관계

여름철 월별 아이스크림 판매량과 익사사고가 같이 증가했다고 하자. 둘 사이 상관이 높아도 온도·휴가철·수영활동이라는 공통 원인이 있을 수 있다. “아이스크림 판매를 줄이면 익사가 감소한다”는 정책결론은 이 관계만으로 만들 수 없다.

잔차로 점검하되 작은 표를 합격증으로 쓰지 않는다

잔차를 x·적합값·시간 순서에 따라 그려 본다. 곡선이 남으면 직선으로 요약한 평균 구조가 부족할 수 있고, 적합값이 커질수록 퍼짐이 커지면 일정한 오차분산 가정이 약할 수 있다. 시간순으로 같은 부호가 길게 이어지면 오차의 의존성도 검토한다. [S2]

RG-3의 잔차 다섯 개만으로 독립성·등분산·정규성이나 새로운 사용자에 대한 정확성을 확인할 수는 없다. 적합에 쓰지 않은 자료를 평가하고 표본틀·측정조건을 확인한다. R²가 높거나 눈에 띄는 패턴이 없다는 것만으로 검토를 끝내지 않는다.

설명변수를 많이 넣는 것이 항상 더 좋은 설명은 아니다

훈련자료의 작은 잡음까지 맞추는 변수·상호작용을 계속 추가하면 표본 안 적합도는 좋아져도 새 자료에서 성능이 나빠질 수 있다. 설명 목적과 예측 목적, 사전 가설과 탐색을 구분한다.

RG-2: 평균오차는 같아도 큰 실패를 숨길 수 있다

두 모형의 절대오차가 A=1,1,1,1,6, B=2,2,2,2,2라면 둘의 MAE는 모두 2다. 그러나 A는 한 건에서 6의 큰 오류를 낸다. 안전·비용이 큰 꼬리오류가 중요한 경우 평균 하나로 모델을 선택하지 않는다.

3. 인과질문은 같은 대상의 다른 가능성을 비교한다

반사실(counterfactual)은 관심 있는 처치를 실제와 다르게 받았더라면 나타났을 결과를 뜻한다. 같은 사용자가 같은 시점에 추천기능을 받은 결과와 받지 않은 결과를 동시에 관찰할 수는 없다. 따라서 비교 가능한 다른 집단과 설계 가정이 필요하다.

무작위배정은 기존 활동성이 높은 사람만 추천 집단에 몰리는 자기선택을 줄이는 설계다. 표본추출은 누구를 조사할지, 배정은 조사 대상에게 어느 조건을 줄지 정하는 일이므로 서로 다르다. 실험 참여자의 인과효과를 다른 나라·기간·모든 사용자에게 일반화하는 문제도 별도로 남는다.

EX-1의 배정·관찰·분모를 먼저 고정한다

적격 사용자 계정에 추천 비노출 A와 노출 B를 같은 기간에 1:1로 무작위배정한다. 한 계정은 같은 배정을 유지하고, 최초 배정부터 7일 이내 한 번 이상 구매했는지를 0/1로 기록한다. 한 사람이 여러 번 클릭하거나 구매해도 이 지표의 관측 단위는 사용자 한 명이다. [S3]

분석은 최초 배정 집단을 기준으로 한다. 실제 노출 실패·집단 간 공유·중도이탈을 따로 기록하며 구매하지 않은 사람만 빼지 않는다. 구매기록의 7일 관찰이 끝나지 않았거나 수집이 누락된 경우는 확인된 미구매 0과 구별한다. 무작위배정은 측정오류나 누락을 자동 해결하지 않는다.

추천만의 효과를 보려면 두 집단의 가격·재고·동시 프로모션 차이를 점검한다. B에만 할인쿠폰까지 주면 그 실험은 추천과 쿠폰 묶음의 효과를 비교하므로 추천만의 효과라고 이름 붙이지 않는다. 사전 계획은 실험 전에 작성하며 아래 수치는 이미 끝난 별도 교육용 예비 실험의 완전 관찰 결과다.

EX-1: 10%와 12%를 불확실성까지 계산한다

효과 추정은 B−A=0.02, 즉 2%포인트다. 상대 증가는 0.02/0.10=20%로, 20%포인트와 다르다. 독립 사용자·완전 관찰·큰 표본 근사를 가정하고, H₀:두 구매확률 같음과 양측 α=0.05를 사전에 정했다고 하자. 앞 절의 두 비율 검정을 적용한다. [S4]

H₀ 아래 공통 비율 = (100+120)/(1000+1000) = 0.11
검정용 SE₀ = √[0.11×0.89×(1/1000+1/1000)] = 0.01399286
z = 0.02/SE₀ = 1.42930
양측 p = 0.152918   (표준정규 꼬리확률 조회값)

차이의 구간에는 두 비율의 표본 변동을 각각 추정한다. 0/1 값의 분산 p(1−p)와 독립 평균 차이의 분산 합을 적용한 자체 유도이며, H₀의 공통 비율을 구간에 그대로 복사하지 않는다.

구간용 SE = √[0.10×0.90/1000+0.12×0.88/1000] = 0.01398571
정규근사 95% 구간 = 0.02±1.96×SE = [−0.007412, 0.047412]
%포인트로 표시 = [−0.7412, 4.7412]

연속성 보정 없는 검정과 Wald 정규근사 구간이다. 적은 도수·극단 비율·의존 관측에 그대로 적용하지 않는다. p>0.05이므로 이 검정에서는 차이 0을 기각하지 못한다. 구간이 0과 음의 값도 포함하므로 동일함을 입증하거나 최소 2%포인트 개선을 확인했다고 쓸 수 없다. 전면 도입의 효과 근거는 부족하며, 자료 타당성·비용·후속 실험 계획을 함께 보고한다.

EX-M: 구매기록이 없다는 말을 미구매로 바꾸면 무엇이 달라질까

이번에는 별도의 가상 실험에서 두 집단에 각각 1000명을 배정했으나 아래처럼 결과 수집이 누락됐다고 하자. 모든 사람의 7일 관찰기간은 지났고, 확인된 구매·미구매 기록은 정확하며 중복 사용자는 없다고 가정한다. 아직 7일이 지나지 않은 사람과, 기간은 지났지만 기록을 잃은 사람은 서로 다른 문제다. EX-M은 위 완전 관찰 EX-1의 수치를 바꾼 별도 연습이며 두 결과를 합치지 않는다.

확인된 사람만 남기면 A는 90/900=10%, B는 96/800=12%여서 차이는 2%포인트다. 그러나 이는 결과가 확인된 하위집단의 차이이고, 누락이 결과와 무관하다는 근거 없이 전체 배정자의 차이로 바꿀 수 없다. 반대로 누락을 모두 미구매 0으로 채우면 96/1000−90/1000=0.006, 즉 0.6%포인트다. 원래 분모를 유지했다는 사실만으로 ‘미확인은 전부 미구매’라는 가정이 정당화되지는 않는다.

기록을 임의로 채우지 않고 가능한 차이를 계산해 보자. 미확인 중 실제 구매자 수를 A는 qA, B는 qB라 쓰면 qA는 0~100명, qB는 0~200명의 정수다. 모든 결과를 알게 됐을 때 이 두 배정 집단의 구매율 차이는 다음 식이다.

B−A = (96+qB)/1000 − (90+qA)/1000
가장 작은 차이: qB=0, qA=100 → 0.096−0.190 = −0.094
가장 큰 차이: qB=200, qA=0 → 0.296−0.090 = 0.206
가능한 차이의 최솟값·최댓값: −9.4%포인트, 20.6%포인트

이 범위는 확인된 기록을 고정하고 미확인 구매 여부에 가능한 0/1 값을 넣어 얻은 산술 경계다. 95% 신뢰구간이나 모집단 인과효과의 범위가 아니다. 누락값만으로도 집단 차이의 부호가 달라질 수 있음을 보여주며, 표본 불확실성과 인과 해석의 조건은 별도로 남는다. EX-1의 p값과 구간을 이 표에 그대로 붙이지 않는다.

자료 담당자는 배정 ID를 유지한 채 누락률 A 10%·B 20%와 수집 실패 사유를 대조하고, 원래 거래기록으로 결과를 복구할 수 있는지 확인한다. 복구되지 않은 결과는 미확인으로 남기고 사전 분석계획과 누락 가정에 따른 판단 변화를 보고한다. 이 예에서는 ‘관찰된 구매율이 2%포인트 높다’만으로 전면 도입을 결정하지 않는다. 더 많은 사람을 모집하거나 누락값을 모두 0으로 만드는 일은 이 차별적 누락 문제의 해결 증거가 아니다.

EX-N: 다음 실험의 인원을 결과를 보기 전에 정한다

다음 별도 실험은 기존 구매확률 0.10, 개선 후 0.12를 설계 가정으로 두고, 차이 0을 양측 α=0.05에서 검출할 목표 검정력을 80%로 정한다. 예비 실험의 관찰 2%포인트가 진짜 효과라고 확정한 것이 아니다. 실제 효과가 그보다 작으면 같은 검정력이 나오지 않는다. [S5]

같은 집단 크기 n, 독립 0/1 결과, 정규근사라는 조건에서 p̄=(0.10+0.12)/2=0.11이다. 양측 경계 z₀.₉₇₅=1.960과 목표 검정력에 대한 z₀.₈₀≈0.842를 이용한다. 귀무가설 아래 경계를 넘으려는 효과와 대립가설 아래 표준오차를 결합한 근사식은 다음과 같다.

n ≈ [1.960√(2×0.11×0.89)+0.842√(0.10×0.90+0.12×0.88)]² / 0.02²
  ≈ 3841.985명/집단 → 올림 3842명/집단

이 설계에서는 운영상 여유를 두어 4000명씩 총 8000명의 완전 관찰 결과를 계획한다. 이는 이 가정의 근사 인원 계획이지 정확 이항 검정·실제 이탈·다른 효과에 대한 80% 보장이나 ‘효과가 2%포인트를 초과함’을 입증할 검정력 계획이 아니다. R의 선택적 확인식은 power.prop.test(n=4000,p1=0.10,p2=0.12,sig.level=0.05,alternative="two.sided",strict=TRUE)이며 이 원고의 계산을 위해 R 실행을 요구하지 않는다.

표본 수와 7일 관찰기간을 결과를 보기 전에 고정하고 예정된 한 번의 주분석을 수행한다. 유의해질 때까지 인원을 늘리거나 방향을 바꾸지 않는다. 주지표 1개와 탐색용 보조지표를 구별하며, 여러 지표를 확증적으로 사용할 때는 앞의 가설검정·효과크기·검정력에서 배운 오류통제를 적용한다. 누락 때문에 완전 관찰 가정이 깨지면 단순히 빈칸을 0으로 채우지 말고 사유·집단 차이와 분석의 한계를 보고한다.

사용자가 스스로 처치를 선택하면 선택편향이 생길 수 있다

새 기능을 자발적으로 켠 사용자와 끈 사용자를 비교하면 적극적인 사용자가 새 기능을 더 많이 선택했을 수 있다. 결과 차이가 기능효과인지 사용자 성향 차이인지 분리하기 어렵다.

실험이 불가능할 때: 전후 차이를 한 번 더 비교한다

차분의 차분(DID)은 처치 집단의 전후 변화에서 비교 집단의 전후 변화를 빼는 방법이다. DD-1의 각 수치는 같은 정의로 측정한 가상 집단 구매율이다. [S6]

T의 최근 전후 변화는 14−10=4%포인트, C는 8−6=2%포인트다. DID=(14−10)−(8−6)=2%포인트다. 추천이 없었어도 T가 C처럼 2%포인트 올라 12%가 되었을 것이라는 반사실과 실제 14%를 비교한 것이다.

평행추세는 처치가 없었더라면 두 집단의 평균 결과 변화가 같았을 것이라는 가정이다. 두 집단의 수준이 처음부터 같아야 한다는 뜻은 아니다. 도입 전 두 집단이 모두 2%포인트 올랐다는 관찰은 참고 증거지만, 관찰하지 못한 도입 뒤의 무처치 추세를 증명하지 못한다.

T에만 같은 시기 할인쿠폰을 주어 2%포인트의 추가 상승이 생겼다면, 이 표는 추천의 효과가 0인 경우와도 양립한다. 집단 구성 변화·미리 행동을 바꾸는 효과·집단 간 영향·차별적인 정책 변화를 조사해야 한다. 집계 구매율만으로는 표본 크기나 반복 관측의 의존성을 모르므로 p값·구간을 만들어 붙이지 않는다. DD-1은 계산과 가정 판단 예이지 인과효과 2%포인트의 실증 확정이 아니다.

다른 준실험의 이름도 어떤 가정인지 읽는다

회귀불연속(RD) 설계는 처치 배정이 바뀌는 기준값 가까이의 결과 차이를 이용한다. 예컨대 도입 전 점수 70 이상에게만 추천기능을 준다면 70 바로 위·아래를 비교한다. 연속성 가정은 처치가 없을 때의 잠재 결과가 그 기준에서 갑자기 뛰지 않는다는 뜻이다. 같은 70점 기준으로 쿠폰까지 주거나 점수를 조작해 배정을 골랐다면 추천만의 국소 효과 해석이 어려워진다. 기준 근처의 효과를 모든 사용자에게 확대하지 않는다. [S7]

도구변수(IV)는 처치 선택에 영향을 주는 외부 변동으로 처치와 결과의 인과관계를 구별하려는 설계다. 무작위 안내 메시지 Z가 기능 활성화 D를 바꾼다고 하자. Z가 실제로 D를 바꾸는 관련성, 결과의 다른 원인과 독립이라는 조건, Z가 D 이외 경로로 결과에 영향을 주지 않는 배제제약을 따로 검토한다. 안내에 할인쿠폰을 넣어 기능을 켜지 않아도 구매가 늘면 배제제약이 깨진다. 무작위 안내라는 사실만으로 배제제약이 보장되지는 않는다. [S8]

이진 안내·처치의 국소 평균효과 해석에는 단조성 등 추가 조건과 적용 대상의 한정도 필요하다. 단조성은 안내 때문에 오히려 활성화를 중단하는 반대방향 반응자가 없다는 가정이다. 여기서는 DID를 계산하고 RD·IV의 의미와 실패조건을 구별한다. RD 추정·대역폭 선택이나 IV 추정 전체를 수행했다는 뜻은 아니며, 아래 설계 답안은 이 방법을 이름만 붙여 채택하지 않는다.

4. 예측할 당시 알 수 있던 정보만 사용한다

1~10월로 학습하고 11월을 예측하는 것은 시간 순서를 지킨다. 반대로 12월 자료까지 섞어 학습한 뒤 3월을 평가하면 당시 없던 정보로 과거를 맞히는 셈이다. 예측 성능은 실제 운영의 정보 조건을 재현해야 한다. [S9]

발생일과 이용 가능일도 다르다. 8월 31일 사건이 9월 5일에 시스템에 들어왔다면 9월 1일 예측에는 사용할 수 없다. 과거 날짜가 붙었다는 이유만으로 당시 알려진 정보로 처리하지 않는다. 나중에 정정된 값도 같은 기준으로 확인한다.

한 시점씩 앞으로 옮겨 평가한다

롤링 원점 검증은 예측 기준시점을 앞으로 옮기며 각 시점 이전에 이용 가능했던 자료로 이후 값을 예측해 평가하는 절차다. [S9]

여기서는 과거를 누적하는 확장 학습창이다. 고정 길이 창을 선택할 수도 있지만 창과 예측 간격을 사전에 정한다. 한 달 뒤 예측의 검증 결과를 석 달 뒤 예측의 성능으로 바꾸지 않는다.

단순 기준선이 무엇인지부터 정한다

나이브 예측은 마지막으로 관측한 값을 다음 시점의 예측값으로 그대로 쓰는 방법이다. 계절 나이브는 같은 계절 위치의 가장 최근 값을 가져온다. 월별 연간 계절성이라면 작년 같은 달 값이 필요하다. [S10]

장기 상승·하락인 추세, 주기적으로 반복되는 계절성, 가까운 시점 값끼리 관련되는 자기상관은 다른 구조다. 열 달의 값만 보고 연간 계절성을 확인했다고 하지 않는다. 다음 TS-2에서는 연간 자료가 부족하므로 나이브와 최근 두 달 평균만 비교한다.

미래에서 계산한 평균으로 과거를 정규화하지 않는다

전체 1년 평균과 표준편차를 먼저 계산한 뒤 1월 예측에 쓰면 2~12월 정보가 전처리에 들어간다. 각 학습창 안에서 전처리 통계를 계산하고 다음 시점에 적용한다.

TS-1: 무작위 분할이 미래누출을 만든다

매월 수요가 100,110,120,...처럼 강한 증가추세를 가진다고 하자. 12월 자료가 무작위 학습집합에 들어간 상태에서 3월을 시험하면 실제 3월 시점에는 알 수 없던 높은 미래수요 수준을 학습에 사용하게 된다. 시험점수는 실제 운영조건보다 낙관적일 수 있다.

TS-2: 후보를 고른 자료와 최종 평가를 분리한다

월말에 그 달 수요가 모두 확정되어 다음 달 예측에 이용 가능하다고 가정한다. 값은 1월부터 10월까지 차례로 100,120,110,130,120,140,130,150,145,155건이다. 이 숫자는 자체 가상 수요이며 지연 수집·결측이 없다는 별도 조건이다.

후보는 ① 직전 한 달 값인 나이브와 ② 직전 두 달의 산술평균이다. 후보와 1개월 예측 간격을 미리 정하고 5~8월의 네 예측으로 비교한다. [S9][S10]

나이브 MAE는 (10+20+10+20)/4=15건, 두 달 평균은 (0+15+0+15)/4=7.5건이다. 이 선택 구간에서는 두 달 평균을 고르고 규칙을 고정한다. RG-3의 적합에 쓴 자료의 잔차와 달리 각 값은 예측 시점에 아직 보지 않은 다음 달을 평가한 오차다.

별도로 남긴 9~10월을 같은 한 달 앞 예측 절차로 평가한다. 9월 예측은 (130+150)/2=140, 10월은 (150+145)/2=147.5다. 실제 145·155와의 절대오차 5·7.5로 최종 MAE는 6.25건이다. 9월의 실제값을 9월 말 확인한 뒤 10월 예측에 사용하는 것은 허용된다. 하지만 그 결과를 보고 평균 기간을 바꾸면 두 달은 더 이상 손대지 않은 최종 평가가 아니다.

최종 평가가 두 번뿐이므로 일반적인 성능 우위나 장기 안정성을 확정하지 않는다. 빠진 예측을 빼고 평균을 좋게 만들지 말고 실패 건수와 원인을 보고한다. 실제 운영의 여러 계절·예측 간격·용량 한계를 포함한 추가 평가가 필요하다.

TS-L: 늦게 들어온 값과 만들지 못한 예측도 평가표에 남긴다

TS-2와 달리 9월 실제 수요 145건을 10월 5일에야 알 수 있었다고 가정하자. 7·8월 값은 제때 확정됐고, 예측 마감은 각각 직전 월의 말일이다. 사전 규칙은 ‘직전 두 달의 값 평균으로 다음 한 달 예측’ 그대로다. 숫자가 과거 달의 값이라는 이유로 이용 가능 시점을 앞당기지 않는다.

10월 5일에 145를 받은 뒤 (150+145)/2=147.5를 계산할 수는 있다. 그러나 그것을 9월 30일에 이미 만든 예측으로 기록하면 미래정보를 사용한 과거 성능이 된다. 9월 값 대신 7월 값을 넣어 140으로 계산하는 것도 원래의 직전 두 달 규칙이 아니다. 지연을 고려한 다른 규칙을 채택하려면 적용 시점과 입력 조건을 미리 정하고 그 규칙 자체를 다시 평가해야 한다.

이 표의 정직한 보고는 예정 2회, 제때 산출 1회, 미산출 1회, 산출률 50%다. 유효 예측에 한정한 MAE는 5/1=5건이다. 미산출을 오차 0으로 채워 5/2=2.5건이라 하거나, 5건이 원래 TS-2의 6.25건보다 작으므로 개선됐다고 결론 내리지 않는다. 오차를 낸 평가 대상과 분모가 다르기 때문이다.

운영자는 예측 마감·입력 이용 가능일·규칙·산출 여부를 함께 보존한다. 당시 자료가 부족한 경우 미산출 사실과 원인을 보고하고, 실제 수요를 뒤늦게 알게 된 일과 과거의 예측 실패가 사라진 일을 구별한다. 모형을 비교할 때도 같은 예정 시점에서의 오차와 미산출을 함께 확인한다. 이 표는 정보 시점과 평가 분모의 자체 적용 예이며 실제 예측 시스템의 실행시험 결과가 아니다.

5. 설명·인과·예측 목적을 보고서 첫 줄에 적는다

설명은 변수 관계를 이해하려 하고, 인과는 개입의 결과변화를 추정하며, 예측은 새 관측의 오차를 줄이려 한다. 한 분석이 여러 목적을 가질 수 있지만 각 목적의 검증조건을 분리한다.

목적별 핵심 질문

결과보고의 최소 구성

1. 분석목적: 설명·인과·예측
2. 대상 모집단과 기간
3. 변수 정의·측정 시점
4. 표본·배정·시간 분할
5. 모형과 핵심 가정
6. 계수·효과크기·오차·구간
7. 잔차·민감도·기준선 비교
8. 누출·교란·결측 한계
9. 적용 가능한 범위

추천기능 분석안을 역할·산출물·보류 조건으로 완성한다

의사결정자의 관심 대상은 추천 노출 배정의 7일 구매율 효과이며 최소 의미 개선을 2%포인트로 정한다. 데이터 담당자는 적격 계정·배정 ID·노출·7일 구매기록·누락 사유와 정보 이용 시점을 고정한다. 분석 담당자는 주지표 1개, 양측 α=0.05, EX-N의 설계 가정과 4000명씩 계획, 수집 종료 뒤 한 번의 주분석을 사전에 문서화한다.

먼저 기존 관찰자료에서는 활동성·가격·재고·프로모션·계절을 조사하고 관계만 보고한다. 핵심 효과는 동시기 무작위 A/B를 우선 선택한다. 추천을 켠 사람과 끈 사람의 자발적 집단 비교, 추천과 쿠폰을 동시에 바꾼 설계는 추천만의 효과를 구하려는 목적에서 기각한다. 무작위배정이 불가능하다면 비교 집단·정책 동시변화·평행추세를 확인하는 DID를 검토하되 확인할 수 없는 가정은 남긴다.

예비 EX-1의 결과 산출물은 집단별 1000명·100/120명, 차이 2%포인트, p≈0.153, 근사 구간 [−0.741,4.741]%포인트와 전면 도입 보류다. 4000명씩은 별도 후속 실험 계획이며 이미 관측한 결과로 소급하지 않는다. 추천의 구매효과와 월별 처리 수요 예측은 별도 질문이므로 TS-2의 작은 MAE를 구매효과의 증거로 쓰지 않는다.

수요 예측 담당자는 과거 정보로 만든 5~8월 예측을 비교해 두 달 평균을 고정하고, 9~10월의 한 달 앞 예측 MAE 6.25건을 별도 평가로 보고한다. 전처리와 규칙 선택에 최종 평가를 쓰지 않는다. 운영 담당자는 누락·집단 간 간섭·관측기간 부족·다른 동시 처치가 있으면 추천만의 효과 판단을 보류하고, 수요 예측은 더 긴 독립 평가와 용량 여유를 확인한 뒤 적용한다. 이 역할과 결정은 교육용 설계이지 실제 조직 승인이나 배포 결과가 아니다.

높은 R²가 좋은 인과모형을 뜻하지 않는다

결과를 잘 예측하는 변수 중 일부는 결과 이후에 발생한 변수일 수 있고, 미래 정책결정에 사용할 수 없는 변수일 수 있다. 예측 설명력이 높다는 이유로 개입대상이나 원인으로 선택하지 않는다.

공식 통계분석 범위의 심화 적용

회귀와 시계열은 기술통계·추정의 연장선에서 변수관계와 시간구조를 다룬다. 계수·예측오차만 제시하지 않고 자료 생성과 검증조건을 함께 판단한다.

공식 가설검정 범위의 심화 적용

회귀계수와 실험효과의 통계적 판단은 p값 하나가 아니라 효과크기·구간·검정력·다중성·설계 타당성을 포함한다. 인과 주장은 실험·준실험 설계의 추가 근거를 요구한다.

출처와 적용 경계

[S1] NIST/SEMATECH, 4.4.3.1 Least Squares: 직선의 계수 추정, 잔차 제곱합 최소화. https://www.itl.nist.gov/div898/handbook/pmd/section4/pmd431.htm

[S2] NIST/SEMATECH, 4.4.4 Model Validation: 잔차 정의·그래픽 진단, R²만으로 검증할 수 없는 이유. https://www.itl.nist.gov/div898/handbook/pmd/section4/pmd44.htm

[S3] NIST/SEMATECH, 5.3.3.1 Completely randomized designs: 실험 단위에 대한 무작위 조건 배정. https://www.itl.nist.gov/div898/handbook/pri/section3/pri331.htm

[S4] NIST/SEMATECH, 7.3.3 Two proportions, Case 1: 큰 표본 공통 비율 z검정. https://www.itl.nist.gov/div898/handbook/prc/section3/prc33.htm

[S5] R stats, power.prop.test: 집단당 n, 두 확률·유의수준·검정력·양측 반대 꼬리 조건. https://stat.ethz.ch/R-manual/R-devel/library/stats/html/power.prop.test.html

[S6] Scott Cunningham, Causal Inference: The Remix, Chapter 9 Difference-in-Differences Fundamentals, Sections 9.2~9.3: 전후 차이의 비교·잠재결과·평행추세와 반사실 확인의 한계. https://mixtape.scunning.com/08a-difference_in_differences

[S7] Scott Cunningham, Causal Inference: The Mixtape, Chapter 6, Section 6.2.2: RD의 연속성과 기준점 근처 해석. https://mixtape.scunning.com/06-regression_discontinuity

[S8] Scott Cunningham, Causal Inference: The Mixtape, Chapter 7, LATE 가정: 관련성·독립성·배제제약·단조성의 구별. https://mixtape.scunning.com/07-instrumental_variables

[S9] Rob J Hyndman, forecast 공식 문서, Time series cross-validation, Details와 h·window·Value: 과거 부분집합 학습·롤링 원점·예측 간격과 오차. https://pkg.robjhyndman.com/forecast/reference/tsCV.html

[S10] Rob J Hyndman, forecast 공식 문서, Naive and Random Walk Forecasts, lag·drift 및 Details: 나이브·계절 나이브의 기준값. https://pkg.robjhyndman.com/forecast/reference/forecast.rw_model.html

확인일은 2026-09-17이다. 웹 관찰일은 최초 발행일이 아니며 R-devel과 forecast 웹 문서는 고정 설치 릴리스가 아닌 문서 관찰본이다. S9·S10은 방법과 예측 시점의 근거이며 해당 패키지를 실행하거나 모든 구현 동작을 검증했다는 뜻은 아니다. 원문 문장·자료·그림을 복제하지 않고 표준 관계의 독립 설명과 자체 가상 사례를 썼다. EX-1 구간과 EX-N 근사식은 명시한 독립 베르누이·정규근사의 자체 적용이다. 모든 준실험·회귀 진단·복합 표본·예측 모형을 완결했다는 뜻은 아니다.

회귀 기본 기법, 표본·추정, 검정·효과크기·검정력·다중성은 위 선수 링크와 앞의 평균·분산·표본·추정 및 가설검정 설명을 재사용한다. 필요한 입력·식·조회값·풀이·해석은 본문에 제공한다. 외부 자료는 근거 확인·선택적 재현용이며 독립 기술·시험·권리·초보 독자 승인은 대기 상태다.

6. 한 장으로 정리하기

1. 회귀계수는 조건부 관계이지 자동 인과효과가 아니다.
2. 인과질문은 배정·교란·반사실 설계를 요구한다.
3. 예측은 새 자료 성능과 누출 방지가 핵심이다.
4. 시계열은 미래정보를 과거 학습에 넣지 않는다.
5. 설명·인과·예측 목적을 명시하고 각각 다른 실패조건을 본다.

7. 자체 10점 문제

회귀분석에서 상관·예측·인과를 구분해야 하는 이유와 시계열 검증에서 시간순서를 보존해야 하는 이유를 설명하시오.

요구어는 구분, 설명이다. 회귀계수의 의미와 자료 생성·검증 순서를 연결한다.

8. 자체 25점 문제

온라인 서비스가 추천기능 도입 후 구매율이 상승했다. 구매율 상승의 원인을 추천기능으로 판단하려는 경우 회귀·실험·시계열 관점의 분석설계를 제시하고, 자기선택·계절성·미래누출·효과크기·검정력·운영적용 한계를 설명하시오.

교육용 설계 조건은 EX-N의 기존 구매확률 0.10·검출 대상 0.12·양측 α=0.05·목표 검정력 80%와 집단별 4000명 모집이 가능한 상황이다. 별도 예비 실험 결과는 EX-1, 실험 불가 시 비교 예는 DD-1, 수요 예측 자료는 TS-2를 사용한다. 실측 자료나 공식 채점기준이 아닌 자체 문제다.

요구어는 제시·설명이다. ‘검정력을 고려해 인원을 정한다’에서 멈추지 않고 실제 인원·배정·관찰·분석·보류 조건을 적는다. 완료된 예비 실험과 앞으로 할 후속 계획을 구분한다.

9. 답안을 가리고 오류부터 고쳐 본다

먼저 고쳐 보기. “방문을 한 번 늘리면 0.6만 원을 더 번다”, “EX-M의 −9.4~20.6%포인트는 인과효과의 95% 구간이다”, “TS-L의 MAE 5건이 6.25건보다 작으니 개선이다”를 각각 이유와 바른 문장으로 고친다. 이어 아래 교정표에서 다른 오류도 확인한다. 숫자를 맞힌 것과 설계·결론을 맞힌 것을 구별한다.

복습: RG-3, EX-1·EX-M, EX-N, DD-1, 정보 시점, TS-2·TS-L.

교육용 자기점검은 질문·관측 단위, 방법·가정, 계산·단위, 결론의 범위, 정보 시점의 다섯 영역으로 한다. 각 영역의 올바른 문장과 본문 근거를 찾지 못하면 그 위치로 돌아가 고친다. 공식 배점이나 합격 확률이 아니며, 인과와 관계를 뒤집거나 미래 정보를 쓴 오류는 먼저 수정한다.

조건을 바꿔서도 판단할 수 있는가

연습 1: RG-3의 모든 구매금액에 10만 원을 더하면 기울기도 10만큼 늘어날까?

연습 2: EX-1에서 B의 구매자만 140명이고 나머지는 같다면?

연습 3: TS-2에서 9월의 수요가 10월 예측을 만든 뒤에야 확정된다면?

연습 4: EX-M의 배정 수는 집단별 1000명, 구매 확인 수는 A 90명·B 96명 그대로 두고 미확인만 A 10명·B 20명인 별도 표라면?

연습 5: TS-L에서 9월 예측의 절대오차만 10건이었다면?

면접에서는 ‘왜 무작위 A/B를 우선했나’에 자기선택을 줄이고 같은 시기의 추천 배정 효과를 비교하기 위해서라고 설명한다. ‘실험을 못 하면?’에는 DID 계산보다 평행추세·동시 정책·집단 구성의 근거부터 답한다. 가상 사례를 본인의 실무 수행 경력으로 말하지 않는다.

직접 연습: 평가 기준·배정 기준·예측 원점을 끝까지 지킨다.

세 문제는 각각 별도의 교육 자료다. 새로운 결과를 보고 회귀식을 다시 맞추거나, 실제 노출된 사람만 골라 배정 효과로 보고하거나, 더 먼 예측에 나중의 실제값을 넣지 않는다.

1. RG-V. RG-3의 직선 ŷ=2.2+0.6x를 그대로 고정했다. 적합에 쓰지 않은 새 사용자 두 명의 x는 1·2회, 실제 y는 0·1만 원이다. 예측값·MAE·SSE를 구하라. 새 실제값의 평균을 기준으로 SST를 계산하고 R²=1−SSE/SST가 음수인지 확인하라. 적합 자료의 R²=0.6과 같은 성능인가? 만약 새 실제값이 둘 다 1만 원이라면 같은 식의 분모는 어떻게 되는가?
2. EX-A. 추천 비노출 A와 노출 B에 사용자 100명씩 무작위배정하고 모든 사람의 7일 구매 여부를 정확히 확인했다. A는 추천을 전혀 보지 않았고 10명이 구매했다. B는 50명만 추천을 실제로 보았고 그중 10명이 구매했으며, 보지 못한 나머지 50명 중 구매자는 0명이다. 최초 배정 기준 구매율 차이와 ‘B에서 실제 본 사람 대 A 전체’의 차이를 각각 구하라. 두 번째 차이를 추천 배정의 인과효과로 이름 붙일 수 있는가?
3. TS-H. TS-2의 7·8월 실제 수요 130·150건까지 이용 가능한 8월 31일에 9·10월의 예측을 한꺼번에 고정해야 한다. 사전 규칙은 직전 두 값의 평균이며 아직 관찰하지 못한 다음 달 값은 직전에 만든 예측값으로 대신하여 한 번 더 계산하는 재귀 규칙이다. 9·10월 예측을 구하라. 뒤에 확인한 실제값 145·155건으로 각 오차와 MAE를 계산하고, 기존 TS-2의 매월 갱신한 한 달 앞 MAE 6.25건과 그대로 비교해 모형의 우열을 확정해도 되는지 판단하라.