실험이 종료되었다면, 수집된 데이터를 바탕으로 가설의 성패를 판가름하고 향후 액션 아이템을 도출해야 합니다. 보고서는 실험에 참여하지 않은 동료들도 "왜 이 결정을 내렸는지" 납득할 수 있는 근거가 됩니다.
1. 실험 개요 (Summary)
설계서의 내용을 바탕으로 실험의 목적과 환경을 다시 한번 리마인드합니다.
- 배경 및 가설: 실험을 시작한 근거와 증명하고자 했던 문장을 기록합니다.
- 실험 환경: 타겟 유저, 트래픽 분배 비율, 기간 등을 명시합니다. 특히 분석에서 제외된 데이터(예: 특정 시간대 장애 데이터)가 있다면 이곳에 기록합니다.
2. 실험 결과 분석 (Data Analysis)
단순한 수치 나열을 넘어, 통계적 유의성과 트렌드를 분석합니다.
그룹별 지표 비교
성공 지표(Primary)뿐만 아니라 가드레일 지표의 변동도 함께 확인합니다.
| 구분 | A그룹(기존) | B그룹(신규) | 개선율 | P-value |
| 성공 지표 (클릭률) | 8.32% | 10.81% | +29.93% | $p < 0.05$ |
| 모니터링 지표 (예약률) | 30.3% | 31.0% | +2.31% | $p > 0.05$ |
| 가드레일 지표 (CS 건수) | 0 | 0 | 0% |
일별 지표 트렌드
일시적인 현상인지, 지속적인 경향성인지 확인하기 위해 시계열 그래프를 활용합니다.
- 확인 포인트: 실험 초기에는 '새로움 효과(Novelty Effect)'로 지표가 튀었다가 시간이 지나면서 안정화되는지 확인합니다.
3. 데이터 분석가의 심화 해석 (Deep Dive)
보고서의 가치는 단순 수치 비교가 아닌 '원인 분석'에서 나옵니다.
- 왜 이런 결과가 나왔는가?: B그룹에서 클릭률은 크게 늘었으나 최종 예약률 개선이 미미하다면, "버튼 인지는 쉬워졌으나 결제 단계로 넘어가는 허들이 여전히 존재한다"는 가설을 추가로 도출할 수 있습니다.
- 의외의 발견: 특정 연령대나 특정 디바이스에서만 유독 지표가 좋았다면 이를 별도로 기록하여 개인화 전략의 근거로 활용합니다.
4. 결론 및 향후 로드맵 (Conclusion)
실험 결과를 바탕으로 비즈니스 의사결정을 내립니다.
- 후속 과제: B그룹 채택: 통계적 유의성이 확보된 경우 전체 사용자에게 100% 배포합니다.
- 실험 중단: 가드레일 지표가 악화되거나 지표 개선이 전혀 없는 경우 원본(A)을 유지합니다.
- 2차 실험 설계: 결과가 모호하거나 새로운 인사이트를 얻은 경우 변수를 조정해 다시 실험합니다.
- 레슨런 (Lesson Learned): 이번 실험을 통해 새롭게 알게 된 사용자 행동 패턴을 기록합니다.
5. 실전 분석 코드 (R 예시)
통계 분석에 강점이 있는 R을 활용해 두 집단의 비율 차이가 유의미한지 검정하는 코드입니다.
# 1. 성공 지표 데이터 설정 (클릭 수, 전체 노출 수)
# A그룹: 832명 클릭 / 10,000명 노출
# B그룹: 1081명 클릭 / 10,000명 노출
clicks <- c(832, 1081)
n_users <- c(10000, 10000)
# 2. 비율 차이 검정 (Proportions Test)
result <- prop.test(clicks, n_users, alternative = "two.sided", conf.level = 0.95)
# 3. 결과 출력
print(result)
# 4. 분석가 해석
if(result$p.value < 0.05) {
cat("해석: 두 그룹 간의 클릭률 차이는 통계적으로 유의미합니다. (신뢰수준 95%)")
} else {
cat("해석: 두 그룹 간의 차이가 우연일 가능성이 높습니다.")
}