TIL [내배캠] 44일차

 

 

 

 

 

A/B 테스트 제대로 이해하기 : ③ A/B 테스트 계산기의 세팅과 해석

 

https://yozm.wishket.com/magazine/detail/1656/

A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT

 

• 요약
  • A / B 테스트를 간단하게 진행시킬 수 있도록 도움을 주는 A / B 테스트 계산기를 소개하고, 그 활용법을 설명하고 있다.
• 주요 포인트
  • AB Testguide라는  A / B 테스트 계산기 사이트  https://abtestguide.com/calc/
  • 그룹별 표본 크기와 전환율, 단측/양측 검정 여부, 신뢰수준 세팅만 하면 A / B 테스트를 해준다.
  • 한쪽 방향에만 유의수준을 주는 단측 검정과 양쪽 방향에 유의수준을 주는 양측 검정
  • P-value를 통해 통계적으로 유의미한 값인 지 확인

• 핵심 개념
  1. 양측 검정
     유의 수준을 양쪽에 배치하여, 양쪽의 극단 값들을 다 잡아내어 단측검정보다는 보수적인 선택이 가능하다.
  2. 단측 검정
     유의 수준을 한쪽에만 배치하여, 한 방향의 극단값들만 잡아낸다.
     한 방향에서 세밀한 분석이 가능하지만, 1종오류의 확률이 높아질 가능성이 있다.
• 개인 인사이트
  • A/B 테스트 계산기라는 것이 있다는 것을 처음 알았다. 물론 파이썬에서 다루는 것이 옵션도 많고, 정확한 결과가 나오기 때문에 사용하진 않을 것이다. 하지만 이렇게 딸깍 하면 A/B 테스트 결과가 나오는 현재 상황에서, A/B 테스트를 실행할 줄 안다는 것은 아무런 쓸모가 없다는 생각이 든다. 어떤 것을 가설로 설정할지, 어떻게 실험설계를 진행할지를 치밀하게 고민할 줄 아는 분석가가 되어야 할 것이다.
• 공통 인사이트
  • A/B 테스트 계산기라는 게 있다는 걸 처음 알았고, 앞으로 유용하게 사용할 수 있을 것 같다. 하지만 테스트의 결과 만큼이나 사전 준비와 검증이 되어있지 않다면, 테스트는무용지물이 되기 때문에 이에 대한 깊은 고민이 필요할 것으로 보인다.