TIL [내배캠] 31일차

팀 아티클 스터디 - A/B 테스트 제대로 이해하기 : ① 테스트를 설계할 때 우리의 질문은?

https://yozm.wishket.com/magazine/detail/1633/

A/B 테스트 제대로 이해하기: 1테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

 

• 요약
  • 우리는 A/B 테스트에서 신뢰도 있는 결과를 도출해야 한다.
• 주요 포인트
  • 테스트 결과의 신뢰도를 높이기 위해선 표본의 격차를 줄이고, 지표 간의 격차가 벌어져야 한다.

• 핵심 개념
  • 실험의 효과가 있는지
  • 표본이 일치하는지
  • 통계적으로 의미가 있는지
• 개인 인사이트
  • 불확실한 감에 의한 선택이 아닌, 데이터 분석으로 의사결정을 해야하는 분석가는 이름 값에 걸맞게 신뢰도 높은 결과를 도출해야한다. 많은 고민들의 답을 이지선다로 줄여버리는 용도로만  A/B 테스트를 사용한다면, 반쪽 짜리 답변에 불과하다. 표본을 비슷하게 유지시키고, 두 안의 격차를 크게 벌릴 수 있도록 확실한 조건을 찾아야 한다. 상대방을 설득시켜려면, 어중간한 지표는 효과가 없을 것이다. 
• 공통 인사이트
  • 개론에 해당하는 내용이라, 인사이트를 도출하기엔 무리가 있다.
  • 다음 아티클에선 공통적인 인사이트를 도출해보자.