A/B 테스트란? (알파베타 테스트)

<A/B 테스트란?>

 

안녕하세요.
A/B 테스트에 관한 글로 돌아온,
개발자 김모씨 입니다.

오늘의 주제에 앞서,
시나리오를 하나 떠올려 보죠.

"
A씨는 인터넷 쇼핑몰 회사에 다니는 FE(Front-End) 엔지니어입니다.
몇날몇일을 고민하다가, 쇼핑몰 홈페이지를 개선하였습니다.
깃에 커밋을 날리고 병합을 한 후, 칼퇴를 준비하네요.
퇴근 하기 전, 쇼핑몰 운영팀(DevOps)에 배포 요청 메일을 보냅니다.
이제 가방을 들고 퇴근하려는데....
'띠링!'
쇼핑몰 운영팀의 개발자 김모씨가 메시지 보냈네요.
"UI 수정하셨네요. A/B 테스트 해야하죠? 테스트 시나리오 작성해주세요."
고개를 갸웃하는 A씨.
"A/B 테스트? 그게 뭐람....개발자(놈)들은 꼭 자기들끼리 용어 쓴다니깐..."
A씨는 가방을 슬그머니 내려놓고, 다시 자리에 앉습니다.
"

A씨는 퇴근에 앞서, A/B 테스트가 뭔지 구글링부터 해야되겠네요.
비슷한 경험 혹시 있으신가요?
그래서 제가,
개발 실무에서 꽤 많이 쓰이는 용어인 A/B 테스트를 설명해드리려 합니다.

 

 

그거 알파 테스트, 베타 테스트 아냐???

 

알파 → 베타 → 릴리즈 순

소소하게 게임을 즐기시거나, 신문물을 빨리 접하는 얼리버드 시라면,
익숙한 용어일 겁니다.
알파 테스트, 베타 테스트.

"MMORPG의 역사를 다시 쓰다. 베타 테스터 모집!" 이라던가,
"OO화장품 신제품 출시! 베타 테스터 대모집!" 이런 것들.
다들 한번 쯤은 들어보신 적 있으시죠?

이 때의 알파 테스트, 베타 테스트는 어떤 의미일까요?
우리 그리스 문자 읽을 때, 알파 베타 감마.... 이런 식으로 읽죠?
알파 테스트, 베타 테스트도 그때의 순서와 유사한 의미입니다.

알파 테스트(Alpha test)는
개발된 게임 등의 신제품을 회사 '내부'에서 진행하는 자체 테스트를 의미합니다.
실제 사용 환경과 같은 악조건에서 동작시키며, 실개발진과 QA팀 등 밀접한 관련 인력만 참여하죠.

베타 테스트(Beta Test)는
정식으로 출시(상용화)하기 직전, 고객들에 의해 진행하는 테스트를 의미합니다.
게임의 경우에는 CBT(클로즈 베타 테스트), OBT(오픈 베타 테스트)로 세분화 되기도 하죠.

다시 말해 알파 테스트, 베타 테스트는
누구에 의해 테스트하느냐의 차이를 가지고 있는 거죠.

뭐 무튼 그렇고요.....
결론적으로, 아닙니다!
오늘 이야기하려는 A/B테스트는 이 알파 테스트/베타테스트 와는 전혀 다릅니다.

 

최소한의 조건으로, 고객의 반응을 살펴라!

서비스의 성과를 위해서는 고객의 반응을 살피는 것이 중요합니다.
그러나, 고객의 반응에서 인과관계를 찾는 일을 쉽지 않죠.
한 가지 예시를 들어보겠습니다.

"
2002년 월드컵의 열기는 상상을 초월하는 수준이었습니다.
2002년의 콘돔 판매량은 그 주변년도들에 비하여 매우 높았습니다.
2003년에 태어난 아기들은(월드컵 베이비) 타 년도에 비해 그 수가 매우 많습니다.
"
자 이런 지표가 있다고 합시다.
그럼 우리는 이런 지표들로부터,
'월드컵이 열리는 해에는 콘돔 판매량이 폭발적 증가를 보일 것이다' 라거나,
'콘돔 판매량이 늘어나면, 이듬해 출산률이 급격히 증가한다'라는 결과를 도출할 수 있을까요?
또한 이 결과들은 Fact 일까요?

상식적으로 보건데, 그렇지 않죠.
산출된 두개의 결과는 직접적인 인과관계가 아닙니다.
상관관계일 수는 있겠지만요.
이 예시의 핵심은,
"상관관계는 인과관계로 직결되지 않는다" 입니다.

IT를 포함해 모든 서비스업에 있어서, 매출과 직결되는 인과관계를 찾아내는 일은 중요합니다.
오늘의 이야기, A/B 테스트는 바로 인과관계를 찾아내기 위한 테스트입니다.

위의 그림을 보시죠.
"Only the headlines are different." 라는 문구가 적혀 있죠?
바로 이 문구가 A/B 테스트의 핵심입니다.
고객의 반응은 수많은 요소가 복합적으로 작용하여 변화합니다.

월드컵의 예시로 다시 설명하자면,
'대한민국의 월드컵 개최', '거리 응원 활성화', '젊은 세대 중심의 응원전 개최', '월드컵 맞이 휴가 활성화' 등
수많은 요소들이 결합하여, 콘돔 판매량 증가와 이듬해 출산률 증가 라는 결론에 도달한 것이죠.

그래서 고객의 반응과 관련한 인과관계를 찾으려면,
'개선 요소의 최소화'가 필요합니다.
이전 제품과 최소한의 차이가 나는 개선 제품을 제공하여, 고객의 선호도를 분석하는거죠.

버튼의 색상만으로도 고객의 반응이 달라질 수 있다. 출처 : 그루비

바로 이것이 A/B 테스트입니다.
보다 쉽게 설명하자면,
A/B 테스트란, 개선 희망 요소의 최적안을 찾는 실험 입니다.
단 하나의 개선 요소만을 반영한 제품과 기존 제품을 비교합니다.
고객을 두 그룹을 분류하여, 어떤 제품이 더 많은 실적을 내는지를 확인하는 거죠.

좀 더 자세히 스텝별로 접근해 볼까요?

1. 고객을 반으로 나눕니다. (A 그룹 / B 그룹)
2. 두 가지 포맷의 테스트 자료를 만듭니다.
3. A, B 그룹에게 각각의 자료를 제공합니다.
4. 각 그룹의 반응을 모니터링하고, 반응 정도를 지표로 산출합니다.
5. 우수한 결과를 포인 테스트 자료를 실전에 반영합니다.

이를 통해, 고객들이 개선 요소에 의해 긍정적 반응을 보이는지를 객관적으로 산출해낼 수 있습니다.

 

 

♣♣♣

 

특히 광고 분야에서는
폰트, 색, 경계선 등의 사소한 것마저 매출에 영항을 끼친다고 합니다.

"고객에 대한 짐작은 금물이다. 짐작 대신 A/B 테스트하라."
라는 말이 괜히 있는 게 아니죠.

이상으로 오늘은
마케팅, 광고 등의 기존 도메인을 넘어,
IT 업계에서도 핵심적인 지표로 자리잡은,
A/B 테스트가 무엇인지에 대해 알아보았습니다.

 

인터넷 쇼핑몰 등 B2C 사업을 하고 계신 구독자 분이 있으신가요?
A/B 테스트를 통해 "인과관계"를 도출하세요!

 

개발자 김모씨였습니다.

좋아요와 구독하기는 큰 힘이 됩니다.

 

감사합니당당당