A/B 테스트가 레벨 디자인부터 ASO, 그리고 수익화까지 모든 하이퍼 캐주얼 게임의 모든 부분을 최적화하기 위한 핵심이라는 사실은 잘 알려져 있습니다. 하지만 어떻게 A/B 테스트의 승자를 항상 명확하게 구별할 수 있을까요? 예를 들어, A/B 테스트의 결과를 보여주는 KPI를 알 수 없는 상황이라고 가정했을때, 잔존율, APPU, CPI가 얼마나 되는지 알 수 없을 것입니다. 이때, 단순히 두 버전을 놓고 비교한다고 해서 어떤 버전이 승자인지 구별할 수 있을까요?
이러한 측면에서 슈퍼소닉은 링크드인(LinkedIn)과 인스타그램(Instagram) 채널에 일련의 A/B 테스트를 포스팅해 보았습니다. 유저들에게 하이퍼 캐주얼 게임의 한 가지 요소(예: 광고 소재)의 두 가지 버전을 나란히 보여주고 어떤 버전이 더 성공적이었을지 물어보았습니다. 아래에서 각 테스트와 유저의 선택에 대해 살펴보고, 어떤 것이 사람들이 선택한 정답이었는지 확인해 보겠습니다. 이러한 사례를 통해 여러분의 게임에서 적절한 A/B 테스트를 실시하여 퍼블리싱의 모든 과정에서 성과를 최적화할 수 있을 것입니다.
Sort It 3D – 아이콘 테스트
슈퍼소닉은 팔로워들에게 게임 ‘Sort It 3D’에 대해 A/B 테스트를 실시하였습니다. 게임 의 아이콘 2가지를 보여주고 어떤 것이 더 나은 성과를 보였는지 물었습니다. 실제로 정답은 오른쪽이었지만, 많은 사람들은 왼쪽을 선택했었습니다. 3D로 되어 있어서 게임 플레이를 보다 정확하게 보여준다고 생각했기 때문입니다. 어떤 유저는 “왼쪽[이 더 낫다고 생각합니다]. 3D 디자인이 게임 속[경험]과 더 비슷한 느낌을 줍니다. 매력적이고 사람들이 해보고 싶게 [만듭니다]”라고 이야기하기도 했습니다.
그렇다면 오른쪽 아이콘이 더 좋은 성과를 발휘했던 이유에 대해 살펴보겠습니다.
- 왼쪽 아이콘처럼 두가지의 색상: 파란색과 흰색을 사용하는 대신 흰색 배경만을 사용했습니다. 이는 스토어와 핸드폰 화면사이에 더 돋보이는 강력한 대비를 만들어냈습니다.
- 승리한 버전의 컬러가 보다 밝고 만화적인데, 이는 하이퍼 캐주얼 게임에서 더 나은 성과를 발휘하는 일반적인 특징입니다.
- 정면에서 봤을때 아이콘을 보다 눈에 잘 띄고 명확하게 만들어줍니다.
여러분이 게임 아이콘에 대한 A/B 테스트를 실시할 때는 밝은 컬러, 명확한 대비, 만화적 분위기를 고려하여 더욱 심플한 버전을 시도하는것이 좋습니다.
Cheerleaders – 광고 소재 CPI 비교
게임 ‘Cheerleaders’에 경우 다양한 버전의 광고 소재를 테스트했습니다. 따라서 이 챌린지에서는 링크드인의 팔로워들에게 어떤 광고 소재의 CPI가 가장 낮았을지 물어보았습니다. 대부분의 사람들은 바로 정답인 왼쪽 광고 소재를 선택했습니다. 그 이유로는 “캐릭터가 눈에 더 잘 띄고 한눈에 이해할 수 있기 때문”, “곧장 시선을 사로잡았기 때문” 등의 이유를 들었습니다.
슈퍼소닉의 팔로워들은 왼쪽 광고 소재가 더 밝고, 눈에 잘 띄는 캐릭터를 사용했다는 것을 제대로 알아차렸습니다. 여러분이 광고 소재로 유저의 관심을 사로잡기까지 주어진 시간은 단 3초에 불과합니다. 따라서 핵심은 과감한 컬러와 대비를 사용해 유저들의 눈길을 단번에 사로 잡아야 한다는 것입니다.
광고 소재로 유저의 관심을 사로잡기까지 주어진 시간은 단 3초에 불과합니다. 따라서 과감한 컬러와 대비를 사용하는 것이 눈길을 끌기 위한 핵심입니다.
이 테스트에서 바뀐 부분은 광고 소재의 캐릭터 디자인 뿐이었지만, 단 한 가지 요소의 변화만으로도 게임의 성공에 영향을 줄 수 있다는 점이 입증되었습니다. 여러분의 광고 소재를 이처럼 간단한 A/B 테스트로 시작하는 것은 비용을 줄이고 게임의 규모를 성장시키는 데 도움을 줍니다. 또한 게임 구축에 반영할 수 있을 만큼 매우 효과적인 특징들을 찾아낼 가능성도 있습니다.
Rope Man Run – 실패 시나리오
게임 ‘Rope Man Run’의 광고 소재를 비교했을 때 슈퍼소닉의 인스타그램 팔로워들은 더 낮은 CPI를 기록했을 것으로 생각되는 광고 소재를 선택했습니다. 왼쪽의 이미지는 캐릭터가 코스를 따라 달리고, 뛰고, 미끄러지는 모습을 보여주며, 광고 소재는 게임 플레이가 한창 이루어지고 있는 도중에 종료되었습니다. 오른쪽 광고 소재의 경우 캐릭터가 가진 로프가 다 떨어져 레벨을 통과하지 못하는 것으로 마무리되었습니다. 이때, 반응은 반반으로 갈렸습니다. 한 유저는 “왼쪽의 CPI가 더 낮을 것으로 생각됩니다. 오른쪽은 계속 실패하는 모습이라 동기가 유발되지 않습니다”라고 이야기했습니다.
View this post on Instagram
하지만 실패하는 시나리오를 보여준 바로 그 오른쪽 광고 소재가 게임 플레이를 잘 보여주는 시나리오 보다 더 나은 성과를 보여주었습니다. 하이퍼캐주얼 광고 소재에서는 실패 시나리오를 보여주는 것이 좌절감을 만들어 내고 유저들로 하여금 자신이 플레이해 승리하고 싶은 욕망을 이끌어낼 수 있는 경우가 많습니다. 이러한 점을 여러분의 광고 소재 전략에 반영할 수 있습니다. 즉, 레벨을 통과하지 못하는 실패하는 버전을 테스트해 CPI 측면에서 어떤 결과가 나오는지 살펴보는 것입니다.
Stacky Dash – 요소 하나하나의 중요성
이번 A/B 테스트 사례에서는 게임 ‘Stacky Dash’의 두 가지 광고 소재 버전을 링크드인의 팔로워들에게 나란히 보여주었습니다. 팔로워들은 게임 플레이 속도, 배경, 컬러 대비 등 CPI를 낮추는 데 효과를 발휘한 요소가 무엇인지 파악했습니다. 대부분은 왼쪽 광고 소재에서 녹색을 사용한 것이 오른쪽의 전체적으로 갈색인 광고 소재에 비해 더 나은 효과를 발휘했다는 점을 정확하게 짚어내었습니다. 한 유저는 “플레이 구역과 경로가 배경과 대비를 이루는 것”의 중요함을주장했습니다.
이러한 대비는 매우 중요한 핵심입니다. 비디오에서 캐릭터와 환경 사이의 대비를 높이는 것은 명확성을 개선하고 유저에게 플레이 방법을 보다 쉽게 보여줄 수 있습니다. 이는 CPI를 낮추는 데 크게 도움이 됩니다.
비디오에서 캐릭터와 환경 사이의 대비를 높이는 것은 명확성을 개선하고 유저에게 플레이 방법을 보다 쉽게 보여줄 수 있습니다.
왼쪽의 광고 소재는 게임 보드와 타일에 밝은 녹색을 사용해 대비를 증가시켰습니다. 이로써 게임 플레이와 진행이 보다 분명해져 유저는 이미 놓여진 타일과 채워야 하는 공간을 확실하게 확인할 수 있게 되었습니다.
(앞서 살펴본) Cheerleaders의 사례 – 테마의 중요성
게임 ‘Cheerleaders’를 위해 실시한 또 다른 A/B 테스트에서는 슈퍼소닉의 인스타그램 팔로워들에게 서로 다른 테마가 적용된 두 가지 광고 소재 중 승자를 선택할 것을 요청했습니다. 오른쪽의 광고 소재는 묘지를 배경으로 해골 캐릭터가 등장하는 으스스한 테마를 보여주었고, 왼쪽의 경우 하늘을 배경으로 여성 캐릭터가 등장하는 보다 밝은 분위기였습니다. 대부분의 사람들은 “할로윈이 다가오고 있기 때문”이라거나 “캐릭터와 환경이 조화되기 때문”이라는 이유를 들어 오른쪽을 승자로 선택했습니다. 하지만 보다 밝은 분위기의 왼쪽 광고 소재가 더 낮은 CPI를 기록했습니다.
View this post on Instagram
이유는 무엇일까요?
오른쪽과 같은 으스스한 테마는 일부 유저들에게 어필할 수 있지만 왼쪽 광고 소재만큼 접근하기 쉽지는 않기 때문입니다. 왼쪽 버전은 대부분의 플레이어에게 어필할 수 있는 밝은 컬러와 테마를 사용했고, 따라서 더 낮은 CPI를 기록했습니다. 거의 누구라도 하이퍼 캐주얼 유저가 될 수 있기 때문에, 여러분의 광고 소재는 모든 종류의 유저의 관심을 사로잡을 수 있어야 합니다. 우주, 공포와 같은 특이한 테마는 피하는 것이 좋습니다.
지속적인 테스트
광고 소재부터 게임 빌드의 특성에 이르기까지 모든 요소들에 대해 A/B 테스트를 계속해야 합니다. 위에서 소개한 5가지 테스트는 여러분의 게임 성과를 최적화시킬 수 있는 좋은 출발점입니다. 단, 출시 후에도 이러한 테스트를 계속해야 한다는 점은 기억하시기 바랍니다. A/B 테스트는 출시 후에도 성공을 유지하고 규모와 수익 측면의 추가적인 기회들을 발굴하는 데 도움을 줄 수 있습니다.
다음 번 챌린지도 놓치지 마세요 – Instagram, LinkedIn, Twitter에서 슈퍼소닉을 팔로우하세요!
Let's put these tips to good use
Publish your game with Supersonic
