지표가 떨어졌을 때는 경우를 나누어 확인해보자

▶︎ 지표를 봐야하는 이유

→ 정량적 잣대(지표)를 모니터링하면서 직감에 의존하지 않고 문제를 빠르고 정확하게 파악할 수 있다. 

→ 이 문제를 해결하는 과정을 통해 성과를 개선하고, 평가할 수 있다.

→ 또한 목표를 설정하고 의사결정하는 등 서비스의 방향성을 정할 수 있다. 

→ 예를 들어, 내가 쇼핑몰을 운영하고 있는데 구매 전환율이 줄어들었어, 나중에 통장에 찍힌 매출액으로 확인하기에는 너무 늦었잖아? 바로바로 대응을 해야지. 심지어 그 원인이 쇼핑몰 결제 프로세스의 버그였다면? 고객의 이탈에 큰 원인을 제공하는 것이었다면? 그 고객들을 끌어들이기에는 늦었을 것이다. 

 

▶︎ 떨어질 때 어떻게 해야 하는가 

→ 문제의 원인을 알 것 같을 때와, 모를 때는 나누어서 생각해봐야 한다.

→ 문제의 원인을 알 것 같을 때

1. 원인이 내부적 요인일 때

: UX나 알고리즘이나 프로세스를 변경해서 배포를 했는데 마침 그 때와 맞아떨어진다면? 이것은 A/B 테스트를 충분히 하지 않은 것에 대한 결과이다. 결과에 영향을 줄 요인을 변경할 때는 A/B 테스트를 통해 충분히 하락/상승의 기간이나 변화폭을 파악하고 내부 논의를 통해 의사결정해야 한다. 

: 마케팅/ 광고, 상품 구성을 달리 하든, 제품의 리뉴얼, 상품 구성의 변화 등 

2. 원인이 외부적 요인일 때

: 특정 브랜드의 부정적인 이미지에 따른 결과라면? 눈에 띌 정도면 기사화되어 알고 있을 확률이 높을 것이다. 해당 브랜드의 디멘젼을 따로 구분한 후, 다른 브랜드들은 괜찮은지 파악한다. 또는 경쟁사나 인플루언서의 입김에 따른 결과라면... 그 상대 회사나 개인과 원만한 합의를 해야할 듯.

3. 광고 대행업체에서의 노출 광고의 변경이 있었을 수도 있으니 변경 사항을 확인하고 대응하기.

 

→ 문제의 원인을 모를 때

1. 코호트로 그룹을 나누어 파악한다. 운영체제별로, 브랜드별로, 연령대별로, 신규/기존 고객별로 등등 나누어 파악한다. 쪼개서 본다. 

2. 퍼널을 쪼개서 살펴본다. 평소와는 다른 급격한 하락을 이뤄낸 영역, 단계는 무엇이었는지 파악한다.

3. 데이터의 문제일 수도 있다. 저는 실제로 상품 판매 건수의 하락의 원인을 찾다가 로그 데이터가 14시~24시까지 쌓이지 않은 이유로 잘못된 지표가 도출된 것인 적이 있었습니다. 사용하는 데이터들이 모두 동일한 기준일을 바라보는지, 지표 계산에는 문제가 없는지(물론 자동화를 했겠지만 혹시나?)

4. 업계, 시장, 사회적 이슈, 경기 침제 등의 원인인지

5. 상품평이나 민원 사항을 확인

6. 경쟁사 확인

 

▶︎ 예를 들어, 배너 클릭율이 하락하고 있을 때 어떻게 분석해야 하는가? 

1. 데이터 수집 : 배너 클릭율과 관련된 데이터를 수집합니다. 클릭한 사용자의 특성, 클릭한 배너의 위치 및 디자인, 클릭된 시간 등

2. 데이터 탐색 및 시각화 : 수집한 데이터를 탐색하고 시각화하여 클릭율의 변화나 패턴을 파악합니다. 어떤 배너가 어느 위치에서 더 많이 클릭되는지, 시간대별로 클릭율이 어떻게 변화하는지 등을 확인합니다.

3. 행동 분석 : 사용자의 행동 패턴을 분석하여 배너 클릭과 관련된 요인을 파악합니다. 사용자가 어떤 활동을 하고 있는 도중에 배너가 표시되는지, 사용자가 어떤 상황에서 클릭하는지 등을 고려합니다.

4. A/B 테스트 : 클릭율이 떨어진 이유를 파악하기 위해 A/B 테스트를 진행합니다. 새로운 디자인이나 배너 위치 등과 같은 변화를 시도하여 사용자의 반응을 비교합니다.

5. 결과 해석 및 사용자 피드백 분석 : 사용자들로부터의 피드백을 분석하여 배너에 대한 의견을 파악합니다. 사용자가 왜 클릭하지 않는지, 어떤 점이 불편한지 등을 조사합니다.

6. 데이터 마이닝 : 클릭한 사용자의 프로파일을 분석하여 특정 사용자 그룹이나 선호도를 파악합니다. 이를 기반으로 개인화된 배너 서비스를 제공하는 방안을 고려합니다.