UX 담당자가 통계를 알아야 하는 이유 (사용자 연구/User research)
UX는 사람을 연구하는 학문이며, 다시 말해 특정 IT 서비스 또는 제품을 전달하는 과정에서 서비스를 이용할 사용자를 연구한다. 이 과정에서 통계는 해당 서비스 또는 제품을 사용할 사용자를 정확하게 추정할 수 없기 때문에 필요하다. 잘못된 사용자 연구(user research)는 잘못된 통계에서 시작되며, 이러한 이유로 UX 담당자는 통계를 잘 이해하고 있어야 한다.
UX 는 위에서 언급했다시피 사람을 연구하는 대표적인 학문 분야이다. 그렇지만 우리가 사람들을 연구할 때, 이들을 전부 조사하고 확인할 수 있다면 얼마나 확실한 연구가 될 수 있을까 생각을 해본다. 전세게의 인구와 그들의 행동, 구매 등과 관련된 모든 패턴의 저보가 있다면 UX는 그야말로 진일보, 아니 혁신에 가까운 업적을 이루어 낼 수 있으리라고 생각한다. 그래서 요즘에 그렇게들 빅데이터라는 말이 흔히 들리고 있는지도 모르겠다. 우리가 UX를 담당하면서도 현실에서는 우리는 대부분 우리가 연구해야 되는 사람들의 극히 일부, 어쩌면 그 일부도 이미 어느정도는 계산된 사람들을 데리고 실험을 하고 연구를 하고 있을지도 모를 일이다. 우리가 모든 사람들을 대상으로 연구를 하고 그를 바탕으로 UX를 개발해 내기가 어려운 것이 현실이기에 우리는 어쩌면 알고싶지도 않고 복잡한 통계개념을 어느정도는 이해하고 있어야 될지도 모르겠다.
1. 들어가며
UX는 무엇을 연구하는 학문인가? 사람을 연구하는 학문이다. 너무나도 당연한 말로 들리는 질문을 왜 하는가 궁금해 하는 사람들도 분명 있을 것이다. 필자는 근래에 UX가 사람을 연구한다는 측면에서 사회과학연구의 한 측면을 많이 닮아 있다는 생각이 문득 들었다. 사회과학연구에는 어떠한 것들이 있는가? 질문이 너무 피상적인것 같으니 필자가 좀더 구체적인 질문을 해보겠다. 우리가 흔히 일상에서 접하는 사회과학연구는 언제 가장 많이 활용되고 어떠한 것이 가장 대표적인가? 이에 대한 답은 선거 시에 가장 많이 활용된다고 볼 수 있겠다. 우리가 이러한 사회과학연구(대표적으로 인구통계학적 연구)를 접할 기회는 그만큼 많지 않다. 그 만큼 우리는 숫자에 약하다는 것을 의미한다.
UX를 논하면서 갑자기 숫자 이야기를 꺼내는 것에 의아할 사람도 분명히 있을 것이다. 그래서 필자가 예로 든 것이 바로 선거개표 방송이었다. 선거개표 방송을 보다보면 표본오차가 얼마네 신뢰도가 얼마네 고등수학에서나 들어봄직한 통계 용어들을 심심치 않게 접할 수 있기 때문이다. 일단 이런 세부 이야기는 좀 더 나중에 다루는 것으로 하겠다.
UX 는 위에서도 언급했다시피 사람을 연구하는 대표적인 학문 분야이다. 그렇지만 우리가 사람들을 연구할 때, 이들을 전부 조사하고 확인할 수 있다면 얼마나 확실한 연구가 될 수 있을까 생각을 해본다. 전세계 모든 인구와 그들의 행동, 구매 등과 관련된 모든 패턴과 관련된 정보가 있다면 UX는 그야말로 진일보, 아니 기존에는 볼 수없던 혁신에 가까운 업적을 이루어 낼 수 있으리라고 생각한다. 그래서 요즘 그렇게 빅데이터가 화두가 되고 있는지도 모르겠다. 우리가 UX를 담당하면서도 현실에서 우리는 대부분 연구해야 되는 사람들의 극히 일부, 어쩌면 그 일부마저도 이미 어느 정도는 예상되는 행동을 하게될 계산된 사람들을 데리고 실험을 하고 있을지도 모를 일이다. 우리가 모든 사람들을 대상으로 연구하고 그를 바탕으로 UX를 개발해 내기가 어려운 것이 현실이기에 우리는 어쩌면 알고싶지도 않고 복잡한 통계 개념을 어느정도는 이해하고 있어야 할 수밖에 없는 것이다.
2. 통계를 고려하지 않은 UX 설계오류 예
사실 우리는 일상속에서도 흔하게 통계를 접하고 있긴하다. 덧셈, 뺄셈, 곱셉, 나눗셈, 총합, 평균 등도 모두 일종의 통계적 자료로 자주 활용된다. 그렇지만 우리가 쉽게 사용하는 이런 통계값들은이라는 그리 신뢰할 수 없는 경우가 많다. 하지만 우리는 그것을 아무런 의심없이 사용하고 그것을 기반으로 UX 설계 시 다양한 의사결정에 활용한다. 우리가 흔히 계산하는 단순한 평균값들은 기술통계라는 용어로 사용하며, 이는 고급통계와 구분하며, 그 용어를 달리한다. 여하튼 이러한 논의는 나중에 다시 또 하도록 하겠다.
우리가 흔히 사용하는 통계값(기술통계값)이 어떠한 맹점이 있는지 다음의 예를 통해 살펴보자. 위와 같이 연구대상이 되는 두 그룹(A,B)가 있다고 가정을 해보자. 물론 위에서도 언급했다시피 우리는 대부분의 사회현상에서 그룹 전체를 대개는 알지 못한다. 위에서 예로 들었던 전국민을 대상으로 하는 투표개표결과 역시 모든 투표결과가 공개되기 전까지는 몇명이 투표에 참여하고 기권을 했는지, 누가 얼마만큼 어떤 당을 지지했는지 알길이 없는 것처럼 말이다. 물론 최근엔 고급통계 기법들을 이용하여 투표결과가 모두 공개되기도 전에 미리 어느 당이 승리를 할지 정확히 예측이 가능해지고 있지만 말이다.
여하튼 전제는 우리는 위의 두 그룹(A,B)에 실제로는 몇명이 속해 있는지 알기 어렵다는 것에 있다. 통계에서는 이를 모집단이라고 하며, 이를 알고 접근하는 경우는 대게 없다. 아니 거의 없다고 보는 게 맞다. 예를 들어, 당신이 기획하는 모바일 어플리케이션의 주 사용 연령층이 20대라고 가정해보자. 당신은 이 20대 인구 전부를 대상으로 실험하고 연구할 수 있는가? 아니라면 당신은 그들을 전부 알고 있지 않다고 보는게 맞다.
우리가 흔히 범하는 통계적 오류는 위의 그림을 보면 조금더 쉽게 이해할 수 있다. 우리는 실제로 두 그룹(A,B)에 속한 인구는 모르지만 때때로 그 중 일부에 대한 연구를 수행한다. 그 예가 '그룹 A의 서브그룹 1'에 대한 연구였다고 생각해보자. 흔히 당신은 '그룹 A 서브그룹 1'의 평균키가 172cm라는 것을 통해 그룹 A 평균키가 172cm라는 결론을 내릴 것이다. 또한 당신이 동시에 '그룹 B의 서브그룹 1'에 대한 연구를 수행했다면 역시 이를 통해 그룹 B의 키가 172cm라는 결론을 내리게 될 것이다. 그리고는 '두 그룹의 키 차이는 없다.' 라는 결론을 내릴 것이다. 왜냐하면 당신은 그룹 A,B 전체를 대상으로 연구할 수 없기 때문에 실제 그룹전체의 평균값을 안타깝게도 확인할 수 없기 때문이다. 그렇지만 실제로 그룹 A(170.66cm)와 그룹 B(172.66)의 실제 전체 평균값을 확인해보면 분명히 키가 차이가 난다는 것을 확인할 수 있다. 물론 운이 좋게도 당신이 '그룹A의 서브그룹 2'를 선택하여 연구를 했고, '그룹 B의 서브그룹 1'을 선택하여 연구를 하고 결론을 내렸다면 실제 각 그룹의 평균치 차이와 유사한 결론(그룹 B(172cm)가 그룹A(170cm)보다 2cm 더 크다는 결론)을 내릴 수 있을 것이다. 하지만 그건 당신이 운이 좋았을 뿐 여전히 우리는 위와 같은, 혹은 전혀 다른 결론을 기술통계로 부터 얻게될 가능성이 훨씬 더 많다.
조금은 현실적인 예를 들어보자면 당신이 웹사이트의 특정 UI를 설계하였다고 가정해보자. 그리고 그것을 사용하게 될 남자사용자와 여자사용자를 30명씩 모집하여 실험을 했다고 가정해보자. 이때, 남자사용자 30명중 25명은 해당 UI가 좋다고 하였고, 여자사용자 30명중 22명은 해당 UI가 좋다고 답변을 했다. 그렇다면 해당 UI에 대한 선호도는 남자가 더 높다는 것으로 판단하기가 쉬울 것이다. 그것이 위에서 언급한 기술통계의 위험한 오류가 될 수 있음을 이제는 알아야 한다 (위에서 필자가 말한 내용을 제대로 이해를 했다면 말이다.) 이는 이미 당신이 선정한 30명은 위의 그림의 서브 그룹일 뿐 실제 전체 그룹에 대한 결과값이 아니기 때문에 이를 신뢰할 수 없다는 것을 의미한다. 위의 예에서 각 그룹의 서브그룹 1을 비교하여 얻은 결론이 잘못된 결론이었음을 이해했다면, 당신이 남자사용자 30명과 여자사용자 30명을 통해 결론으로 낸 '남자사용자가 여자사용자보다 해당 UI에 대한 선호도가 단순히 높다.'고 주장하는 것이 얼마나 어리석은 것인지를 이해했으면 한다.
3. 결론
위의 예를 통해, 더이상 기술통계값만으로 사용자 연구에 대한 신뢰성이 담보되었다는 이야기를 하는 우둔한 UX 담당자는 없기를 기대해본다. 필자에게 그럼 또 이상한 질문을 던지는 이들도 있을 것이다. "그래서 어쩌라는 것이냐?"와 같은 질문을 말이다. 이에 대한 대답으로 필자는 '고급통계 기법과 다양한 분석 방법들이 널리 알려져 있으니 그것들을 참고할 것'을 추천한다. 물론 잘 이해가 안가거나 모르는 부분이 있다면 언제든지 댓글을 남기거나 e메일을 보내주기 바란다. 필자도 통계전문가는 아니지만 아는 선에서 충분히 필요한 답변은 해주도록 하겠다. 필자도 통계라는 학문을 확률에 근거하여 확실하지도 않은 것에 대한 기대치로 나타낸 것을 맹신하는 것이 늘 옳다고는 생각하지 않는다. 하지만 적어도 통계적 기법이 왜 필요하고, 언제 쓰여야 되는지에 대해서는 알고 본인의 연구 결론을 내고, 이에 따라 업무를 해 나가기를 바라는 마음에 이 글을 쓰고 있다. 필자의 작은 바램이라면, 그것에 대한 공감대만이라도 형성되는 것에 있다. 세상의 변화는 당신의 작은 노력과 이해로부터 시작된다는것을 늘 잊지말자.
댓글
댓글 쓰기