2019
11-12월호

더 나은 온라인 리뷰 시스템 설계하기
제프 도나커(Jeoff Donaker),마이클 루카(Michael Luca)

MARKETING

더 나은 온라인 리뷰 시스템 설계하기

구매자와 판매자가 신뢰할 수 있는 평가 결과를 만드는 방법

 

제프 도나커

옐프 전 COO

김현진

하버드경영대학원 박사과정생

마이클 루카

하버드경영대학원 부교수

 

 

 

 

 

내용 요약

가능성

우버나 리프트에서의 운전사 평점, 아마존의 상품평, 트립어드바이저에서의 호텔 추천과 같은 리뷰 시스템은 소비자의 결정에 점점 큰 영향을 미치고 있다. 좋은 리뷰 시스템은 구매자에게는 구매하는 데 필요한 확신을 제공하며 판매자에게는 더 높은 매출과 더 많은 재구매 소비자를 가져다 준다.

 

문제점

많은 리뷰 시스템이 잠재력을 발휘하지 못하고 있다. 리뷰 수가 너무 적거나, 잘못된 정보를 주거나, 전혀 도움이 되지 못한다. 실패한 리뷰 시스템들이 갖고 있는 공통점이 있다. 관리적인 어려움보다는 기술적 어려움이 문제라고 생각하는 것이다.

 

해결책

리뷰 시스템을 구축하고 관리하는 사람들은 소비자와 리뷰 작성자 모두에게 더 나은 경험을 제공할 수 있는 디자인을 선택해야 한다.

 

 

 

 

온라인상 리뷰가 소비자의 상품과 서비스 선택방식을 변화시키고 있다.

 

우리는 휴가계획을 짤 때 트립어드바이저에 의지하고, 의사를 찾을 때 작닥Zocdoc에 들어가고, 새로운 음식점을 검색할 때 옐프를 찾는다. 고객의 리뷰 시스템은 아마존과 에어비앤비 같은 온라인시장에서 중심적인 역할을 한다. 보다 넓게 보면, 점점 더 많은 수의 기업이 소비자의 이해를 돕기 위해 고객 리뷰(평가) 생태계를 유지한다. 스탠퍼드헬스케어는 물론이고, 미국 10대 소매브랜드 중 아홉 개 브랜드들도 그렇다.

 

잘 관리된 리뷰 시스템은 구매자와 판매자 모두에게 가치를 창출한다. 신뢰할 만한 시스템은 상대적으로 덜 알려진 상품을 소비자가 구매하는 데 필요한 확신을 제공해 줄 수 있다. 새로운 책이든 동네 음식점에서의 저녁식사든 말이다. 예를 들어 필진 중 마이클 루카가 진행한 연구에 따르면, 옐프 평점이 높은 경우 높은 매출로 이어진다. 이런 효과는 평판이 상대적으로 잘 알려지지 않은 개인 비즈니스에서 더욱 두드러지게 나타난다. 리뷰는 또한 공급자에게 가치 있는 정보를 제공하는 피드백 고리를 제공한다. 예를 들어 평점 시스템을 통해 우버는 고객평이 좋지 않은 운전사를 해당 서비스에서 제외할 수 있으며 소비재 생산자들에게 제품을 향상시킬 수 있는 제대로 된 가이드를 제공할 수도 있다.

 

그러나 리뷰 시스템이 잘 활성화되는 경우도 있지만, 버려지는 경우도 많다. 평점을 남기는 사람도, 새로운 사용자도 끌어들이지 못하는 것이다. 그리고 많은 리뷰를 쌓았지만 정보의 내용에 대해 소비자의 신뢰를 얻지 못한 곳도 있다. 예를 들어 어떤 플랫폼에서의 리뷰가 모두 긍정적이기만 하다면 사람들은 평가된 상품이 모두 고퀄리티라고 생각하거나, 혹은 이 시스템을 통해서는 좋은 상품과 나쁜 상품을 구별할 수 없다고 결론지을 수도 있다. 리뷰가 상품경험에 대한 불완전한 단편만을 제공한다면 사람들을 호도할 수 있다. 사기성이거나 잇속 차리기 식의 리뷰는 해당 플랫폼이 신뢰를 구축하려는 노력에 방해가 될 수 있다. 마이클 루카와 이오르고스 세르바스Georgios Zervas가 수행한 연구에 따르면 비즈니스가 평판을 얻는 데 어려움을 겪거나 경쟁이 특히 심한 경우에는 리뷰 사기를 저지를 가능성이 특히 높은 것으로 나타났다.

 

많은 실패한 리뷰 시스템의 배경에는 공통되는 가정이 있다. 바로 이런 시스템을 구축하는 데에는 관리적 어려움보다는 기술적 어려움이 크다는 것이다. 비즈니스 리더는 종종 시스템의 바탕이 되는 기술에 상당한 투자를 하고 내용은 적극적으로 관리하지 않는데, 이는 모두가 겪는 공통의 문제로 이어진다. 나쁜 설계를 선택하는 경우 그 결과는 심각할 수 있다. 리뷰 평판이 없다면 여행자가 에어비앤비 호스트를 신뢰할 수 없을 것이고, 상품평 없는 아마존 역시 지금처럼 활성화되기 어려울 것이다. 학계에 몸담고 있는 필자들(김현진과 마이클 루카)은 왜 어떤 리뷰 플랫폼은 실패하고 어떤 플랫폼은 성공하는지를 연구했고, 그 과정에서 옐프 등 여러 기업과 함께 작업했다.(김현진은 현재 옐프의 경제연구부문 인턴으로 일하고 있다.) 그리고 또 다른 필자인 제프 도나커는 옐프에서 10년 넘게 최고운영책임자로 근무하며 옐프의 리뷰 생태계가 지역서비스와 관련해 세계적으로 주도적인 정보처가 되는 데 기여했다.

 

최근 몇 년 들어 보다 활발한 리뷰/평판 시스템을 만들 수 있는 설계가 무엇인지를 탐구하는 연구가 늘어나고 있다. 우리의 연구와 수업, 기업들과의 협업 경험에 작성한 본 아티클은 리뷰 생태계 관리를 위한 기본 프레임워크를 알아보고, 발생 가능한 문제들과 공통적인 함정을 피하는 데 도움이 되는 인센티브제와 설계옵션을 조망하고자 한다. 이제 이런 각각의 이슈를 보다 세부적으로 들여다보고 해결방법을 설명하고자 한다.

 

 

부족한 리뷰

 

출범 당시 옐프는 말 그대로 새로운 플랫폼이었다. 리뷰 작성자도, 읽는 사람도 거의 없는 유령마을 같았다. 막 시작하는 단계에서는 대부분의 리뷰 시스템이 리뷰가 부족한 상황을 경험한다. 많은 사람들이 구매에 대한 정보를 얻기 위해 리뷰를 읽지만, 리뷰를 작성하는 사람은 극소수에 불과하다. 리뷰 플랫폼이 강한 네트워크 효과를 지닌다는 사실 때문에 이런 상황은 악화된다. , 읽는 이가 적은 곳에서는 리뷰 작성자를 얻기가 더욱 힘들며, 리뷰가 적은 곳에서는 이를 읽는 사람을 유인하기도 힘들다.

 

적당한 수의 리뷰를 생성하는 데 도움이 될 수 있는 세 가지 방안을 제안한다. (1)리뷰 심기 (2)인센티브 제공하기 (3)관련 리뷰를 함께 보여주기 위해 관련된 상품을 한 곳으로 모으기다. 이런 방법을 적절하게 섞는 방법은 해당 시스템이 성장궤도의 어디에 위치하는지, 포함된 개별상품이 얼마나 많은지, 시스템 자체의 목표가 무엇인가와 같은 요소에 좌우된다.

 

리뷰 심기. 초기 단계의 플랫폼은 리뷰 작성자를 고용하거나 (파트너십 형성이나 적절한 출처를 밝히고) 다른 플랫폼에서 리뷰를 끌어오는 방식을 고려할 수 있다. 새로운 도시에서 사용자들이 옐프를 방문하고 스스로 리뷰를 작성하기 시작하도록 하기 위해, 옐프는 플랫폼이 인기를 모을 때까지 수개월간 개인적인 사진이나 리뷰를 올릴 유료 파트타임스카우트팀을 모집했다. 다른 비즈니스의 경우 리뷰에 특화된 플랫폼과 파트너십을 구축하는 것도 좋은 방법일 수 있다. 자체 리뷰 생태계를 구축하고 싶어하는 기업이나, 리뷰는 보여주되 자체 플랫폼을 만들고자 하는 의도가 없는 기업 모두에게 말이다. 아마존이나 마이크로소프트 같은 기업들은 자신들의 사이트 이용자를 늘리기 위해 옐프나 기타 플랫폼으로부터 리뷰를 끌어온다.

 

자체 리뷰 생태계를 키우고자 하는 플랫폼은 초창기에 씨앗이 되는 리뷰를 심는 방식이 특히 도움이 될 수 있다. 이런 활동을 유인하는 데는 반드시 기존에 자리를 잘 잡은 브랜드여야 할 필요가 없기 때문이다. 그러나 상품이나 서비스 수가 많을수록 비용이 많이 들 수 있으며, 이를 통해 얻게 되는 리뷰가 자연적으로 생성된 내용과는 다를 수 있다. 따라서 목표에 따라 일부 플랫폼은 리뷰 심기의 다음 단계로 신속히 이동하는 것이 유리할 수 있다.

 

인센티브 제공하기. 플랫폼 사용자들이 리뷰나 평가를 작성하도록 동기를 부여하는 방법은 대규모로 확장하기에도 좋고, 공동체 의식을 조성할 수도 있다. 이때 사용자에게 주는 인센티브는 금전일 수 있다. 예를 들어 2014년 에어비앤비는 리뷰 작성 시 25달러 쿠폰을 제공했다. 그러자 리뷰 평가가 6.4% 늘었다. 그러나 현물의 상품이나 회원 지위와 같은 비금전적인 인센티브 또한 리뷰 작성을 위한 동기부여가 될 수 있으며, 특히 브랜드가 이미 유명한 경우 더욱 효과가 좋다. 구글 로컬 가이드 프로그램에서 사용자는 리뷰 작성, 사진 추가, 내용 수정, 질문 답변 등 플랫폼에 무언가를 제공할 때마다 포인트를 얻는다. 이런 포인트를 가지고 새로운 구글 상품을 남보다 빨리 손에 넣을 수도 있고, 구글 드라이브 저장용량을 무료로 1TB 업그레이드할 수도 있다. 옐프의 다수의 고퀄리티 리뷰를 작성하는엘리트 고객단은 비공개 파티나 이벤트에 초대되는 등 플랫폼 내에서 많은 특권을 누릴 수 있는 특별한 지위를 얻는다.

 

 

금전적인 인센티브는 다양한 상품 구성을 가지고 있다면 어려울 수 있다. 그러나 더 큰 우려는 이런 인센티브제가 제대로 설계되지 않는다면 금전적 및 비금전적 인센티브 모두 사용자들이 다른 소비자에게 도움이 되지 않는 엉터리 리뷰로 시스템을 빠르게 채워 역효과를 낼 수 있다는 것이다.

 

상품 묶기.리뷰 단위를 적절히 재구성해서 단일 평가가 다수의 상품에 적용되도록 만들 수 있다. 예를 들어 옐프에서는 헤어스타일리스트와 미용실이 별도로 평가된다. 이런 방식으로 하면 주어진 특정 비즈니스에 대해 옐프가 축적할 수 있는 리뷰 수가 크게 증가한다. 모든 스타일리스트에 대한 리뷰가 해당 미용실 페이지에 나타나기 때문이다. 그리고 많은 헤어스타일리스트들이 정기적으로 미용실을 옮기기 때문에 잠재적인 고객에게 미용실 전체의 평판도 스타일리스트의 평판 못지않게 중요하다. 마찬가지로 판매되는 개별 상품을 구분하기보다는 (이베이에서처럼) 사용자에게 판매자에 대한 평가를 요구하는 것이 더욱 유용한 리뷰를 만들 수 있는 방법이 될 수 있다.

 

시작부터 리뷰 시스템에서 상품을 묶을지, 묶는다면 어떤 방식으로 할 것인지 결정하는 것이 유용할 수 있다. 해당 플랫폼이 무엇에 관한 것인지 (예를 들어 스타일리스트에 관한 평가인지 미용실에 대한 평가인지를) 확실히 밝힐 수 있기 때문이다. 상품 묶기는 상품의 폭이 넓어질수록 유용한 방식으로 묶을 수 있는 아이템을 더 많이 확보할 수 있기 때문에 특히 매력적일 수 있다.

 

그러나 이런 방식에 따른 리스크는 더 많은 리뷰를 확보하기 위해 제품을 묶어 놓음으로써 고객이 특정상품에 대해 필요로 하는 정보를 제공하지 못할 수도 있다는 것이다. 예를 들어 한 미용실에서 각 스타일리스트가 제공하는 경험이 얼마나 다른지, 한 명의 스타일리스트에 대한 평가가 다른 스타일리스트의 잠재고객에게 미치는 영향이 있는지를 고려해야 한다.

 

아마존은 북스토어에 있는 리뷰를 묶을 때 독자가 구매하고자 하는 책의 형태를 고려한다. 동일한 책의 텍스트 형태(양장본, 문고판, 전자책)의 리뷰는 같이 보여주지만, 오디오북은오디블이라는 브랜드로 별도로 평가한다. 책의 내용에 대해 알고 싶어하는 고객들을 위해 오디오북과 물리적 책에 대한 리뷰를 한데 모으는 것이 유리할 수도 있다. 그러나 오디오 제작 퀄리티와 내레이터에 대한 정보가 오디오북 구매자에게는 중요 요소이기 때문에 이런 리뷰는 별도로 두는 것이 유용할 수 있다.

 

이 모든 전략은 더 많은 리뷰 사용자가 플랫폼에서 이익을 얻고 참여함에 따라 콘텐츠 개발이 점차 자립적으로 유지되면서 리뷰 부족 상황을 극복하는 데 도움을 줄 수 있다. 그러나 플랫폼은 리뷰의 양뿐만 아니라 정보성도 고려해야 하며, 이는 선택 편향과 해당 시스템의 악용 여부에 영향을 받을 수 있다.

 

 

선택편향

 

한 번이라도 온라인 리뷰를 작성해 본 적이 있는가? 그렇다면 그 특정 경우에 대해 의견을 남기기로 결정했던 이유는 무엇인가? 연구에 따르면 사용자가 리뷰를 남기기로 결정하는 것은 보통 경험의 퀄리티에 영향을 받는다. 일부 사이트의 고객들은 구매가 만족스러웠던 경우 리뷰를 남길 가능성이 높을 수 있고, 다른 사이트의 경우는 매우 만족스럽거나 매우 불만족스러운 경험에 대해서만 리뷰를 남길 수 있다. 모두의 경우 평가 결과는 선택편향의 영향을 받을 수 있는데, 이런 평가가 상품에 대한 전체 소비자 경험의 스펙트럼을 정확하게 대표하지 않을 수 있다는 것이다. 예를 들어 만족하는 사람들만 리뷰를 남긴다면 평가는 인위적으로 부풀려질 것이다. 만족하는 고객들에게만 리뷰를 남기도록 유도한다면 선택편향은 더욱 두드러지게 나타날 수 있다.

 

이베이는 2011년 판매자들의 점수가 의심스러울 정도로 높다는 사실을 파악하고 선택편향이라는 어려움에 직면했다. 그 당시 해당 사이트 대부분의 판매자가 99% 이상의 긍정적인 평가를 받았다. 이베이는 경제학자 크리스 노스코Chris Nosko와 스티븐 타델리스Steven Tadelis와 협업해 살펴본 결과, 사용자들이 만족스러운 구매를 한 후에 리뷰를 남길 가능성이 훨씬 높다는 사실을 발견했다. 즉 해당 사이트에서 완료된 4400만 건의 거래 중 오직 0.39%만이 부정적인 리뷰나 평가를 받았으나 그 두 배 이상이나 되는 1%가 실제로 셀러와 분쟁이 있음을 표시했다. 또 일곱 배에 해당하는 3%의 구매자가 판매자와 메시지를 주고받았는데, 이는 불만족한 경험이 있었음을 의미한다. 판매자의 평점을 보는 것보다, 구매자가 판매자에 대한 리뷰를 남기기로 결심했느냐 아니냐가 미래의 불평접수 여부를 더 잘 예상할 수 있게 해 준다. 즉 판매자의 퀄리티를 보여주는 더 나은 지표인 것이다.

 

이베이가 세운 가설은 평가자의 선택편향을 바로잡고, 고퀄리티 판매자를 보다 명확하게 구분지음으로써 구매자 경험과 매출을 향상시킬 수 있다는 것이었다. 이 회사는 판매자 점수를 매길 때 이전의 긍정적인 평가비율 대신에 모든 거래에서 긍정적인 평가를 받은 거래비율을 계산하는 것으로 공식을 바꾸었다. 이 새로운 방식은 중위점수가 67%를 기록하게 됐고 평점도 더 고르게 분포되게 됐다. 그리고 이 새로운 점수 시스템에 노출된 소비자들은 대조군보다 해당 사이트를 재방문해 추가 구매할 확률이 훨씬 높았다.

 

이런 방식의 점수 평가제를 도입하면 평가의 왜곡 여부, 문제의 심각성, 이를 해결하기 위한 추가 데이터 필요 여부를 분석할 수 있다. 또 어떤 리뷰 시스템이든 간에 편향성을 완화하도록 고안할 수 있다. 리뷰 과정 전반에서, 즉 최초 리뷰 요청에서부터 리뷰를 작성할 때 사용자가 받게 되는 메시지까지, 사용자들이 덜 편향된 방식으로 행동하도록 유도할 수 있는 기회들이 여럿 있다. 여러 설계 옵션들을 가지고 실험해 보라. 그러면 리뷰 작성자 스스로의 편향성도 감소시키고, 사용자 전체 집단의 편향성 역시 감소시키는 방법을 찾아낼 수 있다.

 

리뷰 요청.보다 강압적인 방식은 사용자가 다른 구매를 하기 전에 이전 구매에 대한 평가를 하도록 하는 것이다. 그러나 신중을 기해야 한다. 이는 일부 고객들을 해당 플랫폼에서 멀어지도록 할 수 있으며 고객들이 디폴트로 제공해야 하는 정보성 없는 평가들만 난무하게 만들 수 있다. 또 이로 인해 해당 리뷰 시스템에 소음과 다른 종류의 오류를 유발할 수 있다. 이런 이유로 플랫폼에서는 선택편향을 최소화하기 위한 다른 방식을 주로 찾는다.

 

비공개 의견 허용.경제학자 존 호턴John Horton과 조지프 골든Joseph Golden은 프리랜서 리뷰 사이트인 업워크Upwork에서 특정 프리랜서의 업무가 불만족스러웠던 경우 고용주들은 공개적인 리뷰를 남기기를 꺼려했지만 업워크만이 볼 수 있는 피드백을 남기는 것에 대해서는 긍정적이라는 사실을 알아냈다.(비공식적으로는 경험이 만족스럽지 못했다고 보고한 고용주들도 공개적으로는 가능한 가장 높은 점수를 써내는 경우가 거의 20%에 달했다.) 이는 업워크에 매우 중요한 정보를 제공했다. 즉 사용자들이 리뷰를 기꺼이 남기고자 할 때와 그렇지 않을 때가 언제인지, 그리고 문제가 있는 프리랜서가 누구인가 하는 것에 대한 정보를 제공해줬다. 이런 정보는 업워크가 프리랜서를 추천해 주는 알고리즘을 변경하거나, 프리랜서에 대한 누적 피드백을 제공하는 데 사용할 수 있었다. 사람들은 누적 피드백을 보고 채용결정을 바꾸었다. 이는 이것이 중요한 추가정보임을 보여준다.

 

세심한 프롬프트(리뷰 요청문구) 설계.보다 일반적으로 사람들이 남기는 리뷰는 이를 언제, 어떻게 요구하느냐에 따라 다르다. 플랫폼은 사용자가 평가를 할지 말지를 결정하는 환경의 다양한 측면을 섬세하게 설계함으로써 리뷰의 편향성을 최소화할 수 있다. 이런 방식을 두고넛지 >의 저자 캐스 선스타인Cass Sunstein과 리처드 탈러Richard Thaler는 선택설계choice architecture라고 부른다. 이는 프롬프트에 사용하는 표현에서부터 사용자에게 제공되는 옵션 수에 이르기까지 모든 것에 적용된다.

 

옐프를 대상으로 수행한 한 실험에서 필자들은 사용자들이 리뷰를 남기도록 하는 메시지를 여러 가지로 다르게 설정했다. 일부 사용자에게는다음 리뷰를 쓰실 차례입니다와 같은 일반적인 메시지를 보여주고, 다른 사용자에게는 지역 비즈니스가 잘 되도록 돕거나 다른 고객들이 지역 비즈니스를 찾을 수 있도록 도와달라고 부탁했다. 결과적으로 후자 그룹이 더 긴 리뷰를 작성하는 경향을 보였다.

 

 

허위 리뷰와 전략적 리뷰

 

판매자들은 가끔 자신을 위한 긍정적인 리뷰를 남겨 평가를 높이거나, 실제 고객이 리뷰를 남긴 것으로 가장해 이들의 경쟁자에게 부정적인 리뷰를 남기려는 (비윤리적인) 시도를 한다. 이를 최근 마케팅에서도 사용되는 가짜 여론을 조성한다는 의미의 애스트로터핑(astroturfing)이라고 부른다. 플랫폼의 영향력이 클수록 사람들은 애스트로터핑을 더욱 많이 시도한다.

 

애스트로터핑은 소비자에게 피해를 줄 수 있기 때문에 정책 및 규제당국이 개입하고 있다. 2013년 에릭 슈나이더만Eric Schneiderman당시 뉴욕 주 검찰총장은 우리의 연구에서 일부 자극을 받았다면서 이런 문제를 해결하기 위한 활동에 참여했다. 슈나이더만의 수사팀은 온라인 플랫폼에서 가짜 리뷰를 작성하도록 도운 19개 기업과 합의한 내용을 발표했다. 이들에게 이런 관행을 중단하도록 하고, 허위 광고 및 기만적 비즈니스 관행을 포함하는 혐의에 대해 무거운 벌금을 물도록 한 것이다. 그러나 가게 좀도둑질이 그렇듯, 단순히 법 집행에만 의존해서 가짜 리뷰의 함정을 피할 수는 없다. 기업은 자체 보호장치 또한 강구해야 한다. 마이클 루카가 이오르고스 세르바스와 함께 작성한 논문에서 언급한 바와 같이 옐프를 포함한 일부 기업들은 가짜 리뷰를 작성하려고 시도하는 기업들을 파악하고 해결하기 위해 함정수사를 벌이기도 한다.

 

비슷한 경우로, 구매자와 판매자가 상호 평가하도록 하고 다른 쪽으로부터 높은 점수를 끌어낼 수 있도록 자신의 평가를 교묘하게 작성할 때도 어려움이 발생한다. 지난번 에어비앤비에 묵었던 경우를 생각해 보라. 투숙 후에 당신은 마찬가지로 당신에 대한 리뷰 작성을 요청 받은 호스트에 대한 리뷰를 남겨 달라는 메시지를 받았다. 2014년까지는 호스트는 게스트에 대한 리뷰 작성 전에 게스트가 남긴 리뷰를 먼저 읽어볼 수 있었다. 결과는? 부정적인 리뷰를 남기기 전에 한 번 더 생각하게 될 것이다.

 

이렇게 거짓된 리뷰와 전략적인 리뷰의 수를 줄이는 데에는 플랫폼 디자인 선택과 콘텐츠 관리가 중요한 역할을 한다.

 

리뷰 작성을 위한 규칙 설정. 플랫폼 디자인 선택은 누가 리뷰를 작성할 수 있고 누구의 리뷰를 강조할 것인가를 결정하는 것으로 시작된다. 예를 들어 아마존은 제품의 확정구매자가 남긴 리뷰의 경우 아이콘을 표시하며, 이는 소비자가 잠재적인 가짜 리뷰를 걸러낼 수 있도록 돕는다. 엑스피디아는 한 걸음 더 나아가 엑스피디아에서 예약한 고객들만 리뷰를 남길 수 있도록 한다. 디나 메이즐린Dina Mayzlin, 야니브 도버Yaniv Dover,주디스 슈발리에Judith Chevalier가 진행한 연구에 따르면 이런 정책으로 허위 리뷰 수를 줄일 수 있다. 그러나 이렇게 엄격한 규칙을 적용하는 것은 진정성 있는 리뷰의 수도 줄이고 이를 작성하는 사람들의 수도 크게 줄여버리는 악수(惡手)가 될 수도 있다. 리뷰 플랫폼을 운영하는 기업은 잠재적 가짜 리뷰를 줄이는 것에서 오는 혜택이 정당한 리뷰 수의 감소에서 오는 손해를 상쇄할 수 있을지 판단해야 한다.

 

플랫폼은 리뷰가 언제 제출되고 표시되는지도 결정한다. 에어비앤비는 자사의 시스템상, 리뷰를 작성하지 않는 사람들이 리뷰 작성자보다 안 좋은 경험을 하는 경우가 많았다는 사실을 깨달았다. 그래서 에어비앤비는 게스트와 호스트 간 상부상조 식의 리뷰를 막고, 보다 완벽한 피드백을 제공하기 위해리뷰 동시 공개정책을 시행했다. 즉 게스트와 호스트 양쪽이 서로에 대한 리뷰를 보내기 전까지는 공개하지 않으며, 평가 마감일을 정해 놓고 그 날짜가 지나면 리뷰가 불가능하도록 한다. 안드레이 프래드킨Andrey fradkin, 엘레나 그루월Elena Grewal, 데이비드 홀츠David Holtz가 진행한 연구에 따르면 이런 변화를 도입한 후 리뷰 비율은 올라간 대신 양쪽 게스트와 호스트에 대한 평균 리뷰 점수는 감소했다. 이는 리뷰 작성자가 보복으로부터 보호될 경우 나쁜 경험을 한 후 피드백을 남기는 것에 대한 두려움이 감소했다는 것을 보여준다.

 

검수자(檢收者) 투입.시스템의 디자인이 아무리 훌륭하다 하더라도 직면할 수밖에 없는 문제들이 있다. 스팸 댓글들이 끼어들 수도 있고, 나쁜 의도를 가진 자들이 시스템을 악용하려 들 수도 있다. 2년 전에 매우 중요했던 리뷰가 더 이상 쓸모없는 정보가 될 수도 있다. 그리고 일부 리뷰는 다른 리뷰보다 큰 도움이 된다. 예를 들어 비구매자의 리뷰는 제외될 수 있지만 남아 있는 리뷰 중에서도 사람을 호도하거나 정보성이 떨어지는 것들이 있을 수 있다. 이런 경우 리뷰 검수 과정을 통해서 작성자가 누구인지, 언제 썼는지, 어떤 내용인지를 확인해 문제가 되는 리뷰들을 제거할 수 있다.

 

콘텐츠 검수에는 세 가지 방식이 있다. 바로 (1)직원 (2)커뮤니티 (3)알고리즘에 따른 것이다. (종종 커뮤니티 매니저라 불리는) 직원검수자는 서비스를 적극적으로 사용하고, 다른 사용자들과 온라인에서 교류하고, 부적절한 콘텐츠를 제거하고, 경영진에 피드백을 제공하며 하루를 보낸다. 이는 비용이 가장 많이 들지만 효과 있는 정책과 그렇지 않은 정책이 무엇인지 빠르게 파악할 수 있고, 누군가 항상 사이트를 관리할 수 있도록 해준다.

 

커뮤니티에 의한 검수는 사용자들이 직접 나쁜 콘텐츠를 발견하고 표시하도록 하는 것이다. 인위적으로 부풀려진 리뷰든, 스팸이나 기타 다른 종류의 문제에도 적용된다. 옐프는 다른 리뷰 작성자를 공격하거나 다른 비즈니스에 대한 것으로 보이는 리뷰를 신고할 수 있도록 하는 버튼을 만들었다. 아마존은 사용자들에게 각 리뷰가 유용한지 그렇지 않은지 물어보고, 그 결과에 따라서 어떤 리뷰를 상단에 올리고 어떤 리뷰를 숨길지를 결정한다. 그러나 대부분의 경우 사용자들의 극소수만이 콘텐츠 검수에 참여한다. 따라서 이런 커뮤니티 경고 시스템이 제대로 작동하기 위해서는 적극적으로 참여하는 사용자들의 임계량이 확보돼야 한다

 

세 번째 콘텐츠 조정 방법은 알고리즘을 사용하는 것이다. 옐프의 추천 소프트웨어는 각 리뷰에 대해 열 가지 정도의 요소를 분석해서 매일매일 다른 리뷰를 추천한다. 2014년 기준으로 옐프는 언제가 됐든 작성된 리뷰의 75% 미만이 추천된다고 말했다. 아마존, 구글, 트립어드바이저는 리뷰 품질 알고리즘을 이용해 불쾌한 콘텐츠를 제거한다. 물론 알고리즘은 좋다 나쁘다의 이진법적 분류만 할 수 있는 게 아니다. 거기서 더 나아가 각 리뷰에 얼마만큼의 가중치를 부여할지도 평가한다. 필자 마이클 루카는 데이지 다이Daisy Dai, 진저 진Ginger Jin, 이정민Jungmin Lee과 공동 집필한 논문에서 각 리뷰에 부여한 가중치가 근본적인 리뷰 절차의 어려움을 극복하는 데 어떻게 도움을 주는지를 보여준 바 있다.

 

 

종합하기

 

다른 사람들의 경험은 항상 제품 퀄리티에 대한 중요한 정보 소스가 된다. 예를 들어 미국가정의학협회는 의사에 대한 정보를 얻기 위해 친구나 가족에게 물어보고 추천을 받으라고 제안한다. 리뷰 플랫폼은 이런 과정을 시스템화해서 대중의 지혜를 더 쉽고 더 빠르게 나눌 수 있도록 해준다. 온라인 리뷰는 소비자, 플랫폼, 정책입안자 모두에게 유용하게 작용해 왔다. 우리는 옐프의 데이터를 활용해, 지역이 젠트리피케이션을 겪는 동안 동네가 어떻게 변화하는지도 알아보고, 최저임금 증가가 비즈니스 성과에 미치는 영향을 예측하는 등의 여러 이슈를 살펴봤다. 그러나 리뷰가 소비자와 판매자에게 그리고 사회 전체에 유용하게 쓰이기 위해서는, 리뷰 시스템을 관리하는 사람들이 더욱 세심하게 고민해야 할 점이 있다. 시스템을 어떻게 디자인해서 사용자들의 경험을 가장 정확하게 반영할 수 있을지에 대해서 말이다.

 

번역 권정희 에디팅 김성모

 

 

제프 도나커(Jeoff Donaker)는 옐프의 전 COO이자 이사다.

김현진(Hyunjin Kim)은 하버드경영대학원의 박사과정생이다.

마이클 루카(Michael Luca)는 하버드경영대학원 경영학과 교수이자 < The Power of Experiments: Decision Making in a Data-Driven World >(MIT Press, 출간 예정)의 공동 저자다.  

  • 아티클 다운로드
    (PDF)
    5,000원

    담기바로구매

  • 디지털서비스
    1년 150,000원

    디지털서비스란

    신청하기

마케팅 다른 아티클

무료 열람 가능 아티클 수 0/1 회원가입 | 서비스상품안내