생성형 AI의 품질 관리 문제 해결하기 아마존이 상품 페이지 생성을 자동화하면서 배운 것들 내용 요약
기회 생성형 AI는 고객 참여를 높이고 매출을 증대하는 콘텐츠 제작을 자동화할 수 있는 엄청난 잠재력을 갖고 있다.
도전 과제 생성형 AI는 환각이나 관련 없는 정보 등 신뢰할 수 없는 결과물을 생성하는 경향이 있다. 사람의 후기나 독립형 테스트 도구와 같은 기존의 품질 관리 방법은 비용이 많이 들고 생성형 AI 출력의 일부만 처리할 수 있다.
해결책 아마존의 카탈로그 AI 시스템은 이런 장애물을 극복할 수 있는 방법을 보여준다. 이 시스템은 신뢰할 수 없는 데이터를 자동으로 감지 및 차단하고, 품질 검사 및 실험의 피드백을 통해 스스로 개선하며, A/B 테스트를 업무흐름에 통합해 생성형 AI 콘텐츠의 유효성을 과학적으로 평가한다.
모두 생성형 AI에 열광하지만 실제 도입을 가로막는 장애물이 있다
AI가 사실을 지어내거나 누락하기도, 너무 많은 가능성을 제시해 어떤 것이 효과적일지 파악하기 어렵게 만들기도 한다는 점이다. 대부분의 기업은 생성형 AI의 한계를 보완하기 위해 사람이 검토를 하거나 별도의 테스트 도구 또는 서비스를 활용한다. 하지만 두 가지 품질 관리 방식 모두 비용이 많이 들고, 생성형AI가 만들어 낸 방대한 결과물 중 극히 일부만을 처리할 수 있다는 한계가 있다.
아마존은 대규모 상품 카탈로그 운영을 위해 더 나은 접근방식을 개발했다. 카탈로그 AI라는 이름의 생성형 AI 기반 시스템은 신뢰할 수 없는 데이터를 감지하고 차단하며 새로운 상품 페이지에 대한 아이디어를 생성하고 그 효과를 실험한다. 또한 품질 점검 및 실험에서 얻은 피드백을 바탕으로 스스로 성능을 개선한다. 이 시스템은 인간 기반 시스템이 보통 수천 개 만들어내는 데 그치는 가설을 매년 수천만 개씩 생성하고 테스트한다.
많은 조직이 AI 투자로 수익을 거두기 위해 고군분투하고 있는 데 반해 아마존의 카탈로그 AI 프로젝트는 이미 측정 가능한 가치를 창출하고 있다. 이 아티클을 쓰는 시점에도 이 시스템이 제안한 결과 중 8%가 판매 수익에 긍정적인 영향을 미치고 있었다. 필자 중 한 명인 스테판은 온라인 실험 성공률이 10~20%로 더 높은 다른 기업들을 알고 있다. 하지만 그 회사들은 사람에 의존해 가설을 세우고, 가설을 실험하는 시스템도 자동화돼 있지 않기 때문에 아마존보다 훨씬 적은 수의 가설을 생성하고 실험했다. 이와 달리 아마존 시스템은 자동으로 성능을 개선하기 때문에 시간이 지날수록 수익률이 높아질 것이다. 아마존은 2023년에 출시된 이 시스템을 아직 완성 단계가 아닌 ‘진행 중’인 프로젝트로 간주하고 있다. 하지만 다른 조직의 관리자들도 어떻게 대규모로 AI 생성 콘텐츠의 품질 관리를 수행할 수 있는지 아마존의 사례로부터 배울 수 있을 만큼 시스템은 충분히 발전했다.
아티클을 끝까지 보시려면 유료 멤버십에 가입하세요. 첫 달은 무료입니다!
Copyright Ⓒ 하버드비즈니스리뷰 코리아. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지
