스타벅스코리아는 재미있는 소식을 전해 왔습니다.
GenAI와 관련된 스타벅스 인공지능 챗봇에 대해 소개받으며, 매 시즌마다 제공되는 프로모션에 대해 예측하는 방법과 현재 많은 유저가 사용하고 있는 서비스들 관련된 부분의 고도화에 대해 소개받는 기회가 될 수 있을거라 생각하였습니다. 또한 최근 오픈된 이커머스 딜리버리같은 시스템을 오픈하면서 어떻게 커스터머 프랜들리하게 서비스를 이용할 수 있게 구성하였는지 파악하기위해 해당 세션에 참여하였습니다.
세션에 대한 개략적인 소개
스타벅스에서 제공한 서비스의 연혁과 현재 제공중인 서비스인 Siren Portal 을 통해 어떻게 GenAI를 바탕으로 서비스를 제공하는지 파악하였습니다.
AI vision 활용
스타벅스에서는 매장 방문 시 AI vision을 기반으로 매장의 바를 지속적으로 모니터링하여 임계치에 도달하였을 때 클리닝을 하도록 매장 파트너에게 처리하도록 지시, 혹은 매장 혼잡도에 따라 고객님을 어디로 안내해야하는지 등 서비스 활용을 위해 AI 비전 기술을 활용해 매장 적용 가능성을 확인하고 있었습니다.
프로모션 기간 판매량 예측
매달 새로운 프로모션 출시로 두 달 간의 판매를 3일만에 전 판매량을 예측해, 해당 결과를 기반으로 마케팅 변경, 부재료 수급 등의 조절에 활용하고있었습니다.
다양한 내부 조직 매니징
한국뿐만아니라 아시아태평양 혹은 스타벅스 인터네셔널과 커뮤니케이션을 위해 글로벌이 사용하는 용어 분리 등 다양한 상황에 대한 질의가 필요했고, 이를 위해 정보를 수집해 시나리오 기반의 챗봇을 도입함을 확인할 수 있었습니다. 이후 GenAI 기반의 RAG 엔진 기반으로 대화기반의 챗봇을 구성하였습니다.
4개의 프롬프트 체인으로 연결된 GenAI
Retriever에서 정보를 추출 후 GenAI로 넘겨 Generating을 수행합니다. 질문이 들어왔을때, Judgement는 이 질문은 문서를 찾는 데이터에 던져야할지, 데이터베이스를 찾는 데이터에 던져야할지 판단합다. 이후 GenAI 구성을 통해 질의 응답이 일어나는 과정을 요약하는 Summary라고 하며 이 4가지의 체인으로 연결된 GenAI가 Siren Portal의 제너레이터 구성입니다.
백앤드의 유연성으로 인해 간단해진 프론트앤드
매장 파트너들이 활용 주체이기에 반응형 웹으로 구성되었으며, 답변 및 요약을 통해 추가 요청사항 발생 시 동시에 수행되는 구조를 확인할 수 있습니다.
평가에 대한 방법
자연어에 대한 평가이기에 까다로운 조건을 만족해야하며, 이에 대한 내용은 다음과 같이 세가지 (행위에 대한 액션인 prompt / 어떻게 액션할지에 대한 Chain of though / 평가하는 과정인 Scoring)를 기준으로 수행합니다.
반응시간에 대한 이슈
매장 활용 관점에서 느린것은 활용성이 떨어졌고, RAG 가장 큰 문제는 응답 시간이었습니다. 초반 50초에 가까운 반응 속도가 있었지만, 반응 시간을 줄이기위한 리전의 변경 등 토큰최적화를 통해 10초 이내의 답변을 시작하는 구조를 통해 반응 시간을 줄였습니다.
데이터 생산 방식 변화
스타벅스에서는 인풋으로 넣을 문서에 대한 정제가 필요하였으며, 실제 공통 질문을 해당 서비스를 통해 질의를 시작하였습니다. 각 부서별 내부 사용자들은 자발적 문서 업데이트 진행하며, 정보의 제공방식이 달라지니 제공자가 액션을 취하게 되었습니다.
마치며
AI 기반의 챗봇 서비스를 오픈하여도 지속적인 제어의 필요성을 알 수 있었고, 어떻게 스타벅스 코리아에서 컨텍스트를 제어하였는지 경험을 들을 수 있었습니다. 실제 하나의 서비스를 지속적으로 운영하는것처럼 AI 챗봇 또한 지속적 운영 및 관리가 필요함을 알 수 있었습니다.