몇 년이 지나도 챗봇이 내 말을 못 알아 듣는 이유

2021-06-30 삼성SDS CX혁신팀

언택트 환경이 지속되면서 우리의 일상은 사람의 일을 컴퓨터인 에이전트(agent)가 대신하는 것으로 점차 변하고 있습니다. 에이전트는 사람 대신 업무나 서비스를 수행하는 소프트웨어^[1]로 챗봇, 보이스봇, 로봇 등이 이에 속합니다. 지난 시리즈에서는 언택트 환경에서의 사람 간 커뮤니케이션을 다루었다면, 이번 시리즈에서는 사람이 에이전트를 접하는 경험, 특히 챗봇을 사용하는 경험에 대해 얘기하려고 합니다.
세일즈포스(Salesforce)에서 인공지능 프로젝트를 이끄는 Marco Casalaina는 “코로나 사태가 터지고 챗봇이 두 배로 늘어났다”고 말했습니다.^[2] 이처럼 챗봇 시장은 코로나로 인한 급성장기를 맞고 있습니다. 실제로 우리는 이미 챗봇을 일상생활에서 많이 접하고 있습니다.

(좌) 삼성SDS 챗봇의 코로나 문진, (우) CDC Clara의 코로나 문진

삼성SDS에서는 자사 챗봇 솔루션인 브리티 어시스턴트(Brity Assistant)를 통해 주기적으로 전 직원의 건강 상태를 자가 점검하도록 하고 안전수칙을 알려줍니다. 미국 질병통제센터도 챗봇 ‘Clara’를 활용해 코로나 증상에 따른 조치 방법을 알려주고 있습니다.^[3] 고객의 불만이나 어려움을 듣고 해결해 주는 고객 서비스 업무도 챗봇으로 대체되고 있는 추세입니다. 인터컴(Intercom)은 Conversational Support라는 고객 서비스를 위한 챗 플랫폼을 선보였으며,^[4] 아마존은 이미 환불이나 배송 불만 같은 개인정보 노출 및 감정 노동이 수반되는 고객 서비스 업무에 챗봇을 도입해 비대면 서비스를 활성화시켰습니다.^[5] 마음 관리를 위한 워봇(Woebot)과 같은 심리상담 챗봇도 확산되고 있습니다.^[6] 학계에서도 정신과 상담을 위해 챗봇을 어떻게 만들어야 하는지에 대한 연구를 진행하고 있을 정도로 챗봇 활용에 관심을 갖고 있습니다.^[7] 이처럼 챗봇은 다양한 분야에서 활용되고, 관심받고 있습니다.

예상되는 챗봇 사용 상황에 대한 설문 결과^[8]

그렇다면 고객은 언제 챗봇을 사용하고 싶을까요? 설문에 따르면 긴급한 상황에 사람보다 빠르게 대답해주거나 예약과 주문 같은 서비스에 이용하고 싶다고 했으며 세일즈포스(Salesforce) 고객 69%도 기업이나 브랜드와 빨리 소통하기 위해 사람보다 챗봇을 선호한다고 응답했습니다.^[9] 고객은 원하는 것을 쉽고 빠르게 얻고자 할 때, 즉 신속함과 효율이 높은 챗봇을 사용하려 한다는 것을 알 수 있습니다.
챗봇은 이러한 고객의 니즈를 충족시키고 있을까요? 실제 사용자의 대답은 달랐습니다. 챗봇이 나의 요구사항을 알아듣지 못하고(59%), 대화의 뉘앙스를 이해하지 못해(59%) 사용을 꺼린다고 대답했습니다.^[10] 챗봇이 도입된 시기는 코로나로 인한 팬데믹(pandemic) 이전부터로 그 기간이 짧지 않으나, 아직까지도 많은 사용자들은 챗봇이 자신의 말을 제대로 이해하지 못한다고 대답한 것입니다. 이는 사람과 챗봇만의 문제는 아닙니다. 우리는 내 말을 잘 이해하지 못하는, 소위 말이 잘 안 통하는 사람과는 친해지기 어렵습니다. 마찬가지로 챗봇이 내 말을 못 알아들으면 답답함을 느끼고 점점 이용하지 않게 될 것입니다. 그렇다면 우리는 왜 챗봇이 여전히 못 알아듣는다고 느껴질까요?

착각은 자유? 사용자는 챗봇이 스마트할 줄 알았다!

그동안 우리가 만난 챗봇은 뭐든지 다 해줄 수 있고, 도와줄 수 있고, 말도 잘 알아듣는 것처럼 보였을 것입니다. 하지만 이것은 사용자가 착각한 게 아닙니다! 대부분 기업은 유행에 편승하듯이 맹목적으로 모든 제품이나 서비스에 챗봇을 적용했기 때문입니다. 페이스북, 슬랙, 텔레그램 등은 기업용 메신저 플랫폼을 통해 챗봇 서비스를 제공했고, 대부분의 챗봇은 화려하게 포장되어 사용자들은 똑똑한 서비스가 등장했다고 착각하게 되었습니다.^[11] 사용자가 챗봇을 똑똑하다고 믿는 것이 좋을까요? 챗봇과 대화할 때 사용자의 표정이나 심장 박동과 같은 신체적 변화를 통해 감정 변화를 관찰한 결과, 처음에는 무척 기대했으나 챗봇이 유능하지 않다고 깨달은 순간 부정적인 반응을 보였습니다. 대화를 시작한 지 2~3.5초만에 말이죠.^[12] 연구 결과를 통해 사용자는 기대치보다 챗봇 성능이 낮을 때 좌절과 짜증을 겪는다는 것을 알 수 있습니다. 즉, 사용자들의 기대 수준과 챗봇의 성능이 일치하지 않을 때 사용자들은 실망하고 부정적인 인식을 갖게 됩니다. 이것이 기대하는 바와 다르게 몇 년이 지나도 챗봇을 불만족스러운 서비스로 치부하게 된 이유입니다.
챗봇과 대화가 이루어지더라도 사람과의 대화 내용과 수준에 비해서는 현저한 차이가 있습니다. Computers in Human Behavior 저널에 온라인에서 사람이 다른 사람과 대화할 때와 챗봇과 대화할 때 어떻게 다른지 비교한 연구가 있습니다. 챗봇과 대화할 때는 사람과 대화할 때보다 사용하는 어휘가 제한적이었으며 비교적 짧은, 단순한 문장으로 여러 번 메시지를 보냈습니다.^[13] 이를 통해 챗봇은 아직 사람만큼 대화 수준이 높지 않으며, 사람은 챗봇의 수준에 맞게 자신의 대화 수준을 낮추고 있다는 것을 확인할 수 있습니다.
왜 챗봇이 사람과 다르게 대화하는지 이해하기 위해 챗봇이 어떻게 만들어졌는지 알아보겠습니다. 초기 챗봇은 서비스별로 어떤 주제로 대화할지 시나리오를 정하고, 사용자 의도에 따라 대답할 모든 문장을 미리 설계했습니다. 예상 가능한 스크립트를 수작업으로 작성했기 때문에 챗봇은 정해진 규칙 몇 가지에 맞춰 자동화된 답변만 하게 되었습니다.^[14] 이러한 룰베이스 챗봇은 특정 도메인에는 효과적으로 대화할 수 있는 장점이 있습니다.^[15] 하지만 정해진 시나리오에서 조금이라도 벗어나면 “잘 모르겠어요. 죄송합니다.”의 늪에 빠져버리게 됩니다. 이러한 선형 흐름(linear flow)의 대화로 인한 한계를 보완하기 위해 버튼이나 카드뷰와 같은 UI를 활용하게 되었습니다. 스탠포드대학교와 페이스북 AI Research Team에서 구글 플레이와 애플 앱스토어에 등록된 챗봇을 리서치한 결과, 대표적으로 페이스북 챗봇의 42%가 위 방식을 채택한다고 밝혔습니다.

페이스북 메시지 플랫폼에서 구현된 챗봇 사례(Ait France, Zulily)^[16]

하지만, 이렇게 카드뷰와 같은 UI를 활용하게 되면서 챗봇의 역할은 대화보다는 정보 제공에 가까워졌습니다. 결국 명령어 인식 기술이나 의사소통 시뮬레이션의 부족으로 챗봇은 기계적으로 변했고, 페이스북 챗봇의 70%가량은 사람다운 대화나 토론 같은 상호작용이 결여된 실패한 서비스라고 평가되었습니다.^[17] 그렇다면, 상호작용을 잘하려면 어떻게 해야 할까요? 지속적인 대화 학습을 통해 커뮤니케이션 스킬을 높이고, 사용량을 폭발적으로 증가시키는 사례를 통해 알아보겠습니다.

챗봇, 사람들이 말하는 거 보고 배워와.

챗봇 대화의 품질을 높이기 위해 구글과 마이크로소프트는 딥러닝 모델의 챗봇을 지속적으로 학습시키고 있습니다. 구글은 2020년에 일상 대화가 가능한 오픈 도메인 챗봇 Meena을 발표했는데, 기존보다 더 많은 학습량과 시간을 투자하여 인간같이 자연스러운 대화가 가능해졌음을 보여주었습니다. 하지만 대화 성능의 향상은 쉽게 이루어진 것이 아니었습니다. 기존의 대화 학습 데이터보다 8배 증가한 4천만 개의 텍스트를 30일간 학습시켰고, 그로 인한 클라우드 비용은 2,100% 증가한 13억을 투자했습니다. 그 결과, Meena는 사용자의 질문에 대답할만한 데이터가 없더라도 주어진 대화 맥락에 대해 감성적으로 구체적인 대화를 하게 되었습니다.^[18]

구글 챗봇 Meena와 사람과의 대화 예시^[19]

Meena에게 오스카 수상작에 오른 영화를 추천해달라고 하면, Meena는 “오스카 수상작은 잘 모르지만, 그랜드 부다페스트 호텔 영화는 보고 싶었어”라며 대안을 제시합니다. 혹은 대주제인 영화에서 감독이나 작가와 같은 소주제로 좁힙니다. 또한 “좋은 작품이라고 들었어”라는 말은 챗봇이 룰베이스로 모범 답안만 말하는 단계를 넘어 누군가에게 간접적으로 알게 된 정보를 전달하는 듯한 뉘앙스까지 구현했음을 알 수 있습니다. 비록 한두 문장 정도는 어색함은 있지만, 이해 못 할 정도의 수준은 아닙니다.
동일한 질문을 다른 챗봇에 하면 어떨까요? 구글 어시스턴트(Google Assistant)에게 “오스카 수상작 영화 추천해줘”라고 물어봤지만, 안타깝게도 어시스턴트는 여러 영화 포스터만 나열했습니다. 영화 리스트는 구글 검색 결과에 입력해도 충분히 얻을 수 있는 정보였기에 챗봇과의 경험이 특별하게 느껴지지 않았습니다. 말은 알아들었지만, 대화를 더 이어가긴 어려워졌습니다. 사용자는 키워드 검색과 대화형 챗봇 사용 경험이 유사할수록, 지속해서 봇과 상호작용까지 할 필요성은 못 느낄 것입니다. 이를 두고 컨설팅회사 딜로이트(Deloitte)는 챗봇 설계를 검색엔진처럼 속도와 알고리즘의 정확성뿐만이 아니라 데이터 안에 부호화된 사용자의 행위와 사고관까지 반영해 최적화해야 한다고 조언합니다.^[20]

‘오스카 영화 추천’을 입력한 (좌) 구글 어시스턴트 대화 내용, (우) 구글 검색 결과

그렇다면 봇과 상호작용이 향상된다면 사용자가 열광할까요? 우리는 6억 명이 넘는 사용자가 열광 중인 XiaoIce(샤오이스)에서 답을 찾을 수 있었습니다. 마이크로소프트 중국지사에서 분사한 XiaoIce는 대화 능력이 뛰어난 것은 물론 사람 간의 상호작용을 위한 사회적 기술, 감정과 행동까지 학습했기 때문에 이용 시간과 이용률은 지속 상승하고 있다고 합니다.^[21]
비교를 위해 Meena와 마찬가지로 XiaoIce에게 영화에 대해 대화해봤습니다.

XiaoIce와 영화 ‘시절인연’과 탕웨이에 대해 채팅한 대화^[22]

XiaoIce는 이미 알고 있는 영화 데이터를 기반으로 영화배우인 탕웨이 사진을 보여주기도 하고, 배우 탕웨이에 대한 감정도 솔직하게 표현합니다. 마치 친구와 대화하는 듯한 느낌을 주고, 대화를 꼬리에 꼬리를 물며 이어지게끔 합니다. XiaoIce와 하는 대화 횟수는 챗봇업계 평균 10배(2018년 기준) 정도로, 챗봇과의 대화가 길어질수록 이용률이 높아지는 것을 알 수 있습니다.^[23]
이처럼 좋은 반응을 얻은 XiaoIce는 마치 친구와 대화하는 듯하게 구현되어 있습니다. 하지만, 앞서 언급한 코로나 문진이나 리테일 업계의 고객 서비스용 챗봇처럼 특정한 태스크를 해결하는 목적의 챗봇들도 사람과 대화하듯이 구현되는 것이 좋을까요? 챗봇 사용 목적이 친밀함을 쌓고 지속적인 사용을 위함이냐 특정 태스크 해결 목적이냐에 따라 성별, 나이와 같은 페르소나(Persona)나 얼마나 사람같이 말하게 만들어야 하는지, 어떻게 첫 대화를 시작해야 하는지 달라질 것입니다. 이러한 내용들을 다음 편부터 자세하게 알아보도록 하겠습니다.

우리의 제언

지금까지 살펴본 구글 Meena와 마이크로소프트의 XiaoIce의 공통점은 꾸준히 대화를 학습시키고 대화의 형태는 일상생활에서 나누는 사람과 사람 간의 커뮤니케이션과 유사하다는 점입니다. 카네기 멜런 대학교의 AI 로봇석학 카셀 교수는 HCI 2021 학회에서 봇이 단순명령 수행형에서 사람 간의 대화 매커니즘형 봇으로 진화 중이라고 밝혔습니다. 사람들은 대화 주제를 다양하게 논의하고, 반응하고, 이해하길 바라기 때문에 대화형 에이전트인 챗봇도 동일한 역할을 할 거라 기대하기 때문입니다.^[24] 그렇게 된다면 사용자는 챗봇에게 명령만 하는 것에 그치지 않고, 챗봇이 하는 말에 사용자가 귀 기울이게 된다는 것을 시사합니다.
하지만 기술의 발전과 투자는 하루아침에 이루어지지 않을 것입니다. 지금 이 시각에도 기업은 대화 학습과 기능 고도화에 집중하지만, 사용자 입장에서는 몇 해가 지났어도 여전히 제자리걸음을 한다고 느낄 것입니다. 또한 챗봇을 사용하는 목적에 따라서는 완벽하게 사람처럼 대화하도록 구현할 필요가 없을 수도 있습니다. 그렇다면 우리는 현재의 챗봇 수준과 챗봇 사용 목적을 이해하면서 고객에게 매력적으로 보이고 지속 사용 가능하게 하는 방법을 고민해야 합니다. 다음 편부터는 챗봇 사용 목적에 맞게 페르소나를 만드는 것부터 대화를 종료할 때까지, 챗봇 기획자와 UX/CX 디자이너의 입장에서 사용자의 경험을 높이는 방법을 상세히 소개하겠습니다.

6월호 몇 년이 지나도 챗봇이 내 말을 못 알아듣는 이유가 끝났습니다.
7월호부터는 어떤 챗봇과 이야기하고 싶으세요? - 챗봇 Persona의 중요성이 계속됩니다.

References
[1] 소프트웨어에이전트 [WWW Document], n.d. URL https://terms.naver.com/entry.naver?cid=43659&docId=15075&categoryId=43659 (accessed 4.26.21).
[2] The State of Chatbots: Pandemic Edition [WWW Document], n.d. . InformationWeek. URL https://www.informationweek.com/big-data/ai-machine-learning/the-state-of-chatbots-pandemic-edition/d/d-id/1338841 (accessed 4.23.21).
[3] Miner, A.S., Laranjo, L., Kocaballi, A.B., 2020. Chatbots in the fight against the COVID-19 pandemic. npj Digital Medicine 3, 1–4. https://doi.org/10.1038/s41746-020-0280-0
[4] Conversational Support | Intercom [WWW Document], n.d. URL https://www.intercom.com/customer-support-software?on_pageview_event=conversational_support_nav (accessed 5.4.21).
[5] Use a Chatbot for Faster Amazon Returns [WWW Document], n.d. . Lifehacker. URL https://lifehacker.com/use-a-chatbot-for-faster-amazon-returns-1843927743 (accessed 4.23.21).
[6] Mental Health Chatbot [WWW Document], n.d. . Woebot Health. URL https://woebothealth.com/ (accessed 5.7.21).
[7] Oh, K.-J., Lee, D., Ko, B., Choi, H., 2017. A Chatbot for Psychiatric Counseling in Mental Healthcare Service Based on Emotional Dialogue Analysis and Sentence Generation. 2017 18th IEEE International Conference on Mobile Data Management (MDM) 371–375.
[8] 21 Vital Chatbot Statistics for 2020 | Interactive Content on Outgrow, 2019. . Outgrow. URL https://outgrow.co/blog/vital-chatbot-statistics (accessed 4.23.21).
[9] Chatbot Market | Growth, Trends, and Forecast (2020 - 2025) [WWW Document], n.d. URL https://www.mordorintelligence.com/industry-reports/chatbot-market (accessed 4.23.21).
[10] Tsai, P., n.d. Data snapshot: AI Chatbots and Intelligent Assistants in the Workplace [WWW Document]. The Spiceworks Community. URL https://community.spiceworks.com/blog/2964-data-snapshot-ai-chatbots-and-intelligent-assistants-in-the-workplace (accessed 4.27.21).
[11] Verber, A., 2016. Chat-Bots vs. Google Search. Chat-bots are probably the most hyped… | by Ariel Verber | The Startup | Medium [WWW Document]. Medium. URL https://medium.com/swlh/chat-bots-vs-google-search-b44d11a53f14 (accessed 4.27.21).
[12] Ciechanowski, L., Przegalinska, A., Magnuski, M., Gloor, P., 2019. In the shades of the uncanny valley: An experimental study of human–chatbot interaction. Future Generation Computer Systems 92, 539–548. https://doi.org/10.1016/j.future.2018.01.055
[13] Hill, J., Randolph Ford, W., Farreras, I.G., 2015. Real conversations with artificial intelligence: A comparison between human–human online conversations and human–chatbot conversations. Computers in Human Behavior 49, 245–250. https://doi.org/10.1016/j.chb.2015.02.026
[14] Experience, W.L. in R.-B.U., n.d. The User Experience of Chatbots [WWW Document]. Nielsen Norman Group. URL https://www.nngroup.com/articles/chatbots/ (accessed 4.23.21).
[15] Paka, A., 2018. Why Chatbots Suck [WWW Document]. Medium. URL https://medium.com/swlh/why-chatbots-suck-f9dad7a54d5c (accessed 4.27.21).
[16] Facebook for Developers - Transforming Customer Care with Messenger [WWW Document], n.d. . Facebook for Developers. URL https://developers.facebook.com/videos/2019/transforming-customer-care-with-messenger/ (accessed 4.27.21).
[17] Smutny, P., Schreiberova, P., 2020. Chatbots for learning: A review of educational chatbots for the Facebook Messenger. Computers & Education 151, 103862. https://doi.org/10.1016/j.compedu.2020.103862
[18] Adiwardana, D., Luong, T., n.d. Towards a Conversational Agent that Can Chat About…Anything. Google AI Blog. URL http://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html (accessed 4.27.21).
[19] Adiwardana, D., Luong, M.-T., So, D.R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., Le, Q.V., 2020. Towards a Human-like Open-Domain Chatbot. ArXiv abs/2001.09977.
[20] Guszcza, J., 2018. Smarter together: Why artificial intelligence needs human-centered design. Deloitte Review ISSUE 22, 40.
[21] Spencer, G., 2018. Much more than a chatbot: China’s Xiaoice mixes AI with emotions and wins over millions of fans [WWW Document]. Microsoft Stories Asia. URL https://news.microsoft.com/apac/features/much-more-than-a-chatbot-chinas-xiaoice-mixes-ai-with-emotions-and-wins-over-millions-of-fans/ (accessed 4.27.21).
[22] Meet XiaoIce, Cortana’s Little Sister | Bing Search Blog [WWW Document], 2014. . Microsoft Bing Blogs. URL https://blogs.bing.com/search/2014/09/05/meet-xiaoice-cortanas-little-sister/ (accessed 4.27.21).
[23] Dormehl, L., 2018. Microsoft Xiaoice: AI That Wants To Be Your Friend | Digital Trends [WWW Document]. digitaltrends. URL https://www.digitaltrends.com/cool-tech/xiaoice-microsoft-future-of-ai-assistants/ (accessed 4.27.21).
[24] Bai, Z., 2021. What does Empathy mean in Human-Computer Interaction? HCI Korea 2021. URL https://youtu.be/jtfhe2274Qc

▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

삼성SDS CX혁신팀

Digital Transformation 환경에서 고객 가치를 혁신하는 CX 전략을 제안하고 사용자의 컨텍스트에 기반한 최적의 고객 경험을 설계합니다.