고객 사례
한국신용데이터는 비즈니스의 모든 순간에서 나오는 데이터에서 가치를 읽어내는 것을 목표로 하는 마이데이터 전문 기업입니다. 경영 관리 서비스인 ‘캐시노트’는 자영업, 소상공 비즈니스에서 일어나는 데이터들을 통해 모든 사업자가 적절한 정보를 얻을 수 있도록 매출 관리부터 시간대별 매출, 단골 고객들의 반응, 그리고 세금 관리까지 기존에 없던 꼼꼼한 가치들을 한 눈에 보여줍니다.
최근 캐시노트에는 생성 AI 기술이 더해지면서 데이터 활용이 다각도로 이뤄집니다. 캐시노트는 인공지능 전문 부서를 마련해 데이터 엔지니어들이 기술적인 연구와 실제 서비스 적용으로 다양한 데이터 분석에 인공지능 기술을 활용하고 있습니다. 그와 함께 GPT 모델을 이용해 서비스 곳곳의 경험을 높이는 고민도 함께 해 왔습니다.
“2022년부터 초거대 언어 모델에 대한 관심이 커지면서 모든 영역에 쉽게 적용할 수 있을 것이라는 가능성을 두고 여러가지 서비스를 살펴봤습니다. 그리고 초거대 언어 모델과 여러 생성 AI가 서비스 내의 데이터와 맞물려서 ‘모든 사업자가 적절한 정보를 얻을 수 있도록 하겠다’는 비즈니스 목표에 확실히 다가설 수 있겠다는 기대가 생겼습니다.”
캐시노트의 목표는 데이터를 분석하고 이를 정보로 가공해서 사업자들에게 쉽고 빠르게 가치를 전달하는 것입니다. 소상공인들은 영업시간 내내 늘 분주하고, 데이터를 세세하게 살피기에는 기술적으로도, 시간적으로도 여유를 갖기 어렵습니다. 캐시노트는 이미 많은 데이터를 분석하고 있기 때문에 데이터를 잘 활용하면 적절한 순간에 필요한 정보를 먼저 제공하는 ‘인공지능 비서’의 역할을 할 수 있겠다는 가능성을 확인했습니다.
하지만 인공지능은 단숨에 모든 부분을 통제하기 어렵습니다. 정확하지 않은 정보를 전달하면 당장 사업장에 영향을 끼치기 때문에 신중하게 기술을 받아들여야 한다고 판단했습니다. 또한 인공지능이 전달하는 정보는 모두 데이터에 기반하는데, 보안과 안정성에 대한 걱정도 있었습니다. 그래서 캐시노트는 이용자들이 거부감 없이 안전하다고 느낄 방법으로 이용자들과 인공지능을 만나도록 했습니다. 바로 커뮤니티였습니다.
“처음 시작한 서비스는 커뮤니티 공간이었습니다. OpenAI의 GPT 모델을 활용해서 커뮤니티에 올라오는 글에 적절한 댓글을 다는 것이었습니다. ‘캐시니’라는 캐릭터를 통해서 성격을 규정하고, 글의 맥락을 읽어서 자영업자들이 필요한 정보를 적절하게 전달하는 것이 임무였습니다.”
캐시니의 댓글은 좋은 반응을 얻었습니다. 인공지능 기술에 기대하는 수준 이상의 댓글을 적절하게 만들어냈고, 정보 제공의 역할을 톡톡히 해냈습니다. 캐시니는 이후 댓글뿐 아니라 소상공인들이 필요한 그날그날의 뉴스와 정보들을 수집해서 한 눈에 읽을 수 있도록 직접 게시물을 올리며 소통을 이어가고 있습니다.
한국신용데이터는 캐시니의 가능성을 토대로, GPT를 조금 더 적극적으로 활용할 수 있다는 기대를 하게 됐습니다. 특히 데이터와 인공지능 모델이 적절히 결합되면 인공지능 비서 역할을 할 수 있다는 비즈니스의 목표가 점차 가시화되었습니다. 하지만 당장 쓸 수 있는 OpenAI의 초거대 언어 모델은 몇 가지 기술적인 우려를 안고 있었습니다.
“인공지능 기술이 적용되는 과정에서 보안에 대한 우려는 늘 큰 고민거리입니다. 이용자 데이터는 늘 신중하게 다뤄야 합니다. 데이터가 저장, 분석되는 경로는 물론이고, 외부로 흘러 나가서 학습 데이터로 활용될 가능성이 늘 도사리고 있습니다. 그 우려를 씻어내면서도 기술적으로 탄탄하게 접근할 수 있는 것이 바로 Microsoft의 Azure OpenAI였습니다.”
GPT 모델은 많은 데이터를 체계적으로 정리하는 데에 유리했지만 GPT 모델과 데이터를 결합하는 것은 조금 다른 문제였습니다. GPT 모델은 범용으로 쓰이고, 인터넷에 올라온 정보들을 광범위하게 학습합니다. 한국신용데이터가 GPT와 결합하고 싶은 캐시노트의 데이터들은 모두 서비스를 통해 데이터를 활용하고자 하는 소상공인들의 자산이기도 합니다. 이를 안전하게 활용할 수 있다는 전제조건이 보장되어야 다음 단계로 나갈 수 있습니다.
Azure OpenAI의 GPT 모델은 기본적으로 데이터가 격리되어서 보관되기 때문에 외부로 흘러 나가지 않는 것은 물론이고 GPT 모델의 학습 데이터로 활용되지도 않습니다. 모든 데이터의 흐름과 관리는 투명하게 공개됐고, 안전하게 활용할 수 있는 다양한 기술적 도움들도 전해졌습니다.
“기술 지원도 적극적으로 이뤄졌습니다. 궁금한 점들에 대한 답을 주는 것뿐 아니라 실제 예제 코드를 통해 빠르게 서비스를 적용할 수 있었습니다. 또한 새로 발표되는 머신러닝 모델, 그리고 API에 대해서 미리 귀띔해주고 적용할 수 있는 서비스에 대한 고민을 함께 해주기도 했습니다.”
Azure OpenAI는 지금도 많은 기능들이 빠르게 추가됩니다. Microsoft는 아이디어가 많은 스타트업이 새 요소를 적절히 적용할 수 있도록 미리 소개하고 적절하게 제안해주고 있습니다. 정창환 리드는 Azure OpenAI의 펑션 콜링(Function Calling) 기능에 주목했습니다.
펑션 콜링은 GPT 모델이 문맥을 통해 이용자가 어떤 데이터를 요구하는지 의도를 파악하고 적절한 데이터를 호출하는 API입니다. 한국신용데이터는 GPT와 데이터의 안전한 연결을 지속적으로 고민하고 있었습니다. Azure OpenAI는 고객 데이터를 학습하지 않는다는 믿음을 주었지만 곧바로 모든 데이터를 올려서 모든 문제에 답하는 것은 아직 조심스럽습니다.
대신 펑션 콜링을 이용하면 한국신용데이터가 미리 안전하게 준비해 둔 정보와 분석 내용들을 연결해줄 수 있습니다. 캐시노트는 이미 많은 정보들을 제공하고 있기 때문에 GPT 모델을 통해서 정보에 더 쉽고 빠르게 접근할 수 있는 창구가 생긴 셈입니다.
캐시노트는 이 펑션 콜링을 통해서 이용자들의 서비스 상담을 하고 있습니다. 그동안 캐시노트의 서비스를 운영하면서 이용자들에게 안내해줄 수 있는 많은 문서들이 준비되어 있습니다. 오픈 AI의 GPT 모델은 채팅을 통해 들어온 문의를 파악하고 어떤 정보가 도움이 될 지 판단해 펑션 콜링으로 촘촘하게 문서들을 연결해 줍니다.
“GPT 모델은 데이터를 요청하는 역할을 하고, 결과물은 기존 서비스 정책 그대로 제공할 수 있게 되면서 캐시니가 답할 수 있는 범위가 무궁무진해졌습니다. 지금은 고객 상담을 맡고 있지만 이를 비즈니스 데이터 화면들과 연계하면 애초 캐시노트가 목표로 했던 인공지능 기반의 개인 비서 역할에 가까이 다가갈 수 있게 됐습니다.”
정창환 리드는 GPT와 펑션 콜링은 아직 데이터를 적용하는 단계는 아니고 Azure OpenAI의 GPT API를 호출해서 활용하는 단계라고 설명했습니다. 하지만 데이터 안정성에 대한 여러 측면의 검토가 끝나면 다양한 데이터 활용을 할 계획이라고 합니다.
펑션 콜링 외에도 GPT 모델이 환각 현상을 일으키지 않으면서 정확하고 적절한 답을 이끌어낼 수 있도록 프롬프트 엔지니어링과 파라미터 제어를 다각도로 실험하고 있습니다. 매출, 매입 데이터 등 민감할 수 있는 데이터에 대한 정확도를 끌어올리고 있고, 보안과 법률 검토를 통해 안전하게 적용할 수 있는 단계에서 정식 서비스를 시작할 계획입니다.
한국신용데이터는 GPT 모델을 서비스 외에 사내 업무 환경에도 적용했습니다. 한국신용데이터는 슬랙을 통해 내부 커뮤니케이션을 하고 있습니다. 슬랙은 소통뿐 아니라 프로젝트의 진행 상황을 담아내고, 회의와 업무 기록을 그대로 안고 있습니다. 그러다 보니 데이터의 관리가 쉽지 않습니다.
“GPT는 슬랙에서 오가는 수많은 대화의 홍수 속에서 흐름을 놓치지 않도록 도와줍니다. 숫자 위주로 나열된 데이터들을 보기 좋게 정리하고, 긴 회의 내용들을 적절한 문장으로 요약해서 중요한 인사이트를 짚어주고 있습니다. 그 외에도 간단한 자료의 번역부터 이용자들에게 전달할 내용을 가다듬는 데에도 쓰입니다.”
이용자들에게 전할 메시지들을 다양하게 만들어내는 데에도 GPT 모델이 활용됩니다. 담아야 할 핵심 내용과 메시지의 길이, 그리고 톤앤매너를 적절히 구성하면 의도에 맞는 문장을 빠르게 뽑아내 줍니다. 그 중에서 선정된 내용들이 실제 고객들에게 발송되는 메시지에 적용됩니다. 자연스러우면서도 명확하게 메시지를 전달할 수 있어서 이용자들의 반응도 좋습니다.
정창환 리드는 아직은 인공지능에 대해서 신중한 입장이라고 말합니다. 새로운 기술을 적용하는 것도 좋지만 실험 과정을 통해서 소상공인들에게 불편을 끼치지 않는 것이 더 중요하기 때문입니다. GPT를 비롯한 생성 AI가 더 적극적으로 쓰인다는 방향성은 명확하기 때문에 더 완벽한 서비스로 가치를 만들어내는 것이 중요하고 이를 더 안정적으로 잘 다룰 수 있도록 신중할 필요도 있다는 설명입니다.
“Azure OpenAI는 GPT 모델을 가장 안전하고 효과적으로 다룰 수 있는 도구이고 결국 인공지능을 더 적극적으로 활용할 수 있는 토대라는 확신을 주고 있습니다. 기술적으로도 단일 서비스로 작동하는 OpenAI보다 전 세계의 리전에서 Azure의 안정성을 바탕으로 운영되는 Azure OpenAI의 모델은 안정성에 대한 부담도 덜어주었습니다.”
기업들은 인공지능의 가능성을 안전하고 통제할 수 있는 환경에서 다루고자 합니다. 당장 세상을 놀라게 하는 것보다 이용자들에게 익숙한 환경에서 자연스럽게 녹아 들어가면서 더 나은 경험을 완성해 나가는 것이 한국신용데이터가 인공지능을 받아들이는 방법입니다.
“캐시노트의 목표는 인공지능이 아니라 자영업을 운영하시는 사장님들께 정말 도움이 되는 서비스를 만드는 데에 기술을 적절히 활용하는 데에 있습니다. 철저히 혼자 모든 것을 판단하고 결정하고 이끌어가야 하는 자영업 환경에서 캐시노트는 새로운 기술 트렌드를 활용해 사업에 더 집중할 수 있도록 돕고자 합니다. Azure OpenAI는 인공지능이라는 커다란 흐름을 안전하고 효과적으로 녹여낼 수 있는 기술적인 밑바탕이 되어 주고 있습니다.”
“Azure OpenAI는 GPT 모델을 가장 안전하고 효과적으로 다룰 수 있는 도구이고 결국 인공지능을 더 적극적으로 활용할 수 있는 토대라는 확신을 주고 있습니다. 기술적으로도 단일 서비스로 작동하는 OpenAI보다 전 세계의 리전에서 Azure의 안정성을 바탕으로 운영되는 Azure OpenAI의 모델은 안정성에 대한 부담도 덜어주었습니다.”
정창환, Growth Lead, 한국신용데이터
Microsoft 팔로우