고객
중소기업(SMB)을 지원하는 미국의 금융 서비스 제공업체는 실시간 대응을 제공하고 온보딩 지연을 줄이는 확장 가능한 AI 기반 도우미를 배포하여 고객 서비스 모델을 현대화해야 했습니다.
비즈니스 과제
노후화된 배포 접근 방식: FirstHope는 자체 관리 인프라에서 호스팅되는 오픈 소스 LLM을 실험했지만, 해당 환경은 비용이 많이 들고, 경직되어 있으며, 예측할 수 없는 SMB 트래픽에 맞춰 확장하기 어려웠습니다.
출시 기간이 느림: AI 챗봇을 배포하는 데 3개월 이상이 걸리며, 빠른 온보딩과 셀프 서비스 기능이 필요한 중소기업 고객에게 병목 현상이 발생합니다.
보안 및 규정 준수 격차: 기업 수준의 IAM, 데이터 보호 및 감사 준비성이 부족하여 규제 산업에서 도입이 어려웠습니다.
높은 운영 오버헤드: 수동 인프라 관리, 확장 및 모니터링에 상당한 IT 리소스가 소모되었습니다.
유연성 제한: 엄격한 배포 방식으로 인해 최신 LLM 모델이나 SaaS 기반 개선 사항을 빠르게 통합할 수 없었습니다.
접근하다
Trianz는 AWS 서버리스 서비스를 사용하여 전체 클라우드 네이티브 재아키텍처를 주도하여 인프라 복잡성을 줄이고 안전하고 규정을 준수하며 확장 가능한 AI 기반 고객 지원을 구현했습니다.
서버리스 재설계: LLM 기반 생성적 응답을 위해 자체 관리형 인프라를 Amazon Bedrock(Anthropic Claude)으로 교체하여 모델 인프라 오버헤드를 제거했습니다.
실시간 검색 증강: 지식 검색을 위해 Amazon Kendra를 통합하여 SMB 쿼리에 대한 정확성과 상황에 맞는 응답을 보장합니다.
비즈니스 지원 계층: 사전 통합된 워크플로와 도메인 적응을 위해 Amazon Q Business를 활용했습니다.
확장 가능한 세션 관리: AWS AppSync와 DynamoDB를 배포하여 클라이언트 전반의 채팅 기록, 메타데이터 및 세션 상태를 유지합니다.
이벤트 기반 오케스트레이션: AWS Lambda를 사용하여 오케스트레이션, 검색 증강 생성(RAG), 자동 확장 논리를 처리했습니다.
안전한 프런트엔드 제공: 연합 인증 및 격리 기능을 갖춘 글로벌 분산 프런트엔드를 위해 Amazon CloudFront, Amplify, Cognito를 결합했습니다.
모니터링 및 거버넌스: 지연 모니터링, SLA 대시보드, 분석 기반 최적화를 위해 CloudWatch 및 QuickSight를 활성화했습니다.
기업 보안: 클라이언트 테넌트 전반에 걸쳐 DDoS 보호 및 IAM 기반 격리를 위해 AWS WAF와 Shield를 적용했습니다.
기술 구성 요소
핵심 AWS 서비스: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.
인프라 도구: IAM, CloudWatch, 다중 AZ 배포.
변형 효과
배포 속도가 3배 빨라졌습니다. 온보딩 챗봇 출시가 3개월에서 2주로 단축되었습니다.
생산성이 90% 향상되었습니다. 실시간 검색을 통한 AI의 빠른 대응으로 사용자 경험이 개선되었습니다.
완벽에 가까운 안정성: 다중 AZ 아키텍처로 98% 가동 시간 달성.
TCO 30% 절감: 온프레미스 인프라를 AWS 서버리스로 교체하여 3년간 비용을 절감했습니다.
감사 준비 완료 규정 준수: 시정 조치 없이 업계 감사 통과.
