AWS 네이티브 서버리스 GenAI 고객 지원

고객

중소기업(SMB)을 지원하는 미국의 금융 서비스 제공업체는 실시간 대응을 제공하고 온보딩 지연을 줄이는 확장 가능한 AI 기반 도우미를 배포하여 고객 서비스 모델을 현대화해야 했습니다.

비즈니스 과제

• 노후화된 배포 접근 방식: FirstHope는 자체 관리 인프라에서 호스팅되는 오픈 소스 LLM을 실험했지만, 해당 환경은 비용이 많이 들고, 경직되어 있으며, 예측할 수 없는 SMB 트래픽에 맞춰 확장하기 어려웠습니다.

• 출시 기간이 느림: AI 챗봇을 배포하는 데 3개월 이상이 걸리며, 빠른 온보딩과 셀프 서비스 기능이 필요한 중소기업 고객에게 병목 현상이 발생합니다.

• 보안 및 규정 준수 격차: 기업 수준의 IAM, 데이터 보호 및 감사 준비성이 부족하여 규제 산업에서 도입이 어려웠습니다.

• 높은 운영 오버헤드: 수동 인프라 관리, 확장 및 모니터링에 상당한 IT 리소스가 소모되었습니다.

• 유연성 제한: 엄격한 배포 방식으로 인해 최신 LLM 모델이나 SaaS 기반 개선 사항을 빠르게 통합할 수 없었습니다.

접근하다

Trianz는 AWS 서버리스 서비스를 사용하여 전체 클라우드 네이티브 재아키텍처를 주도하여 인프라 복잡성을 줄이고 안전하고 규정을 준수하며 확장 가능한 AI 기반 고객 지원을 구현했습니다.

• 서버리스 재설계: LLM 기반 생성적 응답을 위해 자체 관리형 인프라를 Amazon Bedrock(Anthropic Claude)으로 교체하여 모델 인프라 오버헤드를 제거했습니다.

• 실시간 검색 증강: 지식 검색을 위해 Amazon Kendra를 통합하여 SMB 쿼리에 대한 정확성과 상황에 맞는 응답을 보장합니다.

• 비즈니스 지원 계층: 사전 통합된 워크플로와 도메인 적응을 위해 Amazon Q Business를 활용했습니다.

• 확장 가능한 세션 관리: AWS AppSync와 DynamoDB를 배포하여 클라이언트 전반의 채팅 기록, 메타데이터 및 세션 상태를 유지합니다.

• 이벤트 기반 오케스트레이션: AWS Lambda를 사용하여 오케스트레이션, 검색 증강 생성(RAG), 자동 확장 논리를 처리했습니다.

• 안전한 프런트엔드 제공: 연합 인증 및 격리 기능을 갖춘 글로벌 분산 프런트엔드를 위해 Amazon CloudFront, Amplify, Cognito를 결합했습니다.

• 모니터링 및 거버넌스: 지연 모니터링, SLA 대시보드, 분석 기반 최적화를 위해 CloudWatch 및 QuickSight를 활성화했습니다.

• 기업 보안: 클라이언트 테넌트 전반에 걸쳐 DDoS 보호 및 IAM 기반 격리를 위해 AWS WAF와 Shield를 적용했습니다.

기술 구성 요소

• 핵심 AWS 서비스: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• 인프라 도구: IAM, CloudWatch, 다중 AZ 배포.

변형 효과

• 배포 속도가 3배 빨라졌습니다. 온보딩 챗봇 출시가 3개월에서 2주로 단축되었습니다.

• 생산성이 90% 향상되었습니다. 실시간 검색을 통한 AI의 빠른 대응으로 사용자 경험이 개선되었습니다.

• 완벽에 가까운 안정성: 다중 AZ 아키텍처로 98% 가동 시간 달성.

• TCO 30% 절감: 온프레미스 인프라를 AWS 서버리스로 교체하여 3년간 비용을 절감했습니다.

• 감사 준비 완료 규정 준수: 시정 조치 없이 업계 감사 통과.