AWS 原生无服务器 GenAI 客户助理

客户

一家为中小型企业 (SMB) 提供支持的美国金融服务提供商需要通过部署可扩展的人工智能助手来实现其客户服务模式的现代化，这些助手可以提供实时响应并减少入职延迟。

商业挑战

• 老化的部署方法： FirstHope 曾尝试过在自我管理基础设施上托管的开源 LLM，但该环境成本高昂、僵化，并且难以扩展到不可预测的 SMB 流量。

• 上市时间缓慢： AI 聊天机器人的部署需要 3 个多月的时间，这给需要更快入职和自助服务功能的 SMB 客户带来了瓶颈。

• 安全与合规差距：缺乏企业级 IAM、数据保护和审计准备阻碍了受监管行业的采用。

• 高昂的运营开销：手动基础设施管理、扩展和监控消耗了大量 IT 资源。

• 灵活性有限：严格的部署不允许快速集成较新的 LLM 模型或基于 SaaS 的增强功能。

方法

Trianz 使用 AWS 无服务器服务进行了全面的云原生重构，以降低基础设施复杂性并实现安全、合规且可扩展的 AI 驱动客户协助。

• 无服务器重新设计：用 Amazon Bedrock（Anthropic Claude）取代自管理基础设施，以实现 LLM 驱动的生成响应，从而消除模型基础设施开销。

• 实时检索增强：集成 Amazon Kendra 用于知识检索，确保 SMB 查询的准确性和上下文响应。

• 业务助理层：利用 Amazon Q Business 进行预集成工作流程和领域适配。

• 可扩展会话管理：部署 AWS AppSync 和 DynamoDB 以跨客户端保存聊天历史记录、元数据和会话状态。

• 事件驱动的编排：使用 AWS Lambda 处理编排、检索增强生成 (RAG) 和自动扩展逻辑。

• 安全前端交付：结合 Amazon CloudFront、Amplify 和 Cognito，实现具有联合身份验证和隔离的全球分布式前端。

• 监控和治理：启用 CloudWatch 和 QuickSight 进行延迟监控、SLA 仪表板和分析驱动的优化。

• 企业安全：应用 AWS WAF 和 Shield 实现跨客户端租户的 DDoS 保护和基于 IAM 的隔离。

技术组件

• 核心 AWS 服务： Amazon Bedrock、Kendra、Q Business、DynamoDB、AppSync、Lambda、CloudFront、Cognito、QuickSight、WAF、Shield。

• 基础设施工具： IAM、CloudWatch、多可用区部署。

转型效应

• 部署速度提高 3 倍：入职聊天机器人的推出时间从 3 个月缩短至 2 周。

• 生产力提升 90%：通过实时检索实现更快的 AI 响应，从而改善了用户体验。

• 近乎完美的可靠性：通过多可用区架构实现 98% 的正常运行时间。

• 降低 30% 的 TCO：通过用 AWS 无服务器替换本地基础设施，降低了 3 年的成本。

• 审计就绪合规性：无需补救即可通过行业审计。