Assistente de cliente GenAI sem servidor nativo da AWS

Cliente

Um provedor de serviços financeiros sediado nos EUA, que dá suporte a pequenas e médias empresas (PMEs), precisava modernizar seu modelo de atendimento ao cliente implantando assistentes escaláveis baseados em IA que fornecem respostas em tempo real e reduzem atrasos na integração.

Desafio de negócios

• Abordagem de implantação envelhecida: a FirstHope havia experimentado LLMs de código aberto hospedados em infraestrutura autogerenciada, mas o ambiente era caro, rígido e difícil de dimensionar para tráfego imprevisível de PMEs.

• Tempo lento de colocação no mercado: implantações de chatbots de IA levaram mais de 3 meses, criando gargalos para clientes de PMEs que precisavam de integração mais rápida e recursos de autoatendimento.

• Lacunas de segurança e conformidade: a falta de IAM de nível empresarial, proteção de dados e prontidão para auditoria dificultou a adoção em setores regulamentados.

• Alta sobrecarga operacional: o gerenciamento manual de infraestrutura, o dimensionamento e o monitoramento consumiam recursos de TI significativos.

• Flexibilidade limitada: implantações rígidas não permitiam a integração rápida de modelos LLM mais recentes ou aprimoramentos baseados em SaaS.

Abordagem

Trianz liderou uma re-arquitetura completa nativa em nuvem usando serviços sem servidor da AWS para reduzir a complexidade da infraestrutura e permitir assistência ao cliente segura, compatível e escalável, orientada por IA.

• Redesenho sem servidor: Infraestrutura autogerenciada substituída pela Amazon Bedrock (Anthropic Claude) para respostas generativas orientadas por LLM, eliminando a sobrecarga da infraestrutura do modelo.

• Aumento de recuperação em tempo real: Amazon Kendra integrado para recuperação de conhecimento, garantindo precisão e respostas contextuais para consultas de PMEs.

• Camada de Assistente de Negócios: aproveitou o Amazon Q Business para fluxos de trabalho pré-integrados e adaptação de domínio.

• Gerenciamento de sessão escalável: AWS AppSync e DynamoDB implantados para persistir históricos de bate-papo, metadados e estado de sessão entre clientes.

• Orquestração orientada a eventos: usou o AWS Lambda para lidar com orquestração, geração aumentada de recuperação (RAG) e lógica de dimensionamento automatizada.

• Entrega segura de front-end: Amazon CloudFront, Amplify e Cognito combinados para front-ends distribuídos globalmente com autenticação federada e isolamento.

• Monitoramento e governança: CloudWatch e QuickSight habilitados para monitoramento de latência, painéis de SLA e otimizações orientadas por análise.

• Segurança empresarial: AWS WAF e Shield aplicados para proteção contra DDoS e isolamento baseado em IAM em todos os locatários do cliente.

Componentes de Tecnologia

• Principais serviços da AWS: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• Ferramentas de infraestrutura: IAM, CloudWatch, implantações multi-AZ.

Efeitos Transformacionais

• Implantações 3x mais rápidas: o tempo de implementação do chatbot de integração foi reduzido de 3 meses para 2 semanas.

• Aumento de 90% na produtividade: respostas mais rápidas da IA por meio de recuperação em tempo real melhoram a experiência do usuário.

• Confiabilidade quase perfeita: 98% de tempo de atividade alcançado com arquitetura multi-AZ.

• 30% menos TCO: redução de custos em 3 anos ao substituir a infraestrutura local por uma infraestrutura sem servidor AWS.

• Conformidade pronta para auditoria: passou na auditoria do setor sem correção.