Asistente de cliente GenAI sin servidor nativo de AWS

Cliente

Un proveedor de servicios financieros con sede en EE. UU. que apoya a pequeñas y medianas empresas (PYMES) necesitaba modernizar su modelo de servicio al cliente mediante la implementación de asistentes escalables impulsados por IA que brindan respuestas en tiempo real y reducen los retrasos en la incorporación.

Desafío empresarial

• Enfoque de implementación basado en el envejecimiento: FirstHope había experimentado con LLM de código abierto alojados en infraestructura autogestionada, pero el entorno era costoso, rígido y difícil de escalar para el tráfico SMB impredecible.

• Tiempo de comercialización lento: las implementaciones de chatbots de IA requirieron más de 3 meses, lo que generó cuellos de botella para los clientes de PYMES que necesitaban capacidades de autoservicio y una incorporación más rápida.

• Brechas de seguridad y cumplimiento: la falta de IAM de nivel empresarial, protección de datos y preparación para auditorías obstaculizó su adopción en industrias reguladas.

• Alta sobrecarga operativa: la gestión, el escalamiento y la supervisión manuales de la infraestructura consumían importantes recursos de TI.

• Flexibilidad limitada: Las implementaciones rígidas no permitieron una rápida integración de modelos LLM más nuevos o mejoras basadas en SaaS.

Acercarse

Trianz lideró una reestructuración integral de la arquitectura nativa de la nube utilizando servicios sin servidor de AWS para reducir la complejidad de la infraestructura y permitir una asistencia al cliente segura, compatible y escalable basada en IA.

• Rediseño sin servidor: se reemplazó la infraestructura autoadministrada con Amazon Bedrock (Anthropic Claude) para obtener respuestas generativas impulsadas por LLM, lo que eliminó la sobrecarga de la infraestructura del modelo.

• Aumento de la recuperación en tiempo real: Amazon Kendra integrado para la recuperación de conocimiento, lo que garantiza precisión y respuestas contextuales para las consultas de SMB.

• Capa de asistente empresarial: aprovechó Amazon Q Business para flujos de trabajo preintegrados y adaptación de dominios.

• Gestión de sesiones escalable: se implementaron AWS AppSync y DynamoDB para conservar los historiales de chat, los metadatos y el estado de la sesión en todos los clientes.

• Orquestación impulsada por eventos: se utilizó AWS Lambda para gestionar la orquestación, la generación aumentada por recuperación (RAG) y la lógica de escalamiento automatizado.

• Entrega segura de frontend: combinación de Amazon CloudFront, Amplify y Cognito para frontends distribuidos globalmente con autenticación y aislamiento federados.

• Supervisión y gobernanza: se habilitaron CloudWatch y QuickSight para la supervisión de latencia, paneles de SLA y optimizaciones basadas en análisis.

• Seguridad empresarial: se aplicó AWS WAF y Shield para protección DDoS y aislamiento basado en IAM entre inquilinos del cliente.

Componentes tecnológicos

• Servicios principales de AWS: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• Herramientas de infraestructura: IAM, CloudWatch, implementaciones multi-AZ.

Efectos transformacionales

• Implementaciones 3 veces más rápidas: la implementación del chatbot de incorporación se redujo de 3 meses a 2 semanas.

• Aumento del 90 % en la productividad: las respuestas de IA más rápidas a través de la recuperación en tiempo real mejoraron la experiencia del usuario.

• Confiabilidad casi perfecta: 98 % de tiempo de actividad logrado con arquitectura multi-AZ.

• TCO 30% menor: costo de 3 años reducido al reemplazar la infraestructura local con AWS sin servidor.

• Cumplimiento listo para auditoría: Pasó la auditoría de la industria sin remediación.