Assistant client GenAI sans serveur natif AWS

Client

Un fournisseur de services financiers basé aux États-Unis, qui soutient les petites et moyennes entreprises (PME), avait besoin de moderniser son modèle de service client en déployant des assistants évolutifs basés sur l'IA qui fournissent des réponses en temps réel et réduisent les délais d'intégration.

Défi commercial

• Approche de déploiement vieillissante : FirstHope avait expérimenté des LLM open source hébergés sur une infrastructure autogérée, mais l'environnement était coûteux, rigide et difficile à adapter au trafic SMB imprévisible.

• Délai de mise sur le marché lent : les déploiements de chatbots IA nécessitent plus de 3 mois, créant des goulots d'étranglement pour les clients PME ayant besoin d'une intégration plus rapide et de capacités de libre-service.

• Lacunes en matière de sécurité et de conformité : le manque de gestion des identités et des accès (IAM) de niveau entreprise, de protection des données et de préparation aux audits a entravé l'adoption dans les secteurs réglementés.

• Frais généraux opérationnels élevés : la gestion, la mise à l'échelle et la surveillance manuelles de l'infrastructure consommaient des ressources informatiques importantes.

• Flexibilité limitée : les déploiements rigides ne permettaient pas une intégration rapide des nouveaux modèles LLM ou des améliorations basées sur SaaS.

Approche

Trianz a dirigé une réarchitecture entièrement native du cloud en utilisant les services sans serveur AWS pour réduire la complexité de l'infrastructure et permettre une assistance client basée sur l'IA sécurisée, conforme et évolutive.

• Refonte sans serveur : remplacement de l'infrastructure autogérée par Amazon Bedrock (Anthropic Claude) pour les réponses génératives pilotées par LLM, éliminant ainsi la surcharge de l'infrastructure du modèle.

• Augmentation de la récupération en temps réel : Amazon Kendra intégré pour la récupération des connaissances, garantissant l'exactitude et les réponses contextuelles aux requêtes SMB.

• Couche d'assistant commercial : exploitez Amazon Q Business pour les flux de travail pré-intégrés et l'adaptation du domaine.

• Gestion de session évolutive : déploiement d'AWS AppSync et de DynamoDB pour conserver les historiques de discussion, les métadonnées et l'état de session sur tous les clients.

• Orchestration pilotée par événements : AWS Lambda a été utilisé pour gérer l'orchestration, la génération augmentée par récupération (RAG) et la logique de mise à l'échelle automatisée.

• Livraison frontale sécurisée : Amazon CloudFront, Amplify et Cognito combinés pour des frontends distribués à l'échelle mondiale avec authentification et isolation fédérées.

• Surveillance et gouvernance : CloudWatch et QuickSight activés pour la surveillance de la latence, les tableaux de bord SLA et les optimisations basées sur l'analyse.

• Sécurité d'entreprise : application d'AWS WAF et Shield pour la protection DDoS et l'isolation basée sur IAM entre les locataires clients.

Composants technologiques

• Services AWS de base : Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• Outils d'infrastructure : IAM, CloudWatch, déploiements multi-AZ.

Effets transformationnels

• Déploiements 3 fois plus rapides : le déploiement du chatbot d'intégration est réduit de 3 mois à 2 semaines.

• Augmentation de la productivité de 90 % : des réponses d'IA plus rapides via une récupération en temps réel améliorent l'expérience utilisateur.

• Fiabilité quasi parfaite : 98 % de disponibilité obtenue grâce à une architecture multi-AZ.

• 30 % de coût total de possession réduit : coût sur 3 ans réduit en remplaçant l'infrastructure sur site par AWS sans serveur.

• Conformité prête pour l'audit : Audit sectoriel réussi sans correction.