AWS-Native Serverless GenAI-Kundenassistent

Kunde

Ein in den USA ansässiger Finanzdienstleister, der kleine und mittlere Unternehmen (KMU) unterstützt, musste sein Kundendienstmodell modernisieren, indem er skalierbare, KI-gesteuerte Assistenten einsetzte, die Antworten in Echtzeit liefern und Verzögerungen bei der Einarbeitung reduzieren.

Geschäftliche Herausforderung

• Veralteter Bereitstellungsansatz: FirstHope hatte mit Open-Source-LLMs experimentiert, die auf einer selbstverwalteten Infrastruktur gehostet wurden, aber die Umgebung war teuer, starr und für unvorhersehbaren SMB-Verkehr schwer skalierbar.

• Lange Markteinführungszeit: Die Bereitstellung von KI-Chatbots dauerte mehr als drei Monate, was zu Engpässen bei KMU-Kunden führte, die schnellere Onboarding- und Self-Service-Funktionen benötigten.

• Sicherheits- und Compliance-Lücken: Der Mangel an unternehmensweitem IAM, Datenschutz und Audit-Bereitschaft behinderte die Einführung in regulierten Branchen.

• Hoher Betriebsaufwand: Manuelles Infrastrukturmanagement, Skalierung und Monitoring verbrauchten erhebliche IT-Ressourcen.

• Eingeschränkte Flexibilität: Starre Bereitstellungen ermöglichten keine schnelle Integration neuerer LLM-Modelle oder SaaS-basierter Erweiterungen.

Ansatz

Trianz leitete eine vollständige Cloud-native Neuarchitektur unter Verwendung serverloser AWS-Dienste, um die Infrastrukturkomplexität zu reduzieren und eine sichere, konforme und skalierbare KI-gesteuerte Kundenunterstützung zu ermöglichen.

• Serverloses Redesign: Selbstverwaltete Infrastruktur durch Amazon Bedrock (Anthropic Claude) für LLM-gesteuerte generative Antworten ersetzt, wodurch der Modellinfrastruktur-Overhead eliminiert wurde.

• Erweiterung der Abfrage in Echtzeit: Integriertes Amazon Kendra für die Wissensabfrage, das Genauigkeit und kontextbezogene Antworten für SMB-Abfragen gewährleistet.

• Business Assistant Layer: Nutzung von Amazon Q Business für vorintegrierte Workflows und Domänenanpassung.

• Skalierbares Sitzungsmanagement: AWS AppSync und DynamoDB wurden bereitgestellt, um Chatverläufe, Metadaten und Sitzungsstatus clientübergreifend beizubehalten.

• Ereignisgesteuerte Orchestrierung: AWS Lambda wurde zur Handhabung der Orchestrierung, Retrieval-Augmented Generation (RAG) und automatisierten Skalierungslogik verwendet.

• Sichere Frontend-Bereitstellung: Kombinierte Amazon CloudFront, Amplify und Cognito für global verteilte Frontends mit föderierter Authentifizierung und Isolierung.

• Überwachung und Governance: CloudWatch und QuickSight für Latenzüberwachung, SLA-Dashboards und analysegesteuerte Optimierungen aktiviert.

• Unternehmenssicherheit: AWS WAF und Shield für DDoS-Schutz und IAM-basierte Isolierung über Client-Mandanten hinweg angewendet.

Technologiekomponenten

• Kerndienste von AWS: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• Infrastrukturtools: IAM, CloudWatch, Multi-AZ-Bereitstellungen.

Transformationseffekte

• 3x schnellere Bereitstellungen: Die Einführung des Onboarding-Chatbots wurde von 3 Monaten auf 2 Wochen verkürzt.

• 90 % Produktivitätssteigerung: Schnellere KI-Reaktionen durch Echtzeitabruf verbessern das Benutzererlebnis.

• Nahezu perfekte Zuverlässigkeit: 98 % Betriebszeit mit Multi-AZ-Architektur erreicht.

• 30 % niedrigere Gesamtbetriebskosten: 3-Jahres-Kostenreduzierung durch Ersetzen der lokalen Infrastruktur durch AWS Serverless.

• Audit-Ready-Compliance: Branchenaudit ohne Abhilfe bestanden.