Kunde
Ein in den USA ansässiger Finanzdienstleister, der kleine und mittlere Unternehmen (KMU) unterstützt, musste sein Kundendienstmodell modernisieren, indem er skalierbare, KI-gesteuerte Assistenten einsetzte, die Antworten in Echtzeit liefern und Verzögerungen bei der Einarbeitung reduzieren.
Geschäftliche Herausforderung
Veralteter Bereitstellungsansatz: FirstHope hatte mit Open-Source-LLMs experimentiert, die auf einer selbstverwalteten Infrastruktur gehostet wurden, aber die Umgebung war teuer, starr und für unvorhersehbaren SMB-Verkehr schwer skalierbar.
Lange Markteinführungszeit: Die Bereitstellung von KI-Chatbots dauerte mehr als drei Monate, was zu Engpässen bei KMU-Kunden führte, die schnellere Onboarding- und Self-Service-Funktionen benötigten.
Sicherheits- und Compliance-Lücken: Der Mangel an unternehmensweitem IAM, Datenschutz und Audit-Bereitschaft behinderte die Einführung in regulierten Branchen.
Hoher Betriebsaufwand: Manuelles Infrastrukturmanagement, Skalierung und Monitoring verbrauchten erhebliche IT-Ressourcen.
Eingeschränkte Flexibilität: Starre Bereitstellungen ermöglichten keine schnelle Integration neuerer LLM-Modelle oder SaaS-basierter Erweiterungen.
Ansatz
Trianz leitete eine vollständige Cloud-native Neuarchitektur unter Verwendung serverloser AWS-Dienste, um die Infrastrukturkomplexität zu reduzieren und eine sichere, konforme und skalierbare KI-gesteuerte Kundenunterstützung zu ermöglichen.
Serverloses Redesign: Selbstverwaltete Infrastruktur durch Amazon Bedrock (Anthropic Claude) für LLM-gesteuerte generative Antworten ersetzt, wodurch der Modellinfrastruktur-Overhead eliminiert wurde.
Erweiterung der Abfrage in Echtzeit: Integriertes Amazon Kendra für die Wissensabfrage, das Genauigkeit und kontextbezogene Antworten für SMB-Abfragen gewährleistet.
Business Assistant Layer: Nutzung von Amazon Q Business für vorintegrierte Workflows und Domänenanpassung.
Skalierbares Sitzungsmanagement: AWS AppSync und DynamoDB wurden bereitgestellt, um Chatverläufe, Metadaten und Sitzungsstatus clientübergreifend beizubehalten.
Ereignisgesteuerte Orchestrierung: AWS Lambda wurde zur Handhabung der Orchestrierung, Retrieval-Augmented Generation (RAG) und automatisierten Skalierungslogik verwendet.
Sichere Frontend-Bereitstellung: Kombinierte Amazon CloudFront, Amplify und Cognito für global verteilte Frontends mit föderierter Authentifizierung und Isolierung.
Überwachung und Governance: CloudWatch und QuickSight für Latenzüberwachung, SLA-Dashboards und analysegesteuerte Optimierungen aktiviert.
Unternehmenssicherheit: AWS WAF und Shield für DDoS-Schutz und IAM-basierte Isolierung über Client-Mandanten hinweg angewendet.
Technologiekomponenten
Kerndienste von AWS: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.
Infrastrukturtools: IAM, CloudWatch, Multi-AZ-Bereitstellungen.
Transformationseffekte
3x schnellere Bereitstellungen: Die Einführung des Onboarding-Chatbots wurde von 3 Monaten auf 2 Wochen verkürzt.
90 % Produktivitätssteigerung: Schnellere KI-Reaktionen durch Echtzeitabruf verbessern das Benutzererlebnis.
Nahezu perfekte Zuverlässigkeit: 98 % Betriebszeit mit Multi-AZ-Architektur erreicht.
30 % niedrigere Gesamtbetriebskosten: 3-Jahres-Kostenreduzierung durch Ersetzen der lokalen Infrastruktur durch AWS Serverless.
Audit-Ready-Compliance: Branchenaudit ohne Abhilfe bestanden.
