Cliente
Un fornitore di servizi finanziari con sede negli Stati Uniti che supporta le piccole e medie imprese (PMI) aveva bisogno di modernizzare il proprio modello di assistenza clienti implementando assistenti scalabili basati sull'intelligenza artificiale che fornissero risposte in tempo reale e riducessero i ritardi di onboarding.
Sfida aziendale
Approccio di distribuzione obsoleto: FirstHope aveva sperimentato LLM open source ospitati su infrastrutture autogestite, ma l'ambiente era costoso, rigido e difficile da scalare per il traffico SMB imprevedibile.
Tempi di commercializzazione lenti: le implementazioni dei chatbot con intelligenza artificiale richiedevano più di 3 mesi, creando colli di bottiglia per i clienti PMI che necessitavano di funzionalità di onboarding e self-service più rapide.
Lacune in termini di sicurezza e conformità: la mancanza di IAM di livello aziendale, protezione dei dati e predisposizione agli audit ha ostacolato l'adozione nei settori regolamentati.
Elevato sovraccarico operativo: la gestione manuale dell'infrastruttura, il ridimensionamento e il monitoraggio consumavano notevoli risorse IT.
Flessibilità limitata: le distribuzioni rigide non consentivano una rapida integrazione dei modelli LLM più recenti o dei miglioramenti basati su SaaS.
Approccio
Trianz ha guidato una completa riarchitettura cloud-native utilizzando i servizi serverless di AWS per ridurre la complessità dell'infrastruttura e consentire un'assistenza clienti basata sull'intelligenza artificiale sicura, conforme e scalabile.
Riprogettazione senza server: sostituzione dell'infrastruttura autogestita con Amazon Bedrock (Anthropic Claude) per risposte generative basate su LLM, eliminando il sovraccarico dell'infrastruttura del modello.
Aumento del recupero in tempo reale: Amazon Kendra integrato per il recupero delle conoscenze, garantendo accuratezza e risposte contestuali per le query SMB.
Business Assistant Layer: sfrutta Amazon Q Business per flussi di lavoro preintegrati e adattamento del dominio.
Gestione scalabile delle sessioni: distribuzione di AWS AppSync e DynamoDB per conservare cronologie delle chat, metadati e stato delle sessioni tra i client.
Orchestrazione basata sugli eventi: utilizzo di AWS Lambda per gestire l'orchestrazione, la generazione aumentata dal recupero (RAG) e la logica di ridimensionamento automatizzata.
Distribuzione front-end sicura: combinazione di Amazon CloudFront, Amplify e Cognito per front-end distribuiti a livello globale con autenticazione federata e isolamento.
Monitoraggio e governance: abilitazione di CloudWatch e QuickSight per il monitoraggio della latenza, dashboard SLA e ottimizzazioni basate sull'analisi.
Sicurezza aziendale: applicazione di AWS WAF e Shield per la protezione DDoS e l'isolamento basato su IAM tra i tenant client.
Componenti tecnologici
Servizi AWS principali: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.
Strumenti infrastrutturali: IAM, CloudWatch, distribuzioni multi-AZ.
Effetti trasformativi
Distribuzioni 3 volte più veloci: il tempo di implementazione del chatbot di onboarding è stato ridotto da 3 mesi a 2 settimane.
Aumento della produttività del 90%: risposte AI più rapide tramite recupero in tempo reale hanno migliorato l'esperienza utente.
Affidabilità quasi perfetta: tempo di attività del 98% ottenuto con l'architettura multi-AZ.
TCO inferiore del 30%: costi ridotti in 3 anni sostituendo l'infrastruttura on-prem con AWS serverless.
Conformità pronta per l'audit: ha superato l'audit del settore senza bisogno di interventi correttivi.
