Assistente clienti GenAI serverless nativo AWS

Cliente

Un fornitore di servizi finanziari con sede negli Stati Uniti che supporta le piccole e medie imprese (PMI) aveva bisogno di modernizzare il proprio modello di assistenza clienti implementando assistenti scalabili basati sull'intelligenza artificiale che fornissero risposte in tempo reale e riducessero i ritardi di onboarding.

Sfida aziendale

• Approccio di distribuzione obsoleto: FirstHope aveva sperimentato LLM open source ospitati su infrastrutture autogestite, ma l'ambiente era costoso, rigido e difficile da scalare per il traffico SMB imprevedibile.

• Tempi di commercializzazione lenti: le implementazioni dei chatbot con intelligenza artificiale richiedevano più di 3 mesi, creando colli di bottiglia per i clienti PMI che necessitavano di funzionalità di onboarding e self-service più rapide.

• Lacune in termini di sicurezza e conformità: la mancanza di una gestione dell'identità (IAM) di livello aziendale, di protezione dei dati e di predisposizione agli audit ha ostacolato l'adozione nei settori regolamentati.

• Elevato sovraccarico operativo: la gestione manuale dell'infrastruttura, il ridimensionamento e il monitoraggio consumavano notevoli risorse IT.

• Flessibilità limitata: le distribuzioni rigide non consentivano una rapida integrazione dei modelli LLM più recenti o dei miglioramenti basati su SaaS.

Approccio

Trianz ha guidato una completa riarchitettura cloud-native utilizzando i servizi serverless di AWS per ridurre la complessità dell'infrastruttura e consentire un'assistenza clienti basata sull'intelligenza artificiale sicura, conforme e scalabile.

• Riprogettazione senza server: sostituzione dell'infrastruttura autogestita con Amazon Bedrock (Anthropic Claude) per risposte generative basate su LLM, eliminando il sovraccarico dell'infrastruttura del modello.

• Aumento del recupero in tempo reale: Amazon Kendra integrato per il recupero delle conoscenze, garantendo accuratezza e risposte contestuali per le query SMB.

• Business Assistant Layer: sfrutta Amazon Q Business per flussi di lavoro preintegrati e adattamento del dominio.

• Gestione scalabile delle sessioni: distribuzione di AWS AppSync e DynamoDB per conservare cronologie delle chat, metadati e stato delle sessioni tra i client.

• Orchestrazione basata sugli eventi: utilizzo di AWS Lambda per gestire l'orchestrazione, la generazione aumentata dal recupero (RAG) e la logica di ridimensionamento automatizzata.

• Distribuzione front-end sicura: combinazione di Amazon CloudFront, Amplify e Cognito per front-end distribuiti a livello globale con autenticazione federata e isolamento.

• Monitoraggio e governance: abilitazione di CloudWatch e QuickSight per il monitoraggio della latenza, dashboard SLA e ottimizzazioni basate sull'analisi.

• Sicurezza aziendale: applicazione di AWS WAF e Shield per la protezione DDoS e l'isolamento basato su IAM tra i tenant client.

Componenti tecnologici

• Servizi AWS principali: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• Strumenti infrastrutturali: IAM, CloudWatch, distribuzioni multi-AZ.

Effetti trasformativi

• Distribuzioni 3 volte più veloci: il tempo di implementazione del chatbot di onboarding è stato ridotto da 3 mesi a 2 settimane.

• Aumento della produttività del 90%: risposte AI più rapide tramite recupero in tempo reale hanno migliorato l'esperienza utente.

• Affidabilità quasi perfetta: tempo di attività del 98% ottenuto con l'architettura multi-AZ.

• TCO inferiore del 30%: costi ridotti in 3 anni sostituendo l'infrastruttura on-prem con AWS serverless.

• Conformità pronta per l'audit: ha superato l'audit del settore senza bisogno di interventi correttivi.