Sviluppo di un framework di archiviazione dati end-to-end e di acquisizione automatizzata utilizzando AWS

Cliente

Una delle più grandi aziende di QSR a livello globale, con oltre 40 miliardi di dollari di vendite annuali provenienti da più di 30.000 ristoranti in 120 paesi.​

Problema Aziendale​

• Set di dati frammentati mancavano di dati in tempo reale sui clienti per campagne personalizzate.​
• Uso inefficace delle informazioni per l'innovazione del prodotto e il coinvolgimento​
• I dati sulla storia dei clienti e sull'assistenza necessitavano di consolidamento per la risoluzione dei problemi​
• Integrazione limitata con gli aggregatori di consegna, influenzando la velocità delle informazioni​
• Base di dati debole che bloccava le analisi avanzate

Obiettivo Aziendale​

Il cliente mirava a abilitare le analisi per le vendite e il marketing omnicanale:​

• Pianificato di migrare e integrare i dati da vari sistemi di origine, inclusi fornitori terzi, piattaforme di dati sui clienti e sistemi POS​
• Intendeva accelerare l'innovazione basata sull'analisi nelle iniziative relative a clienti, negozi e prodotti​​
• I dati sulla storia dei clienti e sull'assistenza necessitavano di consolidamento per la risoluzione dei problemi​
• Obiettivo in iniziative strategiche per sviluppare capacità di analisi "da zero"​
• Focalizzato su miglioramento della crescita aziendale, efficienza operativa, soddisfazione e fidelizzazione dei clienti.​

Approccio

• Costruzione di un data lake sicuro su AWS utilizzando Glue, con un'architettura senza server e basata su eventi.
• Integrazione di più fonti di dati, inclusi POS, ERP, dati demografici e API Gateway per un'ingestione completa dei dati.
• Creazione di zone di deposito sicure su S3, utilizzando Glue Crawlers per una catalogazione e partizionamento dei dati efficaci.
• Implementazione di zone di dati PII per garantire la gestione sicura e i processi ETL.
• Abilitazione di analisi quasi in tempo reale per ottenere informazioni su clienti, negozi e prodotti a supporto dell'intelligenza aziendale.
• Monitoraggio delle pipeline CI/CD con CloudWatch e Checkmk, attivando avvisi per problemi operativi e garantendo l'affidabilità del sistema.
• Gestione delle operazioni con runbook basati su Confluence per facilitare i processi di monitoraggio e risoluzione dei problemi in modo efficace.
• Utilizzo della metodologia Agile per sviluppo, test e distribuzione, con monitoraggio dei progressi su ServiceNow per garantire trasparenza e collaborazione.

Componenti Tecnologici

• Servizi AWS: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
• Monitoraggio: CloudWatch, Checkmk​​
• Integrazione Dati: API Gateway, Glue Crawlers​​
• ETL: AWS Glue, Pyspark​​
• Gestione Progetti: Confluence, ServiceNow, metodologia Agile​

Effetti Trasformazionali​

• Raggiunto oltre il 30% di risparmio sui costi passando alle Istanze Riservate per i server EC2 ed EMR.​
• Risparmiato oltre 100.000$ in costi di licenza migrando i carichi di lavoro da Cloud ETL a AWS Glue e Informatica.​
• Riduzione del tempo di risoluzione dei problemi del 20% grazie al monitoraggio automatizzato dei carichi di lavoro Glue​
• Oltre 10 prodotti di dati unici (Customer 360, Store 360, ecc.) fornendo preziose informazioni per migliorare la fedeltà, l'impegno e la fidelizzazione dei clienti​