Desarrollo de un marco de almacenamiento de datos de extremo a extremo e ingesta automatizada con AWS

Cliente

Una de las empresas de QSR más grandes del mundo, generando más de 40 mil millones de dólares en ventas anuales a través de más de 30,000 restaurantes en 120 países.​

Desafío Comercial​

• Conjuntos de datos fragmentados carecían de datos de clientes en tiempo real para campañas personalizadas.​
• Uso ineficaz de ideas para la innovación de productos y el compromiso​
• El historial de clientes y los datos de soporte necesitaban consolidación para la resolución de problemas​
• Integración limitada con agregadores de entregas afectaba los conocimientos sobre velocidad​
• Fundación de datos débil bloqueaba el análisis avanzado

Objetivo Comercial​

El cliente apuntaba a habilitar análisis para ventas y marketing omnicanal:​

• Planificado para migrar e integrar datos de varios sistemas de origen, incluyendo proveedores externos, plataformas de datos de clientes y sistemas POS​
• Buscaba acelerar la innovación centrada en el análisis en iniciativas de clientes, tiendas y productos​​
• El historial de clientes y los datos de soporte necesitaban consolidación para la resolución de problemas​
• Objetivo en iniciativas estratégicas para desarrollar capacidades de análisis "desde cero"​
• Enfoque en mejorar el crecimiento empresarial, la eficiencia operativa y la satisfacción y retención de clientes.​

Enfoque

• Se construyó un lago de datos seguro en AWS utilizando Glue, empleando una arquitectura sin servidor y basada en eventos.
• Integración de múltiples fuentes de datos, incluidos POS, ERP, datos demográficos y API Gateway para una ingesta de datos completa.
• Establecimiento de zonas seguras de caída de datos en S3, utilizando Glue Crawlers para una catalogación y partición de datos efectiva.
• Implementación de zonas de datos PII para asegurar el manejo y los procesos ETL.
• Habilitación de análisis casi en tiempo real para obtener información sobre clientes, tiendas y productos que apoye la inteligencia empresarial.
• Supervisión de pipelines CI/CD con CloudWatch y Checkmk, activando alertas para problemas operativos y garantizando la confiabilidad del sistema.
• Gestión de operaciones con runbooks basados en Confluence para facilitar el monitoreo y los procesos de resolución de problemas de manera efectiva.
• Empleo de metodología Agile para el desarrollo, prueba y despliegue, con seguimiento de progreso en ServiceNow para garantizar transparencia y colaboración.

Componentes Tecnológicos

• Servicios de AWS: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
• Monitoreo: CloudWatch, Checkmk​​
• Integración de Datos: API Gateway, Glue Crawlers​​
• ETL: AWS Glue, Pyspark​​
• Gestión de Proyectos: Confluence, ServiceNow, metodología Agile​

Efectos Transformacionales​

• Logró más del 30% de ahorro de costos al cambiar a Instancias Reservadas para servidores EC2 y EMR.​
• Ahorro de más de $100K en costos de licencia al migrar cargas de trabajo de Cloud ETL a AWS Glue e Informatica.​
• Reducción del tiempo de resolución de problemas en un 20% mediante el monitoreo automatizado de cargas de trabajo en Glue​
• 10+ productos de datos únicos (Customer 360, Store 360, etc.) que brindan información valiosa para mejorar la lealtad, el compromiso y la retención del cliente​