Desenvolvi uma estrutura de armazenamento de dados de ponta a ponta e ingestão automatizada usando a AWS

Cliente

Uma das maiores empresas de QSR globalmente, gerando mais de 40 bilhões de dólares em vendas anuais de mais de 30.000 restaurantes em 120 países.

Desafio de Negócio

• Conjuntos de dados fragmentados careciam de dados de clientes em tempo real para campanhas personalizadas.
• Uso ineficaz de insights para inovação de produtos e engajamento.
• Dados de histórico e suporte ao cliente precisavam de consolidação para a resolução de problemas.
• Integração limitada com agregadores de entrega, afetando a velocidade dos insights.
• Base de dados fraca bloqueava análises avançadas.

Objetivo de Negócio

O cliente pretendia habilitar análises para vendas e marketing multicanal:

• Planejava migrar e integrar dados de diversos sistemas de origem, incluindo fornecedores de terceiros, plataformas de dados de clientes e sistemas POS.
• Buscava acelerar a inovação centrada em análises nas iniciativas para clientes, lojas e produtos.
• Dados de histórico e suporte ao cliente precisavam de consolidação para a resolução de problemas.
• Iniciativas estratégicas direcionadas para desenvolver capacidades de análise "do zero".
• Foco em impulsionar o crescimento do negócio, eficiência operacional, satisfação e retenção de clientes.

Abordagem

• Construção de um data lake seguro na AWS usando Glue, com arquitetura sem servidor e orientada por eventos.
• Integração de várias fontes de dados, incluindo POS, ERP, dados demográficos e API Gateway para uma ingestão de dados abrangente.
• Estabelecimento de zonas seguras de armazenamento de dados no S3, usando Glue Crawlers para catalogação e particionamento eficazes dos dados.
• Implementação de zonas de dados PII (informações de identificação pessoal) para assegurar o processamento seguro e os processos ETL (Extrair, Transformar, Carregar).
• Capacitação de análises quase em tempo real para insights sobre clientes, lojas e produtos, para suportar a inteligência de negócios.
• Monitoramento de pipelines CI/CD usando CloudWatch e Checkmk, acionando alertas para problemas operacionais e garantindo a confiabilidade do sistema.
• Gerenciamento de operações com runbooks baseados em Confluence para facilitar os processos de monitoramento e resolução de problemas de forma eficaz.
• Uso da metodologia Agile para desenvolvimento, teste e implantação, com o progresso monitorado no ServiceNow para garantir transparência e colaboração.

Componentes Tecnológicos

• Serviços AWS: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
• Monitoramento: CloudWatch, Checkmk
• Integração de Dados: API Gateway, Glue Crawlers
• ETL: AWS Glue, Pyspark
• Gerenciamento de Projetos: Confluence, ServiceNow, metodologia Agile

Efeitos Transformacionais

• Obteve mais de 30% de economia de custos ao mudar para Instâncias Reservadas para os servidores EC2 e EMR.
• Economizou mais de $100.000 em custos de licenciamento migrando cargas de trabalho do Cloud ETL para o AWS Glue e Informatica.
• Reduziu o tempo de resolução de problemas em 20% por meio do monitoramento automatizado das cargas de trabalho do Glue.
• Mais de 10 produtos de dados exclusivos (Customer 360, Store 360, etc.), fornecendo insights valiosos para melhorar a lealdade, engajamento e retenção de clientes.