Développement d’un cadre de stockage de donnés de bout en bout et d’ingestion automatisée à l’aide d’AWS

Client

Une des plus grandes entreprises de QSR au monde, générant plus de 40 milliards de dollars de ventes annuelles avec plus de 30 000 restaurants dans 120 pays.​

Défi Commercial​

• Ensembles de données fragmentés manquant de données client en temps réel pour des campagnes personnalisées.​
• Utilisation inefficace des informations pour l'innovation produit et l'engagement client​
• Les données d'historique client et de support avaient besoin d'être consolidées pour la résolution des problèmes​
• Intégration limitée avec les agrégateurs de livraison impactant la rapidité des informations​
• Faible base de données bloquant les analyses avancées

Objectif Commercial​

Le client visait à activer des analyses pour les ventes et le marketing omnicanal:​

• Prévu de migrer et d'intégrer des données de diverses sources, y compris les fournisseurs tiers, les plateformes de données clients et les systèmes POS​
• Vise à accélérer l'innovation centrée sur les analyses dans les initiatives client, magasin et produit​​
• Les données d'historique client et de support avaient besoin d'être consolidées pour la résolution des problèmes​
• Ciblage des initiatives stratégiques pour développer des capacités d'analyse "from scratch"​
• Concentré sur l'amélioration de la croissance commerciale, de l'efficacité opérationnelle et de la satisfaction et fidélisation des clients.​

Démarche

• Création d'un lac de données sécurisé sur AWS avec Glue, utilisant une architecture sans serveur et pilotée par événements.
• Intégration de plusieurs sources de données, y compris POS, ERP, données démographiques et API Gateway pour une ingestion complète des données.
• Établissement de zones de dépôt de données sécurisées S3, utilisant Glue Crawlers pour le catalogage et la partition efficaces des données.
• Mise en place de zones de données PII pour garantir la gestion sécurisée et les processus ETL.
• Activation d'analyses quasi en temps réel pour obtenir des informations sur les clients, les magasins et les produits pour soutenir l'intelligence d'affaires.
• Surveillance des pipelines CI/CD avec CloudWatch et Checkmk, déclenchant des alertes pour les problèmes opérationnels et assurant la fiabilité du système.
• Gestion des opérations avec des runbooks basés sur Confluence pour faciliter les processus de surveillance et de dépannage de manière efficace.
• Utilisation de la méthodologie Agile pour le développement, les tests et le déploiement, avec un suivi des progrès dans ServiceNow pour garantir la transparence et la collaboration.

Composants Technologiques

• Services AWS : Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
• Surveillance: CloudWatch, Checkmk​​
• Intégration des Données : API Gateway, Glue Crawlers​​
• ETL : AWS Glue, Pyspark​​
• Gestion de Projet : Confluence, ServiceNow, méthodologie Agile

Effets Transformationnels​

• Réalisé plus de 30 % d'économies en passant aux Instances Réservées pour les serveurs EC2 et EMR.​
• Économisé plus de 100K$ en coûts de licences en migrant les charges de travail de Cloud ETL vers AWS Glue et Informatica.​
• Réduction du temps de résolution des problèmes de 20% grâce à la surveillance automatisée des charges de travail Glue​
• 10+ produits de données uniques (Customer 360, Store 360, etc.) fournissant des informations précieuses pour améliorer la fidélité, l'engagement et la rétention des clients​