Entwicklung eines End-to-End-Frameworks für die Datenspeicherung und automatisierte Aufnahme mit AWS

Kunde

Eines der größten QSR-Unternehmen weltweit, das über 40 Milliarden US-Dollar Jahresumsatz aus mehr als 30.000 Restaurants in 120 Ländern erzielt.​

Geschäftliche Herausforderung​

• Fragmentierte Datensätze fehlten Echtzeit-Kundendaten für personalisierte Kampagnen.​
• Unzureichende Nutzung von Erkenntnissen für Produktinnovation und Engagement​
• Kundenhistorie & Support-Daten mussten konsolidiert werden, um Probleme zu lösen​
• Begrenzte Integration mit Lieferaggregatoren beeinträchtigte Geschwindigkeit und Einblicke​
• Schwache Datenbasis verhinderte fortgeschrittene Analysen

Geschäftsziel​

Der Kunde strebte an, Analysen für Omnichannel-Vertrieb und -Marketing zu ermöglichen:​

• Plan zur Migration und Integration von Daten aus verschiedenen Quellsystemen, einschließlich Drittanbietern, Kundenplattformen und POS-Systemen​
• Streben nach beschleunigter, analytikzentrierter Innovation in Kunden-, Laden- und Produktinitiativen​​
• Kundenhistorie & Support-Daten mussten konsolidiert werden, um Probleme zu lösen​
• Zielsetzung strategischer Initiativen zum Aufbau von „ground-up“ Analytics-Fähigkeiten​
• Fokus auf Steigerung des Geschäftswachstums, der operativen Effizienz sowie der Kundenzufriedenheit und -bindung.​

Vorgehensweise

• Aufbau eines sicheren AWS Data Lakes mit Glue unter Verwendung einer serverlosen und ereignisgesteuerten Architektur.
• Integration mehrerer Datenquellen, einschließlich POS, ERP, Demografiedaten und API Gateway für umfassende Datenaufnahme.
• Einrichtung sicherer S3-Datenzonen, wobei Glue Crawlers für die effektive Katalogisierung und Partitionierung von Daten genutzt werden.
• Implementierung von PII-Datenzonen zur sicheren Verarbeitung und Durchführung von ETL-Prozessen.
• Ermöglichung von nahezu Echtzeit-Analysen für Einblicke in Kunden, Geschäfte und Produkte zur Unterstützung von Business Intelligence.
• Überwachung von CI/CD-Pipelines mit CloudWatch und Checkmk, um Warnmeldungen für betriebliche Probleme auszulösen und die Systemzuverlässigkeit zu gewährleisten.
• Verwaltung der Betriebsabläufe mit Confluence-basierten Runbooks zur effektiven Überwachung und Fehlerbehebung.
• Anwendung der agilen Methode für Entwicklung, Tests und Bereitstellung, mit Fortschrittsverfolgung in ServiceNow zur Gewährleistung von Transparenz und Zusammenarbeit.

Technologische Komponenten

• AWS-Dienste: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
• Überwachung: CloudWatch, Checkmk​​
• Datenintegration: API Gateway, Glue Crawlers​​
• ETL: AWS Glue, Pyspark​​
• Projektmanagement: Confluence, ServiceNow, Agile-Methodik

Transformative Effekte​

• Erreichte über 30 % Kosteneinsparungen durch den Wechsel zu Reserved Instances für EC2- und EMR-Server.​
• Sparsame 100.000 USD+ an Lizenzkosten durch die Migration von Cloud ETL zu AWS Glue und Informatica.​
• Verkürzte die Problemlösungszeit um 20 % durch die automatisierte Überwachung von Glue-Workloads​
• 10+ einzigartige Datenprodukte (Customer 360, Store 360 usw.), die wertvolle Einblicke zur Verbesserung der Kundenloyalität, des Engagements und der Bindung bieten​