AWSを使用したエンドツーエンドのデータストレージと自動取り込みフレームワークを開発

クライアント

世界で最大のQSR企業の1つで、120か国以上に30,000店舗を展開し、年間売上が400億ドルを超えています。

ビジネス課題​

• 分散されたデータセットがリアルタイムの顧客データを欠き、パーソナライズされたキャンペーンが難しい。
• インサイトの効果的な活用が製品イノベーションやエンゲージメントに不足。
• 顧客の履歴とサポートデータの統合が必要で、問題解決のために改善が必要。
• 配達アグリゲーターとの統合が限られているため、スピードインサイトに影響。
• データ基盤の弱さが高度な分析を阻害。

ビジネス目標​

クライアントはオムニチャネルの販売とマーケティングの分析を可能にすることを目指していました:

• サードパーティのベンダー、顧客データプラットフォーム、POSシステムを含む様々なソースシステムからのデータの移行と統合を計画。
• 顧客、店舗、製品イニシアチブでの分析重視のイノベーションの加速を目指す。
• 顧客履歴およびサポートデータの統合が必要で、問題解決のために改善が必要。
• ゼロからの分析能力の開発を目標とした戦略的イニシアチブを計画。
• ビジネス成長、運用効率、顧客満足度と保持の向上に注力。

アプローチ

• AWSのGlueを使用して、安全なデータレイクを構築し、サーバーレスおよびイベント駆動型のアーキテクチャを採用。
• POS、ERP、人口統計データ、APIゲートウェイなど複数のデータソースを統合し、包括的なデータ収集を実現。
• Glue Crawlersを活用したデータのカタログ化とパーティション分けを行い、安全なS3データドロップゾーンを確立。
• 個人識別情報 (PII) データゾーンを実装し、安全なデータ処理とETLプロセスを確保。
• 顧客、店舗、製品に関するインサイトをリアルタイムで分析可能にし、ビジネスインテリジェンスを支援。
• CloudWatchとCheckmkを用いたCI/CDパイプラインの監視により、運用上の問題に対するアラートをトリガーし、システムの信頼性を確保。
• Confluenceベースのランブックを使用した運用管理で、監視とトラブルシューティングのプロセスを効率化。
• Agile手法を使用して開発、テスト、デプロイを実施し、ServiceNowで進捗を追跡し、透明性と協力を確保。

技術コンポーネント

• AWSサービス: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
• 監視: CloudWatch, Checkmk​​
• データ統合: API Gateway, Glue Crawlers​​
• ETL: AWS Glue, Pyspark​​
• プロジェクト管理: Confluence, ServiceNow, Agile手法​​

変革の効果​

• EC2およびEMRサーバーの予約インスタンスへの移行により、30%以上のコスト削減を達成。
• Cloud ETLからAWS GlueおよびInformaticaへの移行で100Kドル以上のライセンスコストを削減。
• Glueのワークロードの自動監視により、問題解決時間が20％短縮。
• 10以上のユニークなデータプロダクト（Customer 360、Store 360など）が提供され、顧客のロイヤルティ、エンゲージメント、保持の改善に貢献。