使用 AWS 开发端到端数据存储和自动提取框架

客户

全球最大的 QSR 公司之一，在 120 个国家/地区拥有超过 30,000 家餐厅，年销售额超过 400 亿美元。

商业挑战

• 碎片化的数据集缺乏用于个性化活动的实时客户数据。
• 对产品创新和参与的洞察利用不力
• 需要整合客户历史和支持数据来解决问题
• 与配送聚合商的集成有限，影响了速度洞察
• 数据基础薄弱阻碍进步

商业目标

客户旨在实现全渠道销售和营销分析：​

• 计划迁移和集成来自各种源系统的数据，包括 3P 供应商、客户数据平台和 POS 系统
• 寻求加速以分析为中心的客户、商店和产品计划创新
• 需要整合客户历史和支持数据以解决问题
• 有针对性的战略举措，开发“自上而下”的分析能力
• 专注于提高业务增长、运营效率以及客户满意度和保留率。

方法

• 使用 Glue 构建安全的 AWS 数据湖，采用无服务器和事件驱动的架构。
• 集成多个数据源，包括 POS、ERP、人口统计数据和 API 网关，实现全面的数据提取。
• 建立安全的 S3 数据放置区，利用 Glue Crawlers 对数据进行有效的分类和分区。
• 实施 PII（个人身份信息）数据区以确保安全处理和 ETL（提取、转换、加载）过程。
• 实现近乎实时的分析，深入了解客户、商店和产品，从而支持商业智能。
• 使用 CloudWatch 和 Checkmk 监控 CI/CD 管道，触发操作问题警报并确保系统可靠性。
• 使用基于 Confluence 的运行手册管理操作，以有效地促进监控和故障排除过程。
• 采用敏捷方法进行开发、测试和部署，并在 ServiceNow 中跟踪进度以确保透明度和协作。

技术组件

• AWS 服务： Glue、Lambda、S3、Redshift、Snowflake、CloudWatch
• 监控：CloudWatch、Checkmk
• 数据集成： API 网关、Glue 爬虫
• ETL： AWS Glue、Pyspark
• 项目管理： Confluence、ServiceNow、敏捷方法

转型效应

• 通过切换到 EC2 和 EMR 服务器的预留实例，节省了超过30% 的成本。
• 通过将工作负载从 Cloud ETL 迁移到 AWS Glue 和 Informatica，节省了10 万美元以上的许可证成本。
• 通过自动监控 Glue 工作负载，将问题解决时间缩短了 20%
• 10 多种独特的数据产品（客户 360、商店 360 等）为提高客户忠诚度、参与度和保留率提供了宝贵的见解