客户案例

Cox Automotive 借助 Prefect 赋能的劳动力分析解决方案满足动态需求

John Kang
John Kang
规划分析总监

通过最优的员工配置和设备分配来为工作场所赋能,关键在于做出数据驱动的决策。对于 Cox Automotive 旗下的品牌 Manheim(北美领先的汽车再营销服务提供商)而言,这一点尤为重要。作为全美最大的二手车批发拍卖网络的运营商,Cox Automotive 的成功依赖于 Manheim 对全美 70 多个拍卖站点的有效管理,其 18,000 名员工每年为数百万辆二手车提供拍卖服务。

规划分析总监 John Kang 和他的团队旨在解决以下挑战:

我们如何通过正确的数据驱动正确的决策,来支持站点的员工配置和设备投资?

不断演进的数据流水线:Cox Automotive 为何从 cron 任务转向 Prefect

起初,该团队使用 cron 任务来触发 Python 脚本,调用 Cox 管理的虚拟机来运行大规模数据转换。许多情景规划问题也通过 Excel 电子表格来处理。John 和团队发现这种方法在多个关键领域表现不佳,特别是在数据基础设施持续增长的情况下,这促使他们采用了 Prefect。

灵活性

使用 cron 很难验证每小时的数据摄取脚本是否成功完成,或者是否按预期移动了数据。如果脚本刷新数据失败,手动重试的过程会给非技术人员造成障碍。

Prefect Cloud 用户友好的界面让团队中的每个人(无论编码经验如何)都能查看 Cox Automotive 数据流水线的健康状况。这包括对工作流状态的实时可见性和自动化重试功能。规划分析团队只需在现有的 Python 脚本中添加 Prefect 的 @task@flow 装饰器,即可解锁这些可观测性和可重复性功能。

可扩展性

Cox Automotive 评估了一些传统的、基于图形用户界面(GUI)的编排工具,发现它们适用于原型设计,但在支持其数据应用所需的灵活性或可靠性方面有所欠缺。他们用于数据转换的自托管虚拟机限制了他们高效扩展资源的能力。

Cox Automotive 的规划分析团队现在通过利用 Prefect 的灵活部署选项,实现了数据基础设施效率的显著提升。Prefect Deployments 是推动他们从自托管虚拟机向基于 Google Kubernetes Engine (GKE) 的云原生容器基础设施转型的催化剂。他们全新的容器化配置使团队能够编排数百个数据流水线,优化计算环境,并根据数据转换任务的需求进行扩容或缩容。

自助服务

数据流水线的自助服务视图可以帮助那些不精通编程的团队成员,但这是团队旧有的方法无法实现的。对于团队中精通 Python 的成员来说,将所有内容保持在 Python 中是必要的。

新团队成员现在有了简单的方法来快速学习如何部署数据流水线,而无需处理他们过去必须承担的基础设施管理或配置工作。Prefect 与 GitHub 的集成使新老团队成员都能加快上线速度,并构建稳健的 CI/CD 流水线,从而加速工作流部署。

信任

Cox Automotive 拍卖业务的体量和多样性要求他们必须确保运行规划分析的应用能够在全国范围内实现高可用性和安全性。

Cox Automotive 已经拥有完善的数据和 IT 安全工具,用于分离编排、代码和数据的职责。Prefect 强大的安全功能(包括细粒度的访问控制 (ACL)、全面的日志记录、机密管理)以及与现有工具链集成的执行选项,通过 Prefect 进行用户身份验证,简化了他们的安全审计流程,并消除了安全方面的顾虑。

Cox Automotive 全新的规划分析技术栈

从 cron 到 Prefect 的转型,构建了一个弹性 Python 工作流框架,使 Cox Automotive 能够提升工作流执行的可视性,优化资源利用率,加快流水线部署,并增强对结果的信心。正如 John 所解释的那样:

我们最初依赖 cron,但我们没有我非常看重的 Prefect 所具备的可观测性和重试功能。我们开始在应用中使用 Prefect 来刷新 Redis 和 Postgres 缓存,它的表现非常出色。

他们全新的劳动力分析技术栈利用了以下关键工具:

  • 数据仓库 - Snowflake
  • 数据缓存 - Redis 和 Postgres
  • 数据转换 - dbt
  • 计算平台 - Google Kubernetes Engine
  • 仪表板 - Plotly Dash Enterprise
  • 编排平台 - Prefect

Cox Automotive 的规划分析团队利用 Prefect 全面的学习资源(包括认证课程详尽的文档与示例,以及 Prefect 的 Slack 社区和客户支持),实现了从手动 Python 脚本到 Prefect 的无缝过渡。很快,团队最重要的应用之一——劳动力和设备情景规划器,就开始由 Prefect 驱动的数据和洞察力提供支持。

由 Prefect 驱动的劳动力与设备规划

随着拍卖站点网络的需求和可用性发生变化,Cox Automotive 的数据应用赋能企业用户和站点领导者,让他们能够基于最新数据做出明智决策。Prefect 编排的 ELT 任务可以高效地摄取和转换 Snowflake 中的数据,取代了以往依赖带有大型扁平文件的外部数据库的昂贵工作流。此外,Prefect 还负责管理数据预热任务,保持团队 Redis 和 Postgres 缓存的更新,确保如下方所示的仪表板能够实现实时更新。

在 Prefect Summit 探索数据未来

像 Cox Automotive 这样的组织正致力于构建下一代数据工具,以便在不损害用户信任的前提下利用创新。您可以在我们的 Prefect Summit 回顾页面上找到更多关于 Prefect 如何通过事务性、灵活性和便携式的编排来建立这种信任的信息,其中包括 John 关于 Cox Automotive 转型 Prefect 之旅的演讲。