Skip to main content
 首页 » 编程设计

kubernetes之Apache Airflow 在 AWS 中使用 kubernetes 运行 dag 运算符

2025年01月19日25lexus

我正在评估 Apache Airflow 在数据环境中用于生产,我想知道是否可以使用 Airflow 在自动缩放 Kubernetes 集群上的自包含 docker 环境中运行运算符(operator)。

我找到了以下运算符:KubernetesPodOperator这似乎可以完成这项工作,但我发现的唯一示例是在 Google Cloud 上。我想在 AWS 上运行它,但是我还没有找到任何关于如何完成的示例。我相信 AWS EKS 或 AWS fargate 可能符合要求,但不确定。

任何有 Airflow 经验的人都可以告诉我这是否可行?我在网上查了一下,还没有找到任何明确的东西。

请您参考如下方法:

我们一直在生产中使用 Fargate 和 Airflow,到目前为止的体验都很好。

我们一直将它用于临时工作负载,结果证明它比拥有专用的 Kubernetes 集群更便宜。此外,没有任何类型的管理开销。

Github — Airflow DAG with ECSOperatorConfig