我正在评估 Apache Airflow 在数据环境中用于生产,我想知道是否可以使用 Airflow 在自动缩放 Kubernetes 集群上的自包含 docker 环境中运行运算符(operator)。
我找到了以下运算符:KubernetesPodOperator
这似乎可以完成这项工作,但我发现的唯一示例是在 Google Cloud 上。我想在 AWS 上运行它,但是我还没有找到任何关于如何完成的示例。我相信 AWS EKS 或 AWS fargate 可能符合要求,但不确定。
任何有 Airflow 经验的人都可以告诉我这是否可行?我在网上查了一下,还没有找到任何明确的东西。
请您参考如下方法:
我们一直在生产中使用 Fargate 和 Airflow,到目前为止的体验都很好。
我们一直将它用于临时工作负载,结果证明它比拥有专用的 Kubernetes 集群更便宜。此外,没有任何类型的管理开销。
Github — Airflow DAG with ECSOperatorConfig