Skip to main content
 首页 » 编程设计

apache-zookeeper之什么条件会导致马拉松领导人选举

2024年02月04日18kerrycode

我正在使用 Mesos 和 Marathon 来管理应用程序部署,并在 Marathon https://github.com/mesosphere/marathon/issues/3783 中遇到了此错误,也就是说,部署期间的领导者选举会将实例数量缩减至 0。领导者选举发生得非常频繁(大约每 30 分钟一次),因此我经常遇到这个问题。

我知道每 30 分钟一次是非常不规律的,因为我已经升级到 Marathon 1.3.10 并且过去 2 天没有选举,但是“正常”的频率是多少?正常情况下是否会发生领导人退位/选举,或者除非存在根本问题,否则我应该预期 0 次选举?一位同事向我建议,“领导人选举是正常的”,“一定数量的选举是正常的,是可以预料的”。我只是不相信这一点,并且想确切地知道。

请您参考如下方法:

如果您的 Marathon 每 30 分钟重新选举一次,这是不正常的。在正常情况下,Marathon 不应在维护发生(更新或重新启动)之前放弃或重新选举新的领导者。尽管如果发生这种情况,可能是由 4 个主要问题引起的(所有问题都会导致超时):

  1. 马拉松表现——当马拉松出现表现问题时,症状之一就是失去领导力。这是因为 Marathon 在给定的时间间隔内没有响应 Zookeeper,并被标记为消失。
  2. Marathon Zookeeper 连接问题 - 当网络延迟太高时(例如,Zookeeper 集群与 Marathon 位于不同的 DC),某些更新可能会超时。这将导致失去领导地位。
  3. Zookeeper 性能 - 当 Zookeeper 有太多工作要做时,某些请求会超时,从而导致 Marathon 失去领导地位。
  4. 马拉松因 DELETE/v2/leader 被迫放弃

要修复性能问题,请按照以下描述的步骤 here

  1. Shard your marathon.
  2. Monitor — enable metrics but remember to configure them.
  3. Update to 1.3.10 or later.
  4. Minimize Zookeeper communication latency and object size.
  5. Tune JVM — add more heap and CPUs :).
  6. Do not use the event bus — if you really need to, use filtered SSE, and accept it is asynchronous and events are delivered at most once.
  7. If you need task life cycle events, use a custom executor.
  8. Prefer batch deployments to many individual ones.