Skip to main content
 首页 » 编程设计

apache-zookeeper之Zookeeper 事务日志变得非常大

2024年02月27日17tuyile006

zookeeper 事务日志变得非常大(数千兆字节!) 并且集群的每台机器中始终存在一个或最多两个事务日志文件,因为知道可能存在多个快照! .. 引入 autopurge.purgeInterval 和 autopurge.snapRetainCount 有助于快照,但它对事务日志没有任何影响,因为这些日志文件的数量始终小于 snapRetainCount ! 有没有办法限制这些事务日志的大小?并且事务日志不应该被分成多个文件而不是一个大文件。 注意:我使用的是zookeeper-3.4.6

请您参考如下方法:

如果您使用 Apache Storm,那么您可以编写一个 cron 作业,根据您的容量在达到指定/限制大小时清除事务日志。

我也曾使用过 Storm,并且在 Zookeeper 进程过去主要由于 txlog 大小而下降时遇到了问题。

我写了一个 cron 作业来清除大型 txlogs

由于您将创建快照,因此您的拓扑将使用相同的配置旋转回来,并且在 Zookeeper 重新启动时将分配主管