本文描述Elasticsearch的错误使用场景——作为key-value数据存储。
问题描述
关系型数据库有严格的schema,每个独立业务需要分别按表进行存储。有时为了检索或统计方便,我们会把数据汇聚至Elasticsearch单个索引中,利用动态mapping技术,定义主要字段,从而实现灵活检索和统计分析类应用。但是当汇聚各类表时会造成Elasticsearch中索引的字段数量不受控制。当mapping不断扩展时,每个分片及索引会占用大量内存资源。
正确姿势
因为Elasticsearch索引缺省字段数量限制为1024,因此需要控制mapping增长。
首先需要规划Elasticsearch的应用,如果用于检索和常规统计,则应该存储需要检索和统的字段,于此无关的字段可以不在Elasticsearch中存储,从而避免了字段不受控制增长。
对于分析类应用,结合应用场景汇聚数值型、日期型、keyword等类型,确保汇聚字段能够相对固定,不至于超出最大限制。
必要时可以使用_all
和_source
两个字段。这两个字段应用场景不同,分别存储在lucene索引中的不同位置。_all字段变成了我们所说的倒排索引的一部分,用来索引文本并能够对它执行全文搜索,而_source字段只是作为lucene文档的一部分存储,用于返回结果。
总结
本文结合应用场景介绍如何正确使用Elasticsearch,避免把ES作为key-value数据库使用。
本文参考链接:https://blog.csdn.net/neweastsun/article/details/114175970