Skip to main content
 首页 » 编程设计

Python读写时序数据库InfluxDb

2022年07月19日228Free-Thinker

InfluxDb 简介

InfluxDb 是高性能的时间序列数据库,能够存取高吞吐量时间序列数据,每秒可达几百万数据点。数据点(或时间序列数据)可能是CPU运行指标、不同服务器的日志信息、传感器数据、股票市场数据等。

  • InfluxDb 使用Go语言开发,无需外部依赖。

  • InfluxDb 提供了类SQL接口查询数据。

  • 自动压缩数据和降低采样率有助于最大限度地减少存储空间。

  • 通过连续查询和数据保留策略,可以让数据库中的旧数据过期。

InfluxDb Schema

  • InfluxDb 存储数据为数据点。
  • 每个数据点以行协议格式存储在数据库中
  • 在InfluxDb的行协议中,没行或记录称为时间序列点,与关系型数据库的行概念对应。
  • 每行以度量名称开头,度量与关系型数据库的表对应
  • 接着度量名称后面的是标签和字段。标签是索引,字段不是索引。
  • 每种度量都存在数据库中,数据库通过InfluxDb控制台创建。
  • InfluxDb的schema是灵活的,字段和标签直接通过数据一起添加,意味着数据点之间字段或标签可能不同,随着数据文件增长,新的字段可能被加在时间序列的数据点上(记录或行)。

行协议语法

weather,location=us-midwest temperature=82 1465839830100400200 
  |    -------------------- --------------  | 
  |             |             |             | 
  |             |             |             | 
+-----------+--------+-+---------+-+---------+ 
|measurement|,tag_set| |field_set| |timestamp| 
+-----------+--------+-+---------+-+---------+ 

特别需要说明的是:使用空白字符分割标签集、字段集和时间戳。多个标签或字段使用逗号分割。

下面示例度量名称为weather,包括两个标签location和season

weather,location=us-midwest,season=summer temperature=82 1465839830100400200 

再看一个示例,除了标签,还包括两个字段:temperature和bug_concentration

weather,location=us-midwest temperature=82,bug_concentration=98 1465839830100400200 

最后就是时间戳是可选的,缺省则使用服务端的时间戳。

weather,location=us-midwest temperature=82 

Python读写InfluxDb

使用Python访问InfluxDb,需要使用Python客户端库:influxdb-python。安装命令为:

$ pip install influxdb

连接数据库需要提供下面信息:

  • 数据库的IP地址或主机名称、端口号
  • 用户名和密码
  • 数据库名称

主要使用InfluxDBClient对象的query和write_points方法读写数据。

建立连接

连接本地数据库:

client = InfluxDBClient(host='localhost', port=8086) 
 

连接远程数据库:

client = InfluxDBClient(host='mydomain.com', port=8086, username='myuser', password='mypass' ssl=True, verify_ssl=True) 

创建数据库:

client.create_database('pyexample') 
 
# 查看数据库 
client.get_list_database() 
# [{'name': 'telegraf'}, {'name': '_internal'}, {'name': 'pyexample'}] 
# telegraf 、_internal 是内置数据库 
 
# 切换数据库 
client.switch_database('pyexample') 

插入数据

# 定义待插入的数据 
json_body = [ 
    { 
        "measurement": "brushEvents", 
        "tags": { 
            "user": "Carol", 
            "brushId": "6c89f539-71c6-490d-a28d-6c5d84c0ee2f" 
        }, 
        "time": "2018-03-28T8:01:00Z", 
        "fields": { 
            "duration": 127 
        } 
    }, 
    { 
        "measurement": "brushEvents", 
        "tags": { 
            "user": "Carol", 
            "brushId": "6c89f539-71c6-490d-a28d-6c5d84c0ee2f" 
        }, 
        "time": "2018-03-29T8:04:00Z", 
        "fields": { 
            "duration": 132 
        } 
    }, 
    { 
        "measurement": "brushEvents", 
        "tags": { 
            "user": "Carol", 
            "brushId": "6c89f539-71c6-490d-a28d-6c5d84c0ee2f" 
        }, 
        "time": "2018-03-30T8:02:00Z", 
        "fields": { 
            "duration": 129 
        } 
    } 
] 
 
# 执行插入操作,执行成果返回True 
client.write_points(json_body) 

查询数据

前面已经插入了几条数据,下面我们演示查询。

records = client.query('SELECT duration FROM brushEvents WHERE time > now() - 4d GROUP BY user') 
print(records) 
 

本文参考链接:https://blog.csdn.net/neweastsun/article/details/125228155