数据监控

功能概述

Metrics数据监控平台提供一站式的数据可视化监控服务，实现数据的自动化采集及展示，帮助用户轻松了解底层平台运行情况，及时识别并处理异常。

数据监控平台由数据生成层Hyperchain、数据监控层Prometheus以及数据展示层Grafana三部组成。Hyperchain负责生成需要监控的数据并推送到Prometheus服务器中；Prometheus负责存储Hyperchian推送出来的数据，并对外提供读取接口；Grafana：负责从Prometheus服务器中读取数据，并在web上进行展示。

平台现已支持100+业务及系统层面的监控指标，指标开关灵活可配，具体可参考附录中的数据监控指标清单。

安装及初始化

为了能够完整的使用并展示数据监控的数据，除了需要应用层（即趣链区块链平台）适配并暴露一些监控数据之外，还需要下载并使用额外的两个组件：Prometheus（用于记录监控数据）以及Grafana（用于展示监控数据）。

安装Prometheus

Prometheus

Prometheus是一种时序数据库（TSDB, time-series database），用于记录平台推送出去的监控数据。

详细介绍请参考：https://prometheus.io/docs/introduction/overview/

安装下载请参考：https://prometheus.io/download/（建议安装最新版本）

Prometheus安装完成之后，需要配置好需要监听的区块链节点的地址与端口号，其配置文件默认为： prometheus.yml

node_exporter

如果用户希望监控系统资源的使用情况（例如CPU、磁盘、网络等），我们推荐使用Prometheus官方的工具node_exporter进行监控。

安装使用教程请参考：https://prometheus.io/docs/guides/node-exporter/

安装Grafana

Grafana是我们推荐使用的数据监控展示工具。

安装使用教程请参考：https://prometheus.io/docs/visualization/grafana/

相关配置

数据监控功能是可选的，即可以通过节点开关配置来决定节点是否启用数据监控，相关配置位于configuration/debug.toml中。

平台默认不开启数据监控功能， 如果您想启用该功能，请将下述配置复制到debug.toml中，并做好相应配置。

• metrics.enable：是否开启监控服务(true, false)；

• metrics.enable_expensive：是否开启资源消耗较大的监控服务，实际不建议开启，需谨慎选择；

• metrics.port：监控服务端口。

[metrics]
enable           = true
enable_expensive = false
# visit "http://127.0.0.1:'port'" to get metrics data
port             = 9001

参考教程

搭建简单的Linux服务监控：参考教程

数据指标

指标说明

数据指标按用途不同分为外部指标和内部指标；按对平台性能影响程度又分为normal级别与expensive级别。其中，normal级别的指标不影响平台的运行， expensive级别的指标打开后会降低平台整体的性能，因此需要用户谨慎选择开启。

有关于系统资源的使用情况，建议使用Prometheus官方推荐的node_exporter工具进行监控。

系统相关指标

所有指标以”flato_namespace”（“flato”为趣链区块链平台新版英文简称）为前缀，例如在global这namespace下所有下述指标都要加上前缀”flato_global”（“flato”为趣链区块链平台新版英文简称）。

名称	类型	级别	描述	备注
execMgr_commit_txs	counter	normal	此次启动后新增的交易数量	可以通过rate/irate命令计算出交易TPS
execMgr_total_blocks	gauge	normal	当前链高度	可以通过rate/irate命令计算出区块BPS
rbft_batch_to_commit_duration	histogram	normal	共识区块处理时间（rbft从打包到提交的时间）	由于主从节点间有时差，因此以主节点的数据为主
execMgr_validate_tx_time	histogram	expensive	单笔交易执行时间	交易级别的平均处理时间
execMgr_commit_time	histogram	normal	写入区块处理时间（写块时间，包括区块组成、写入等等）	区块级别的平均写入时间

共识相关指标

所有指标以”flato_namespace”（“flato”为趣链区块链平台新版英文简称）为前缀，例如在global这个Namespace下所有下述指标都要加上前缀”flato_global”（“flato”为趣链区块链平台新版英文简称）。

RBFT

名称	类型	级别	描述	备注
rbft_ID	gauge	normal	rbft节点ID
rbft_version	gauge	normal	rbft共识协议版本号
rbft_epoch	gauge	normal	rbft当前共识所处的epoch
rbft_view	gauge	normal	rbft当前共识所处的view
rbft_cluster_size	gauge	normal	rbft当前共识节点的个数
rbft_quorum_size	gauge	normal	rbft当前quorum大小
rbft_status_normal	gauge	normal	rbft是否处于normal状态on：1；off：0
rbft_status_conf_change	gauge	normal	rbft是否处于配置区块状态on：2；off：0
rbft_status_viewchange	gauge	normal	rbft是否处于vc状态on：3；off：0
rbft_status_recovery	gauge	normal	rbft是否处于recovery状态on：4；off：0
rbft_status_state_update	gauge	normal	rbft是否处于state update状态on：5；off：0
rbft_status_pool_full	gauge	normal	rbft是否处于pool full状态on：6；off：0
rbft_status_pending	gauge	normal	rbft是否处于pending状态on：7；off：0
rbft_committed_block_number	counter	normal	rbft提交的区块数
rbft_committed_config_block_number	counter	normal	rbft提交的配置区块数
rbft_committed_empty_block_number	counter	normal	rbft提交的空块数（由vc导致的）
rbft_committed_txs	counter	normal	rbft提交的交易个数
rbft_txs_per_block	histogram	normal	rbft提交的每个区块的交易个数
rbft_batch_persist_duration	histogram	normal	rbft从打包到提交的时间
rbft_batche_number	gauge	normal	rbft当前缓存的batch个数
rbft_outstanding_batche_number	gauge	normal	rbft当前正在共识的batch个数，无负载时=0
rbft_state_update_times	counter	normal	rbft触发的StateUpdate的次数
rbft_cache_batch_number	gauge	normal	rbft当前缓存的已打包但是不能共识的batch个数，仅主节点有该值无负载时=0
rbft_fetch_missing_txs_times	counter	normal	rbft向主节点索取缺失交易的次数
rbft_fetch_request_batch_times	counter	normal	rbft向其他节点索取batch的次数
txset_incoming_txs	counter	normal	txset模块接收到的来自API的交易（这里包括了NVP转发过来的）
txset_pending_txs	counter	normal	txset模块等待共识的交易个数
rbft_incoming_local_tx_sets	counter	normal	rbft接收到的本地生成的txSet的个数
rbft_incoming_remote_tx_sets	counter	normal	rbft接收到的其他VP节点转发过来的txSet的个数
rbft_incoming_local_txs	counter	normal	rbft接收到的来自API的交易（这里包括了NVP转发过来的）
rbft_incoming_remote_txs	counter	normal	rbft接收到的其他VP节点转发过来的交易
rbft_rejected_local_txs	counter	normal	rbft拒收的来自API的交易
rbft_rejected_remote_txs	counter	normal	rbft拒收的其他VP节点转发过来的交易

注意：

• 由于交易进入consensus模块之后需要经由txSet模块打包成一个set才能进入rbft模块，因此有txset_incoming_txs >= rbft_incoming_local_txs

txpool

名称	类型	级别	描述	备注
txpool_incoming_txs	counter	normal	txpool接收到的交易总数
txpool_duplicate_txs	counter	normal	txpool中检测到的重复交易
txpool_nonBatched_txs	gauge	normal	当前交易池中未打包的交易个数，无负载时=0
txpool_batched_txs	gauge	normal	当前交易池中已打包的交易个数
txpool_batches	gauge	normal	当前交易池中的batch个数，无负载时<20（共识缓存最多20个batch）有负载时从节点<50，主节点理论上无上限

注意：

• txpool接收的交易是经由rbft模块传递下来的，因此有

txpool_incoming_txs = rbft_incoming_local_txs + rbft_incoming_remote_txs - rbft_reject_txs

存储相关指标

名称	类型	级别	描述	备注
db_accountdb_batchCommitTime	histogram	normal	写入accountdb的返回时间
db_statedb_batchCommitTime	histogram	normal	写入statedb的返回时间
db_metadb_batchCommitTime	histogram	normal	写入metadb的返回时间
db_chaindb_batchCommitTime	histogram	normal	写入chaindb的返回时间
db_blockdb_batchCommitTime	histogram	normal	写入blockdb的返回时间
db_journaldb_batchCommitTime	histogram	normal	写入journaldb的返回时间
db_receiptdb_batchCommitTime	histogram	normal	写入receiptdb的返回时间
db_indexdb_batchCommitTime	histogram	normal	写入indexdb的返回时间
db_dbtype_multicache_memSize	gauge	normal	多级缓存内存占用大小
db_dbtype_multicache_persist_time	histogram	normal	多级缓存持久化一个区块数据至底层数据库所需时间
db_dbtype_multicache_walPersist_time	histogram	normal	多级缓存写一个seqNo对应的wal的耗时
db_dbtype_multicache_cache_get	gauge	normal	multicache尝试从自身的读缓存中读取数据的次数
db_dbtype_multicache_cache_set	gauge	normal	multicache向自身的读缓存中插入数据的次数
db_dbtype_multicache_cache_hit	gauge	normal	multicache缓存命中的次数
db_dbtype_leveldb_compaction_occurrence	gauge	normal	底层leveldb compaction的次数
db_dbtype_leveldb_size	gauge	normal	底层leveldb的数据量大小
db_dbtype_filelog_fdNumber	gauge	normal	filelog中处于open状态的句柄数
db_dbtype_filelog_readTime	histogram	expensive	filelog读取一个元素的耗时
db_dbtype_filelog_fsyncTime	histogram	normal	filelog在一个log文件写完后，做一次fsync的耗时

执行相关指标

名称	类型	级别	描述	备注
bloomFilter_memSize	gauge	normal	布隆过滤器占用的内存大小
bloomFilter_lookCounter	counter	normal	布隆过滤器查询次数	有「source」标签说明调用查询的模块，分为“namespace表示共识去重”、“executor表示执行层去重”、“API表示接口层去重”
bloomFilter_lookExistCounter	counter	normal	布隆过滤器中，查询到存在的交易数量，即会穿透布隆过滤器进行db查询的次数	有「source」标签说明调用查询的模块，分为“namespace表示共识去重”、“executor表示执行层去重”、“API表示接口层去重”
execMgr_validate_bloom_readValidDBTime	histogram	normal	布隆过滤器发现交易可能重复后，查询合法交易的时间
execMgr_validate_bloom_readInvalidDBTime	histogram	normal	布隆过滤器发现交易可能重复后，查询非法交易的时间（会先查询合法交易，再查询非法交易，查询次数可能比合法交易少一些）
execMgr_validate_tx_time	histogram	expensive	单笔交易执行时间
execMgr_total_blocks	gauge	normal	当前链高度
execMgr_total_txs	gauge	normal	区块链所有交易总量
execMgr_online_txs	gauge	normal	区块链归档点后所有交易总量
execMgr_commit_txs	counter	normal	此次启动后新增的交易数量
execMgr_commit_time	histogram	normal	写块时间，包括区块组成、写入等等
execMgr_commit_writeDB_time	histogram	normal	区块batch写入数据库的时间

网络相关指标

P2P

名称	类型	级别	描述	备注
grpc_stream_request_send_total	counter	normal	grpc发送的流请求数目
grpc_stream_request_received_total	counter	normal	grpc收到的流请求数目
grpc_stream_request_completed_total	counter	normal	grpc完成的流请求的数目
grpc_stream_message_send_total	counter	normal	grpc发送的流消息的数目
grpc_stream_message_recv_total	counter	normal	grpc收到的流消息的数目
grpc_conn_opened_total	counter	normal	grpc连接打开数目。打开数目减去关闭数目便是目前活跃的连接数。
grpc_conn_closed_total	counter	normal	grpc连接关闭数目。打开数目减去关闭数目便是目前活跃的连接数。
grpc_stream_opened_total	counter	normal	grpc流打开数目。打开数目减去关闭数目便是目前活跃的流数。
grpc_stream_closed_total	counter	normal	grpc流关闭数目。打开数目减去关闭数目便是目前活跃的流数。
msg_dropped_count_total	counter	normal	某个节点在某个message channel弃的消息的数目
grpc_stream_message_send_time_microseconds	histogram	expensive	grpc发送一条消息所需要的时间
logic_conn_opened_count_total	counter	normal	逻辑连接打开数目。打开数目减去关闭数目便是目前活跃的连接数。
logic_conn_closed_count_total	counter	normal	逻辑连接关闭数目。打开数目减去关闭数目便是目前活跃的连接数。
grpc_network_receive_bytes_total	counter	normal	grpc网络接收到的消息大小总量
grpc_network_send_bytes_total	counter	normal	grpc网络发送的消息大小总量

消息分发

名称	类型	级别	描述	备注
dispatcher_%s_writeMsg_ch_size_usage	gauge	normal	消息分发器发送消息通道对应节点的模块消息数量
dispatcher_%s_writeMsg_ch_mem_usage	gauge	normal	消息分发器发送消息通道对应节点的模块消息占用内存的大小
dispatcher_%s_readMsg_ch_size_usage	gauge	normal	消息分发器接收消息通道对应节点的模块消息数量
dispatcher_%s_readMsg_ch_mem_usage	gauge	normal	消息分发器接收消息通道对应节点的模块消息占用内存的大小

API相关指标

名称	类型	级别	描述
jsonrpc_request_received_total	counter	normal	接收的jsonrpc请求个数
jsonrpc_new_tx_request_success_total	counter	normal	成功处理的发送交易相关请求的个数
jsonrpc_new_tx_request_error_total	counter	normal	发送交易相关请求处理失败，不同失败原因的请求个数
jsonrpc_received_request_bytes_total	counter	normal	请求总流量统计单位byte
jsonrpc_sent_response_bytes_total	counter	normal	响应总流量统计单位byte
jsonrpc_new_tx_request_consensus_abnormal_error_total	counter	normal	由于共识状态异常原因导致请求失败的个数

密码相关指标

名称	类型	级别	描述	备注
verify_tube_signature_in_total	counter	normal	输入验签管道的总签名数
verify_tube_signature_out_total	counter	normal	输出验签管道的总签名数
vt_liner_duration_cycle	Histogram	normal	完成批量验证两段子操作的时间
vt_logic_duration_cycle	Histogram	normal	验签中每段操作的时间
vt_hash_duration_cycle	Histogram	normal	完成哈希的时间
verify_tube_batch_size	Gauge	normal	每批次的签名数量
crypto_verify_channel_length	Gauge	normal	每个阶段的缓冲池大小

Go相关指标

名称	类型	级别	描述	备注
go_goroutines	gauge	normal
go_threads	gauge	normal
go_gc_duration_seconds	summary	normal
go_info	gauge	normal
alloc_bytes	gauge	normal
alloc_bytes_total	counter	normal
sys_bytes	gauge	normal
lookups_total	counter	normal
mallocs_total	counter	normal
frees_total	counter	normal
heap_alloc_bytes	gauge	normal
heap_sys_bytes	gauge	normal
heap_idle_bytes	gauge	normal
heap_inuse_bytes	gauge	normal
heap_released_bytes	gauge	normal
heap_objects	gauge	normal
stack_inuse_bytes	gauge	normal
stack_sys_bytes	gauge	normal
mspan_inuse_bytes	gauge	normal
mspan_sys_bytes	gauge	normal
mcache_inuse_bytes	gauge	normal
mcache_sys_bytes	gauge	normal
buck_hash_sys_bytes	gauge	normal
gc_sys_bytes	gauge	normal
other_sys_bytes	gauge	normal
next_gc_bytes	gauge	normal
last_gc_time_seconds	gauge	normal
gc_cpu_fraction	gauge	normal