日志服务数据加工：规则洞察仪表盘 解析

作者：唐恺

数据加工诊断仪表盘

日志服务加工功能的运行状态可以通过该仪表盘进行查看，入口是加工列表页的“规则洞察”按钮：

点击改按钮跳转到仪表盘后，可以分别按照作业名称、实例ID、源LogStore筛选其它任务状态。例如下图是默认查看当前实例ID（90c9d47714dbb807d47c13b819d3e7df）的作业：

注：预览任务的状态数据不计入本报表。

总览指标

读日志数总计：从源LogStore各shard读取到的日志条数总计投递日志数总计：从源LogStore各shard读取到日志并成功投递到目标LogStore的日志条数总计失败日志数总计：从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数总计投递日志数占比：成功投递到目标LogStore的日志条数占源LogStore读取到日志条数的比例

加工速率指标

统计每分钟窗口内，数据加工处理的日志条数，包括四条指标：

accept：从源LogStore读到的日志条数dropped：从源LogStore读到并按代码预期丢弃的日志条数delivered：从源LogStore读到并成功投递目标LogStore的日志条数failed：从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数

消费延迟与速率指标

统计每分钟窗口内，加工任务读取源LogStore时每个Shard指标：

消费延迟：当前时间 - 该Shard最近的已完成日志时间（日志写入日志服务时间，也级Server Arrived Time）消费速率：Shard在该分钟窗口内每秒钟读取到的日志条数

注：处理实时（最新）日志时消费延迟一般是1s左右；如果处理的是历史时间范围的日志数据，在任务开始的阶段消费延迟可能会很高，并随这数据加工的进行，消费进度不断追赶最终达到低延迟水平。

活跃Shard指标

展示最近一段时间内发生的，Shard级别每秒处理的日志行数（accept、dropped、delivered、failed）。

异常详情

您可以根据reason字段，查看可能导致出错的代码问题。你还可以深入到当前Project下的internal-etl-log LogStore（免费提供使用）：

通过关键词ERROR或者WARNING查看完整的代码执行错误日志。

如果问题仍无法解决，可以提供该部分信息联系日志服务进行支持。

进一步参考

日志服务最佳实践汇总(持续更新)完整DSL语法介绍与参考PDF下载(持续更新)

数据加工指南

介绍:

功能概述概念原理

快速开始:

快速开始（SLB日志加工实战）控制台操作源与目标访问秘钥配置作业诊断指南性能指南成本优化指南

语法:

DSL语法介绍查询字符串语法JMES语法介绍

管理配置:

子账号授权配置

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持: