DataWorks Data Agent 实战课（八）：搭建数据质量巡检服务

作者：袖梨 2026-09-11

数据质量保障并不只是配置几条校验规则：未纳入坚控的任务可能悄然产生异常，核心表逐项补齐规则又成本较高，而告警发生后的根因排查还要跨越任务与表血缘。下面将结合 DataWorks Data Agent 的三个实际场景，展示风险发现、坚控补齐和失败诊断如何形成连续的治理流程。

一、课程简介

数据质量建设通常面临三种不同的保障诉求：

对于尚未配置或暂不计划配置数据质量坚控的任务，希望以较低成本发现明显的数据质量风险。
对于需要重点保障的核心表，希望提升数据质量坚控覆盖率，但逐表、逐字段配置规则的成本较高。
对于已经配置坚控的表，希望在坚控校验失败后，快速定位异常来源。

DataWorks 数据质量巡检服务针对上述诉求提供三类能力：

免配置风险兜底：扫描调度实例及其产出数据，在未配置数据质量坚控的情况下，发现行数异常等疑似数据质量风险。
核心表主动坚控：识别缺失数据质量坚控的核心表，并结合表的元数据、业务含义、生产任务和上下游血缘，推荐并配置数据质量坚控。
坚控失败自动诊断：关联坚控运行记录、异常分区、数据生产任务和上下游表，收集诊断证据并定位异常来源。

前两类能力是可以独立使用、也可以组合使用的并行保障手段。对于暂不配置坚控的任务，可以通过风险巡检提供兜底保障；对于核心业务表，可以通过全量配置数据质量坚控提升主动保障能力。已经配置的坚控出现校验失败后，再由问题诊断能力继续定位根因。

本课程通过三个已经完成真实运行验证的演示用例，分别展示免配置风险兜底、核心表主动坚控和坚控失败自动诊断三类能力。

? 完成本课程后，你将能够

使用“调度实例数据质量风险巡检”发现未配置坚控任务的产出数据风险。
使用“核心表缺失数据质量坚控巡检”识别坚控缺口，并为业务表生成规则建议。
使用“数据质量坚控未通过巡检”从失败记录出发定位异常来源。
理解数据质量能力如何在巡检服务、运维中心、数据开发和数据质量产品页面复用。
正确理解自动发现、自动配置和自动诊断的能力边界。

? 适用人群

数据开发工程师
数据质量管理员
数据平台运维和值班人员
负责数据治理建设的项目负责人

二、课前准备

准备一个可进行数据开发、任务运行和数据质量配置的 DataWorks 工作空间。
确认演示账号具有查看调度实例、表血缘、数据质量坚控及巡检事件的权限。
按本文三个用例准备演示表、调度节点、历史分区和异常分区。
为第三个用例提前配置数据质量坚控，并生成一条真实的未通过运行记录。
演示前检查三个巡检任务已经启用，且扫描范围包含演示工作空间和对应时间窗口。

操作约定

演示时先讲清楚业务问题，再展示巡检配置和结果。
涉及新建数据质量坚控时，先展示推荐规则、坚控范围和关联任务，再确认创建。
诊断结论必须能够回到真实的坚控记录、任务实例、表分区或行数证据，不能只展示一段无来源的总结。
数据准备节点只用于构造演示数据，不作为周期任务发布。

三、实战路线图

实战任务	演示前状态	核心动作	预期结果
调度实例数据质量风险巡检	两个结果表均未配置数据质量坚控	扫描实例产出及历史数据特征	识别结果表行数异常上升和中间表行数异常下降，并生成风险事件
核心表缺失数据质量坚控巡检	核心结果表没有坚控	基于表、字段和血缘推荐规则	为支付订单宽表生成多类型规则并完成坚控配置
数据质量坚控未通过巡检	最终结果表的坚控运行未通过	沿任务和表血缘自动诊断	定位到门店渠道源表数据量异常下降

实操一：调度实例数据质量风险巡检

场景目标

展示调度任务尚未配置数据质量坚控时，巡检任务仍可以扫描调度实例及其产出数据，从历史行数变化中发现疑似数据质量风险。

本次演示准备了两个实际命中的案例，分别展示表行数异常上升和异常下降两种风险。

案例一：订单客户明细表行数异常上升

演示任务“订单客户明细日加工”使用固定 SQL，将订单事实表 ods_trade_order_di 与买家画像表 dim_buyer_profile_di 进行关联，并写入 dwd_trade_order_enriched_di。

20260801—20260806：订单表和画像表的关联键保持唯一，结果表每天稳定产出 1,000 行。
20260807：订单表仍为 1,000 行，画像表中有 500 个 buyer_id 出现重复。
调度 SQL 保持不变，但 INNER JOIN 结果由 1,000 行上升到 1,500 行，增幅为 50%。
结果表 dwd_trade_order_enriched_di 没有配置数据质量坚控，调度实例数据质量风险巡检识别出行数异常上升并生成事件。

案例二：支付订单归集中间表行数异常下降

“支付订单多渠道归集”将 APP、门店和合作方三I张渠道订单表合并后，写入中间表 ai_dq_demo.dwd_payment_order_all_di。该中间表没有配置数据质量坚控，因此也被纳入调度实例数据质量风险巡检范围。

20260811—20260817：三个渠道每天各产出 10,000 行，中间表每天稳定为 30,000 行。
20260818：APP 和合作方渠道仍为 10,000 行，门店渠道下降到 400 行。
中间表 ai_dq_demo.dwd_payment_order_all_di/dt=20260818 从 30,000 行下降到 20,400 行，降幅为 32%。
巡检任务识别出该表的明显行数下降，并生成数据质量风险事件。

操作步骤

在巡检服务中创建“调度实例数据质量风险巡检”，选择演示工作空间和需要扫描的调度实例范围。
配置运行周期和扫描时间窗口，确保覆盖两个案例对应的调度实例。
运行巡检任务，等待实例采集、数据风险分析和巡检事件生成完成。
打开巡检事件列表，分别查看订单客户明细表行数上升事件和支付订单归集中间表行数下降事件。
进入事件详情，核对异常实例、结果表、业务分区、当前行数和历史行数。

功能演示

配置入口
dwd_trade_order_enriched_di/dt=20260807、当前行数 1,500 和历史稳定值 1,000
ai_dq_demo.dwd_payment_order_all_di/dt=20260818、当前行数 20,400 和历史稳定值 30,000。

重点观察

两个被巡检的结果表都没有配置数据质量坚控，风险来自调度实例的真实产出数据。
巡检既能够识别由关联关系变化导致的结果表行数异常上升，也能够识别上游数据减少导致的中间表行数异常下降。
两个业务节点的处理 SQL 都保持不变，风险来自输入数据特征变化，而不是代码中预设的异常分支。
事件详情能够展示异常对象、当前行数和历史参考值，为用户后续排查提供线索。

完成标准

巡检任务生成 dwd_trade_order_enriched_di/dt=20260807 的行数异常上升事件，当前行数为 1,500，历史稳定值为 1,000。
巡检任务生成 ai_dq_demo.dwd_payment_order_all_di/dt=20260818 的行数异常下降事件，当前行数为 20,400，历史稳定值为 30,000。
两条事件均能关联到正确的调度实例、生产任务、结果表和业务分区。

实操二：核心表缺失数据质量坚控巡检

场景目标

展示巡检任务如何从任务血缘中识别尚未配置坚控的核心表，并结合表层级、分区方式、字段名称与类型、生产任务及业务语境，生成可解释的数据质量规则建议。

示例任务与表结构

周期节点“支付订单宽表日加工”从 ods_payment_order_wide_source_di 读取支付订单数据，完成状态和邮箱等字段标准化后写入核心明细表 dwd_payment_order_wide_di。演示开始前，目标表没有配置任何数据质量坚控。

目标表包含订单标识、买家标识、支付渠道、订单状态、支付金额、商品数量、折扣率、支付时间、手机号、邮箱、身分证号和业务日期等字段。丰富的字段语义用于展示规则推荐不只覆盖表行数，还能覆盖多种字段质量问题。

本用例共生成 15 条推荐规则，覆盖以下类型：

表级规则：分区行数、行数波动、近 7 日波动、表大小波动。
标识字段：订单 ID、买家 ID 非空。
数值字段：支付金额、商品数量、折扣率的合理范围及金额均值波动。
格式字段：支付时间、手机号、邮箱和身分证号格式。

操作步骤

创建“核心表缺失数据质量坚控巡检”，选择演示工作空间和需要分析的任务或表范围。
运行巡检任务，查看从血缘中识别出的未配置坚控核心表。
打开 dwd_payment_order_wide_di 的巡检结果，逐项查看推荐字段、规则类型和推荐原因。
核对坚控分区、关联生产任务、规则阈值和告警范围，根据业务需要调整建议。
确认创建数据质量坚控，并回到数据质量产品页面检查坚控对象和规则是否完整落地。

关键演示

配置并开始巡检任务
发现缺失坚控并自动配置

重点观察

巡检先识别“哪些表值得配置坚控”，再为具体表生成规则建议。
推荐结果同时覆盖表级和字段级规则，并说明规则与字段业务含义之间的关系。
自动推荐用于降低配置成本，业务阈值和最终创建范围仍应由用户确认。

完成标准

巡检结果正确识别 dwd_payment_order_wide_di 的坚控缺口。
推荐规则覆盖表行数、波动、非空、数值边界和格式校验等多种类型。
用户确认后，数据质量产品页可以查看到完整的坚控配置。

实操三：数据质量坚控问题根因诊断

场景目标

展示数据质量坚控校验失败后，巡检任务如何关联异常分区和生产任务，沿任务上下游血缘收集诊断证据，并将问题定位到具体的上游数据来源。

示例任务与具体问题

在 20260818，门店渠道订单表 ods_payment_store_order_di 的数据量异常下降，导致最终结果表 ads_payment_order_daily_di 的数据量陡降，并触发表行数 1 天波动率规则告警。

20260811—20260817：三个渠道每天各 10,000 行，日报稳定为 30,000 行。
20260818：APP 和合作方渠道仍为 10,000 行，门店渠道从 10,000 行下降到 400 行，降幅 96%。
最终日报由 30,000 行下降到 20,400 行，日环比为 -32%，超出允许的 ±10% 范围，因此坚控运行未通过。

操作步骤

打开 ads_payment_order_daily_di 的数据质量坚控，确认 20260818 分区的“表行数 1 天波动率”运行记录未通过。
运行“数据质量坚控未通过巡检”，扫描演示工作空间内的失败运行记录。
打开生成的巡检事件，查看失败规则、异常分区、生产任务和诊断结论。
沿诊断证据逐层核对 ads、dws、dwd 和三个 ODS 来源的行数变化。
确认异常最终定位到 ods_payment_store_order_di/dt=20260818，并查看建议的排查和修复方向。

关键演示

巡检任务配置
校验未通过的巡检记录列表
未通过原因的根因诊断

重点观察

巡检从真实的未通过运行记录出发，不需要用户手工提供整条任务链路。
诊断过程能够区分三个渠道的变化，避免把“日报下降”误判为所有上游同时异常。
结论同时包含异常事实、根因对象、证据链和建议动作，便于值班人员继续处置。

完成标准

巡检事件正确关联 ads_payment_order_daily_di/dt=20260818 的失败坚控记录。
诊断结论定位到 ods_payment_store_order_di 数据量异常下降，而不是 APP 或合作方渠道。
事件中的行数证据与 30,000 → 20,400、10,000 → 400 的演示数据一致。

四、同一能力如何进入更多 Data Agent 场景

以上三个巡检任务使用的并不是巡检服务独有的封闭能力。为表配置数据质量坚控、查询坚控运行记录、关联任务与表血缘、诊断数据质量问题等能力，都可以通过 Data Agent 在不同产品场景中复用。

产品入口	用户要解决的问题	复用的核心能力	典型结果
数据质量巡检服务	周期发现风险、坚控缺口和失败记录	风险扫描、规则推荐、坚控配置、问题诊断	巡检事件和详情报告
运维中心调度实例问题诊断	调度实例为什么异常或阻塞	实例诊断、坚控记录关联、上下游证据分析	识别由数据质量坚控未通过导致的阻塞原因
数据开发 Agent	当前调度节点应该配置哪些坚控	解析节点产出表、识别关键字段、生成坚控建议	为调度节点输出表配置数据质量坚控
数据质量产品页	多张表如何批量补齐坚控	未配置坚控表筛选、批量规则推荐与配置	批量生成并创建坚控对象
数据质量校验详情页	当前失败记录的异常来源是什么	失败记录读取、血缘分析、证据收集和原因诊断	在校验详情中直接查看诊断结论