挖掘元数据隐藏价值，正则自动化激活数据资产新动能

在数据驱动决策的时代，企业的数据资产规模呈指数级增长。面对这些海量的数据，一系列关键问题亟待解决：各数据字段到底代表什么含义？数据安全等级多少？数据分类是什么？是否涉密？归属哪个业务部门？若这些问题不明确，业务部门将陷入不知如何用、不敢轻易用的困境，最终导致数据从宝贵的 “资产” 沦为沉重的 “负债”。

数据要真正发挥价值，前提是能够被理解和运用。因此，解决元数据信息缺失问题迫在眉睫。如今，元数据治理已成为企业的核心基建，大部分企业都已认识到元数据治理的重要性，并持续投入其中。

但是，面对大量存量元数据的治理压力，以及增量元数据的生成，人工治理成本越来越高，必须考虑如何实现高效、快捷、自动化地进行批量元数据治理。

点击链接，免费试用同款产品⬇️

https://sf.163.com/product/bp?channel=yszu_SELF_INFO_M_baijiahao_easydatatuiguang

为了解决上述问题，网易大数据平台的元数据管理模块提供了基于正则的自动化批量治理元数据的功能。其核心能力是根据数据特征或者业务规则来制定相关的正则表达式，通过系统自动或人工手动圈一批元数据并触发检测机制，将符合正则表达式的元数据自动批量打上相关属性标签，且系统提供元数据检测任务历史记录和打标结果明细。

图 1 整体流程图

点此咨询同款解决方案

>>https://sf.163.com/product/bp?channel=yszu_SELF_INFO_M_baijiahao_easydatatuiguang

1、配置规则

在配置管理模块中，配置元数据自动填充规则，可对字段备注、字段名称等设置正则表达式，满足正则时则系统自动将某些元数据属性打上对应的属性值。例如：当“字段物理名称”带有“_phone”时，则字段“是否信息涉密”属性设置为“是”。

2、触发执行

元数据正则规则配置完成后，可以选择在采集元数据后自动触发元数据批量检测，或者人工按需对元数据发起批量检测。

3、查看执行结果

不论是自动还是手工发起的元数据批量检测，都支持查看检测任务的执行情况以及元数据属性填充结果。结果中可详细查看所有命中正则规则的元数据的哪些属性项被打上了哪些属性值。

在元数据填充规则页面，管理员或者已授权人员可设置元数据字段属性批量填充的正则规则，可对字段备注、字段名称等信息设置正则表达式，符合正则条件时可灵活地对字段某些属性自动设置相应的属性值。

正则规则配置完成后，支持自动和手动触发元数据批量检测2种方式，分别如下：

在元数据采集任务配置中勾选如图所示的选项，则表示系统采集完成元数据后自动对已采集的元数据发起检测，一旦符合正则条件则自动对元数据打上相应属性值。

用户可按需在元数据列表中批量勾选需要检测的元数据，手工发起元数据属性自动填充的检测。

点此咨询同款解决方案

>>https://sf.163.com/product/bp?channel=yszu_SELF_INFO_M_baijiahao_easydatatuiguang

元数据检测任务启动后，可在执行记录列表中查看任务状态、发起人、起止时间、执行结果等信息。

点击某个任务的“查看结果”按钮，弹出页面会展示本次检测命中正则表达式的元数据记录，及其字段属性填充结果。

以上就是基于正则的元数据批量自动化治理的简单案例。通过该方式可将一些通用场景的字段属性进行批量治理，解决人工对海量表字段手工一个个治理的问题。

但在实际业务场景中，元数据治理内容会更加复杂多变，元数据治理这道数字化转型的“地基工程”未来还有很多路要走，需要持续精耕。

点此咨询同款解决方案

>>https://sf.163.com/product/bp?channel=yszu_SELF_INFO_M_baijiahao_easydatatuiguang