网易首页 > 网易号 > 正文 申请入驻

指标工厂赋能数据资产,实现标准化管理与高效利用

0
分享至



一、行业趋势和背景

数据资产的重要性体现在多个方面,它不仅是企业决策制定的基础,也是优化业务流程、提升竞争力的关键。然而由于历史原因和管理问题,许多企业的数据资产往往分散在各个部门或系统中,形成了“数据孤岛”,例如:指标计算口径不一致,数据质量不高等问题。这种分散状态不仅影响了数据的利用效率,还增加了数据管理的复杂性。

因此,数据指标资产在企业运营和发展中发挥着至关重要的作用。因此,企业高度重视数据指标资产的管理和利用,不断提升数据质量和分析能力,以充分发挥数据指标资产的价值。

二、需求——模型标准化、规范化、统一化建设;指标资产的标准化管理

1. 数据模型资产在数据管理和应用中扮演着至关重要的角色,但也存在一些问题和挑战。

· 数据模型的复杂性和一致性:模型的设计往往涉及多个业务领域和复杂的逻辑关系,由于数据模型由不同的团队或部门设计,存在不一致性和重复建设,影响数据的整合和分析。

· 业务需求变化:业务需求是不断变化的,而数据模型的设计往往基于特定的业务需求。当业务需求发生变化时,数据模型的设计往往不够灵活,跟不上业务需求的变化。

· 模型资产管理的意识:缺乏对数据模型资产的管理意识,导致数据模型的设计、维护和利用存在不足。另外,数据模型开发过程中缺乏统一的数据模型规划和管理,导致模型的重复建设和数据质量问题。

2. 指标资产在业务层面拉通困难,开发和维护困难。

· 指标定义不清晰、指标计算逻辑不明确:各部分对指标的定义可能存在差异,导致指标在跨部门使用时出现理解上的偏差。

· 指标开发和维护成本高:指标定义不清晰或逻辑不明确,在开发时需反复沟通和修改,增加了开发成本;另外,由于指标的开发和维护缺乏统一的标准和规范,在修改和调整时,导致调整和优化无法及时跟进。

· 管理和治理问题:指标的管理缺乏统一的标准和流程,导致指标的开发、维护和应用混乱,一些指标被开发后快速被废弃;指标的质量也缺乏有效的监控和评估机制,导致指标的质量和准确性难以保证。

三、产品解决方案

基于DataSimba内置的指标工厂(SimbaMetric)模块,可解决上文提到的模型资产和指标资产的管理难题。

SimbaMetric也称作“指标工厂”,它是基于业界通用的维度建模和指标体系,内置MIM(Metric Index-Model)方法论,支持企业构建唯一性、标准化、规范化的指标体系和数据模型。指标工厂具备数仓规划、数据标准、指标管理、数据建模等功能,将无序、杂乱、繁琐、庞大且难以管理的数据,进行有序的结构化管理,达到指标统一、工程规范、数据易用的效果,使数据资产化。

企业数据资产化建设工作步骤如下:



1. 数仓规划

数仓规划旨在构建一个集中、整合、易于分析的数据环境,通过分层架构、明确的数据域划分、对业务过程的深入理解和主题域的聚焦,来提升数据价值,支撑企业智能化决策。

· 数仓分层:可以根据企业的自身情况自定义分层,也可以使用默认分层方案。

· 业务过程:深入分析和识别业务操作的核心流程,如订单处理、客户服务、市场营销等,确保数仓设计能准确反映并支持这些关键业务过程的监控和分析。

· 数据域:将数据按照业务相关性划分为多个领域,如客户域、产品域、销售域等,每个域内包含该领域下的所有数据实体和属性,便于数据管理和跨域数据整合。

· 主题域:围绕特定分析主题(如销售分析、客户行为分析、供应链管理)组织数据,每个主题域聚焦于一类分析需求,确保数据模型的设计贴合实际分析场景。

完成规划设计后,数据开发工程师在建模过程中可以依赖数仓规划中的数仓分层、表名定义、数据域、业务过程等对所建模型进行分层化域的管理,以解决数据模型资产的一致性、维护困难等问题。

2、数标准

数据标准不仅涵盖了度量单位的统一、词根的一致使用,还深入到了数据标准本身的业务定义、标准值的管理等多个层面。通过这些规范约束,从根本上提升数据质量,确保数据在产生、存储、处理及应用的整个生命周期中保持高度的一致性和准确性。

· 度量单位统一:确保所有相关数据使用相同的度量单位,比如时间统一使用UTC时间,货币统一为美元或本位币,避免因单位不一致导致的计算错误或误解。

· 词根一致性:在命名规范中采用一致的词根,比如使用“customer”而非“cust”或“usr”,增强数据元素的可读性和可理解性,便于跨部门间的沟通与协作。

· 数据定义清晰:为每一个数据元素提供明确且统一的定义,包括其业务含义、数据类型、取值范围等,减少歧义,确保数据被正确理解和使用。

· 标准值管理:建立和维护一套标准值体系,比如状态码、地区代码等,确保相同意义的值在全系统中保持一致,便于数据集成和分析。

· 数据质量规则:定义数据质量检查规则,如必填项检查、数据范围检查、唯一性验证等,自动或定期执行数据质量检查,及时发现并纠正数据质量问题。

· 数据管理:建立完善的元数据管理体系,记录数据来源、变换过程、数据质量评估结果等,增强数据的可追溯性和透明度。

通过从源头上保障数据的标准化生产,可以显著降低后续数据应用和处理的成本。

3、指标体系

· 指标的梳理和定义:对指标进行清晰的定义,我们建议维护其核心属性至平台,包含业务含义、计算口径、数据来源、业务责任人等,确保不同部门、不同人员对同一指标的理解一致。

· 维护与更新流程:建立指标资产管理流程,在新需求受理和指标维护更新时强制维护指标核心属性,以确保指标资产的准确性和实效性,同时方便追溯和回溯。



4、 模型规范

· 维度模型水平拆分:通过横向分层、纵向分域的形式进行网格化管理,实现各层级、各业务域之间的解耦,当有新增需求和变更需求时仅需对某一网格或某一字段进行修改即可。

· 建立业务实体关系图:根据现有业务流程,梳理核心业务过程ER关系。为建立总线矩阵、实现数据质量自动校验提供基础。

· 规划总线矩阵:建立全业务领域总线矩阵,为模型公共层打好基础。提高代码复用率,减少重复建设和维护工作量。

· 生成数据明细层DWD和维度表DIM:围绕各业务域相关业务过程进行设计,事实表按主键、维度、属性(通用/特有)、度量、系统值等6种一级类型进行拆解,实现对事实表的最大化复用。同类型事业部事实表迁移只需要调整特有属性。

· 生成数据应用层ADS指标体系:将所有主题域信息存放到统一的业务元数据表中进行管理。后续迭代需要有人进行版本管理和统一发布。



四、价值

1. 提高效率和质量

可以确保模型在不同环境、不同人员之间的使用具有一致性和准确性。有助于减少因模型差异而导致的误解和错误,从而提高整体工作效率。

以某光电集团公司为例,自从引入指标工厂依赖,各个子公司统一了指标规范、指标体系、数据模型,减少了40%的专业开发人员,同时分析指标开发周期平均缩短了50%。

2. 降低维护成本

规范化的模型设计使得维护工作更加有序和高效,减少了因设计不一致带来的额外工作量。

3. 优化业务流程

规范化的模型为业务流程的标准化提供了基础,确保流程的一致性和可复制性。统一化的模型和指标定义跨越了部门界限,促进信息共享,增进部门间的理解和协作。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
昆明广告牌坠落致3死调查报告:去年已发现锈蚀严重,城管检查“走过场”

昆明广告牌坠落致3死调查报告:去年已发现锈蚀严重,城管检查“走过场”

澎湃新闻
2024-11-25 12:48:27
彻底刷屏!卖方大佬赵晓光:特斯拉打专利,中国车企全部倒掉...

彻底刷屏!卖方大佬赵晓光:特斯拉打专利,中国车企全部倒掉...

金石随笔
2024-11-25 00:45:23
马斯克的政府效率部,发文揭露美国政府乱花钱:为宣传多元性别,给了缅甸4500万美元

马斯克的政府效率部,发文揭露美国政府乱花钱:为宣传多元性别,给了缅甸4500万美元

不掉线电波
2024-11-25 10:30:11
美日正进一步协调未来台湾“可能发生的紧急事件”,外交部回应

美日正进一步协调未来台湾“可能发生的紧急事件”,外交部回应

澎湃新闻
2024-11-25 15:44:26
“马斯克,将是中国面临的最大挑战”

“马斯克,将是中国面临的最大挑战”

观察者网
2024-11-25 10:32:07
以色列发声:他已被暗杀

以色列发声:他已被暗杀

环球时报国际
2024-11-24 23:13:12
悲剧!网友称深圳龙岗方兴工业园,有中介再也看不到明天的太阳了

悲剧!网友称深圳龙岗方兴工业园,有中介再也看不到明天的太阳了

火山诗话
2024-11-25 06:18:08
美今年第三次遣返中国非法移民,目的地沈阳,不愿回国就送卢旺达

美今年第三次遣返中国非法移民,目的地沈阳,不愿回国就送卢旺达

影孖看世界
2024-11-24 21:45:41
最新!俄方宣布:乌军“最强部队”被歼灭!视频曝光:俄先进导弹摧毁乌方目标!泽连斯基发声

最新!俄方宣布:乌军“最强部队”被歼灭!视频曝光:俄先进导弹摧毁乌方目标!泽连斯基发声

每日经济新闻
2024-11-24 11:11:59
大学生白嫖63家酒店,随身带死蟑螂、脏的避孕套……网友炸了!

大学生白嫖63家酒店,随身带死蟑螂、脏的避孕套……网友炸了!

环球网资讯
2024-11-25 15:33:25
新东方女老师私生活混乱,和男学生发生性关系,被发现后吞J道歉

新东方女老师私生活混乱,和男学生发生性关系,被发现后吞J道歉

社会酱
2024-11-25 14:55:22
被普京政府说中了:美日绝密计划曝光,五角大楼已为中国选好战场

被普京政府说中了:美日绝密计划曝光,五角大楼已为中国选好战场

千里持剑
2024-11-25 13:47:25
野猪闯入家中撕咬老人,医院:失血过多,当场死亡

野猪闯入家中撕咬老人,医院:失血过多,当场死亡

正在新闻
2024-11-25 14:39:27
网友:中年失业不到山穷水尽,不要轻易尝试铁人三项和吉祥三保…

网友:中年失业不到山穷水尽,不要轻易尝试铁人三项和吉祥三保…

火山诗话
2024-11-25 09:55:08
王楚钦夺冠不光彩?被质疑靠遮挡才赢,邓亚萍和张本智和都有发声

王楚钦夺冠不光彩?被质疑靠遮挡才赢,邓亚萍和张本智和都有发声

三十年莱斯特城球迷
2024-11-25 15:14:13
受贿超五千万元,山东省人大常委会原委员崔洪刚获刑14年半

受贿超五千万元,山东省人大常委会原委员崔洪刚获刑14年半

新京报
2024-11-25 16:58:07
十几万横店群演集体调薪,短剧剧组在减少,4年“横漂”加500个群找戏拍

十几万横店群演集体调薪,短剧剧组在减少,4年“横漂”加500个群找戏拍

时代财经
2024-11-24 09:55:33
董宇辉不再担任与辉同行执行董事

董宇辉不再担任与辉同行执行董事

界面新闻
2024-11-25 10:53:03
无力吐槽!因120都是男医生,某高校女生宿舍值班同学,坚决不让医护人员上楼抢救

无力吐槽!因120都是男医生,某高校女生宿舍值班同学,坚决不让医护人员上楼抢救

可达鸭面面观
2024-11-25 09:55:11
终于理解"三代之内有案底不能考公"的规定了!这案例真一针见血啊~

终于理解"三代之内有案底不能考公"的规定了!这案例真一针见血啊~

热闹的河马
2024-11-25 13:54:12
2024-11-25 18:40:49
奇点云
奇点云
奇点云是独立第三方的大数据基础软件提供商,旗下有“奇点云”、“GrowingIO”两大品牌
141文章数 12关注度
往期回顾 全部

财经要闻

刘煜辉最新演讲全文:蛇的策略

头条要闻

特朗普团队给出解决俄乌冲突时间

头条要闻

特朗普团队给出解决俄乌冲突时间

体育要闻

国乒的起伏与夺冠,有些东西已经变了

娱乐要闻

爆料郑雨盛和女模特,女方非正常怀孕

科技要闻

蔚来李斌内部信:2026年盈利不容有失

汽车要闻

特斯拉限时优惠:Model Y仅23.99万起 还能5年0息

态度原创

教育
旅游
艺术
手机
数码

教育要闻

“明知寒酸,还嫌女儿虚荣”,一份秋游午餐,显露母亲无知的偏心

旅游要闻

雪下了这么厚!来看银装素裹的箭扣长城

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

手机要闻

REDMI K80 Pro全面升级!米粉担心价格会大涨 王腾:会涨一些

数码要闻

中国特供版RTX 5090D百分百确认!为了它 索泰不惜搬家

无障碍浏览 进入关怀版