网易首页 > 网易号 > 正文 申请入驻

指标工厂赋能数据资产,实现标准化管理与高效利用

0
分享至



一、行业趋势和背景

数据资产的重要性体现在多个方面,它不仅是企业决策制定的基础,也是优化业务流程、提升竞争力的关键。然而由于历史原因和管理问题,许多企业的数据资产往往分散在各个部门或系统中,形成了“数据孤岛”,例如:指标计算口径不一致,数据质量不高等问题。这种分散状态不仅影响了数据的利用效率,还增加了数据管理的复杂性。

因此,数据指标资产在企业运营和发展中发挥着至关重要的作用。因此,企业高度重视数据指标资产的管理和利用,不断提升数据质量和分析能力,以充分发挥数据指标资产的价值。

二、需求——模型标准化、规范化、统一化建设;指标资产的标准化管理

1. 数据模型资产在数据管理和应用中扮演着至关重要的角色,但也存在一些问题和挑战。

· 数据模型的复杂性和一致性:模型的设计往往涉及多个业务领域和复杂的逻辑关系,由于数据模型由不同的团队或部门设计,存在不一致性和重复建设,影响数据的整合和分析。

· 业务需求变化:业务需求是不断变化的,而数据模型的设计往往基于特定的业务需求。当业务需求发生变化时,数据模型的设计往往不够灵活,跟不上业务需求的变化。

· 模型资产管理的意识:缺乏对数据模型资产的管理意识,导致数据模型的设计、维护和利用存在不足。另外,数据模型开发过程中缺乏统一的数据模型规划和管理,导致模型的重复建设和数据质量问题。

2. 指标资产在业务层面拉通困难,开发和维护困难。

· 指标定义不清晰、指标计算逻辑不明确:各部分对指标的定义可能存在差异,导致指标在跨部门使用时出现理解上的偏差。

· 指标开发和维护成本高:指标定义不清晰或逻辑不明确,在开发时需反复沟通和修改,增加了开发成本;另外,由于指标的开发和维护缺乏统一的标准和规范,在修改和调整时,导致调整和优化无法及时跟进。

· 管理和治理问题:指标的管理缺乏统一的标准和流程,导致指标的开发、维护和应用混乱,一些指标被开发后快速被废弃;指标的质量也缺乏有效的监控和评估机制,导致指标的质量和准确性难以保证。

三、产品解决方案

基于DataSimba内置的指标工厂(SimbaMetric)模块,可解决上文提到的模型资产和指标资产的管理难题。

SimbaMetric也称作“指标工厂”,它是基于业界通用的维度建模和指标体系,内置MIM(Metric Index-Model)方法论,支持企业构建唯一性、标准化、规范化的指标体系和数据模型。指标工厂具备数仓规划、数据标准、指标管理、数据建模等功能,将无序、杂乱、繁琐、庞大且难以管理的数据,进行有序的结构化管理,达到指标统一、工程规范、数据易用的效果,使数据资产化。

企业数据资产化建设工作步骤如下:



1. 数仓规划

数仓规划旨在构建一个集中、整合、易于分析的数据环境,通过分层架构、明确的数据域划分、对业务过程的深入理解和主题域的聚焦,来提升数据价值,支撑企业智能化决策。

· 数仓分层:可以根据企业的自身情况自定义分层,也可以使用默认分层方案。

· 业务过程:深入分析和识别业务操作的核心流程,如订单处理、客户服务、市场营销等,确保数仓设计能准确反映并支持这些关键业务过程的监控和分析。

· 数据域:将数据按照业务相关性划分为多个领域,如客户域、产品域、销售域等,每个域内包含该领域下的所有数据实体和属性,便于数据管理和跨域数据整合。

· 主题域:围绕特定分析主题(如销售分析、客户行为分析、供应链管理)组织数据,每个主题域聚焦于一类分析需求,确保数据模型的设计贴合实际分析场景。

完成规划设计后,数据开发工程师在建模过程中可以依赖数仓规划中的数仓分层、表名定义、数据域、业务过程等对所建模型进行分层化域的管理,以解决数据模型资产的一致性、维护困难等问题。

2、数标准

数据标准不仅涵盖了度量单位的统一、词根的一致使用,还深入到了数据标准本身的业务定义、标准值的管理等多个层面。通过这些规范约束,从根本上提升数据质量,确保数据在产生、存储、处理及应用的整个生命周期中保持高度的一致性和准确性。

· 度量单位统一:确保所有相关数据使用相同的度量单位,比如时间统一使用UTC时间,货币统一为美元或本位币,避免因单位不一致导致的计算错误或误解。

· 词根一致性:在命名规范中采用一致的词根,比如使用“customer”而非“cust”或“usr”,增强数据元素的可读性和可理解性,便于跨部门间的沟通与协作。

· 数据定义清晰:为每一个数据元素提供明确且统一的定义,包括其业务含义、数据类型、取值范围等,减少歧义,确保数据被正确理解和使用。

· 标准值管理:建立和维护一套标准值体系,比如状态码、地区代码等,确保相同意义的值在全系统中保持一致,便于数据集成和分析。

· 数据质量规则:定义数据质量检查规则,如必填项检查、数据范围检查、唯一性验证等,自动或定期执行数据质量检查,及时发现并纠正数据质量问题。

· 数据管理:建立完善的元数据管理体系,记录数据来源、变换过程、数据质量评估结果等,增强数据的可追溯性和透明度。

通过从源头上保障数据的标准化生产,可以显著降低后续数据应用和处理的成本。

3、指标体系

· 指标的梳理和定义:对指标进行清晰的定义,我们建议维护其核心属性至平台,包含业务含义、计算口径、数据来源、业务责任人等,确保不同部门、不同人员对同一指标的理解一致。

· 维护与更新流程:建立指标资产管理流程,在新需求受理和指标维护更新时强制维护指标核心属性,以确保指标资产的准确性和实效性,同时方便追溯和回溯。



4、 模型规范

· 维度模型水平拆分:通过横向分层、纵向分域的形式进行网格化管理,实现各层级、各业务域之间的解耦,当有新增需求和变更需求时仅需对某一网格或某一字段进行修改即可。

· 建立业务实体关系图:根据现有业务流程,梳理核心业务过程ER关系。为建立总线矩阵、实现数据质量自动校验提供基础。

· 规划总线矩阵:建立全业务领域总线矩阵,为模型公共层打好基础。提高代码复用率,减少重复建设和维护工作量。

· 生成数据明细层DWD和维度表DIM:围绕各业务域相关业务过程进行设计,事实表按主键、维度、属性(通用/特有)、度量、系统值等6种一级类型进行拆解,实现对事实表的最大化复用。同类型事业部事实表迁移只需要调整特有属性。

· 生成数据应用层ADS指标体系:将所有主题域信息存放到统一的业务元数据表中进行管理。后续迭代需要有人进行版本管理和统一发布。



四、价值

1. 提高效率和质量

可以确保模型在不同环境、不同人员之间的使用具有一致性和准确性。有助于减少因模型差异而导致的误解和错误,从而提高整体工作效率。

以某光电集团公司为例,自从引入指标工厂依赖,各个子公司统一了指标规范、指标体系、数据模型,减少了40%的专业开发人员,同时分析指标开发周期平均缩短了50%。

2. 降低维护成本

规范化的模型设计使得维护工作更加有序和高效,减少了因设计不一致带来的额外工作量。

3. 优化业务流程

规范化的模型为业务流程的标准化提供了基础,确保流程的一致性和可复制性。统一化的模型和指标定义跨越了部门界限,促进信息共享,增进部门间的理解和协作。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上海市政府发布一组人事任免信息

上海市政府发布一组人事任免信息

界面新闻
2024-11-01 11:09:39
孙女给去世4年的姥爷手机发短信“小气的老头,来梦里看看我吧”,竟收到暖心回复!

孙女给去世4年的姥爷手机发短信“小气的老头,来梦里看看我吧”,竟收到暖心回复!

极目新闻
2024-10-31 18:02:26
杨瀚森狂砍29分10板7助!篮网自媒体转发:我们明年6个选秀权呢!

杨瀚森狂砍29分10板7助!篮网自媒体转发:我们明年6个选秀权呢!

直播吧
2024-11-01 01:30:55
上海知名男星去世8年,突遭负面传闻,好友:将报警

上海知名男星去世8年,突遭负面传闻,好友:将报警

新民晚报
2024-10-31 15:18:11
特朗普2.0,比想象中更凶险

特朗普2.0,比想象中更凶险

美第奇效应
2024-10-30 17:56:47
中方反制出乎预料,欧盟没想到,订单暴跌30%,冯德莱恩自欺欺人

中方反制出乎预料,欧盟没想到,订单暴跌30%,冯德莱恩自欺欺人

娱乐的小灶
2024-10-31 18:47:47
明查|德国外长近日访华遭冷落无人接机?不实

明查|德国外长近日访华遭冷落无人接机?不实

澎湃新闻
2024-11-01 06:56:31
破案了!莫兰德注册推迟原因找到,错怪辽宁队,广东记者实话实说

破案了!莫兰德注册推迟原因找到,错怪辽宁队,广东记者实话实说

负角度的球
2024-11-01 09:18:23
都有14亿人,印度每1000人中34个人都有车,中国1000人中几人有车

都有14亿人,印度每1000人中34个人都有车,中国1000人中几人有车

莫将离
2024-10-31 22:02:15
姚明下课前开重磅罚单,郭艾伦收重大好消息,广东队开除超级外援

姚明下课前开重磅罚单,郭艾伦收重大好消息,广东队开除超级外援

宗介说体育
2024-11-01 13:26:18
大陆措词罕见,美军做最坏打算:台海之战若输,小弟们会转投大陆

大陆措词罕见,美军做最坏打算:台海之战若输,小弟们会转投大陆

千里持剑
2024-10-31 14:27:40
泽连斯基对白宫泄露导弹计划感到愤怒:怎么能什么都往外讲呢?

泽连斯基对白宫泄露导弹计划感到愤怒:怎么能什么都往外讲呢?

财联社
2024-10-31 18:38:05
金星内涵网友“乌合之众”,将去国外演出,苏州官方回应市民抵制

金星内涵网友“乌合之众”,将去国外演出,苏州官方回应市民抵制

古希腊掌管月桂的神
2024-10-31 18:48:50
老外超期待《昭和米国物语》:还以为开发中止了

老外超期待《昭和米国物语》:还以为开发中止了

游民星空
2024-11-01 12:03:30
执法办案搞“远洋捕捞”?公安部:严禁超权限超范围冻结资金

执法办案搞“远洋捕捞”?公安部:严禁超权限超范围冻结资金

南方都市报
2024-10-31 11:10:41
毛主席遗体防腐每年花费无数,而永久保存的水晶棺,纯度达99.99%

毛主席遗体防腐每年花费无数,而永久保存的水晶棺,纯度达99.99%

扶苏聊历史
2024-10-29 18:32:38
最后决战将至,美国总统将换人,邱毅看好特朗普:哈里斯输在无能

最后决战将至,美国总统将换人,邱毅看好特朗普:哈里斯输在无能

议纪史
2024-10-31 16:10:03
中国留学生在澳洲与两名女性发生关系后将对方杀害!法院回应

中国留学生在澳洲与两名女性发生关系后将对方杀害!法院回应

南方都市报
2024-10-31 19:24:10
太难了!网传一知名企业通知全员休假一个月,休假的原因不明…

太难了!网传一知名企业通知全员休假一个月,休假的原因不明…

火山诗话
2024-10-31 15:46:34
日本开始担心了!如果中国打开秦始皇陵,日本的历史可能被改写!

日本开始担心了!如果中国打开秦始皇陵,日本的历史可能被改写!

素年文史
2024-10-31 08:05:02
2024-11-01 16:28:49
奇点云
奇点云
奇点云是独立第三方的大数据基础软件提供商,旗下有“奇点云”、“GrowingIO”两大品牌
135文章数 12关注度
往期回顾 全部

财经要闻

王健林和张近东,没一个省心的

头条要闻

昔日"黑老大"两块腕表被拍卖:单支腕表估价均超4千万

头条要闻

昔日"黑老大"两块腕表被拍卖:单支腕表估价均超4千万

体育要闻

太阳VS快船述评 哈登半场10助下半场3助

娱乐要闻

郭敬明新剧这是在干什么?

科技要闻

苹果Q4营收949亿美元 中国成唯一下滑市场

汽车要闻

新君越也打出一口价 15.99万2.0T+9AT+大空间

态度原创

艺术
家居
时尚
房产
军事航空

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

家居要闻

摩登现代氛围 用色块勾勒空间

中年女人穿衣注意这3点,一直时髦到老真不难,显年轻很简单

房产要闻

最新!销售额破千亿,面积激增22万㎡!海南楼市还是猛!

军事要闻

朝鲜试射洲际弹道导弹型号披露 飞行距离超千公里

无障碍浏览 进入关怀版