如何基于DataOps，重塑数据生产者、消费者模式？

惟客数据 数据架构师，魏战松

近日，备受瞩目的 QCon 全球软件开发大会暨智能软件开发生态展在北京国测国际会议会展中心圆满落幕。WakeData惟客数据作为大会的科技生态伙伴受邀出席，惟客数据数据架构师魏战松作为嘉宾，发表《基于DataOps，重塑数据生产者、消费者模式》主题演讲。

企业数据战略实践多年，很多企业已经或大或小落地了不同的数据类项目，耳熟能详的大数据平台、数据湖平台、数据运营平台等等。如今，企业数据战略执行进入后数据运营时代，数据的持续运营，成为企业最紧迫的挑战。

在分享主题中，魏战松对当前企业数据供需现状提出了独到的见解，即当前的数据生产者、数据消费者之间存在脱节，即数据生产者在缺少对需求价值点理解和对业务流程优先考虑的基础上，就完成了数据集成、加工、服务；而作为“需求方”的数据消费者只负责查阅结果数据。

对于很多企业来说，数据生产者属于IT团队，往往忽略了对公司主营业务逻辑的理解，导致数据团队提供的数据场景大多非业务所关注或需要的；而对于数据消费者来说，因为无法查看数据的处理逻辑，加上持续变化的需求和较长的数据需求响应时间等，也很难把自己的需求准确地传达给数据生产者。

01 DataOps 打通数据生产者和消费者

从打造高效用数流水线，构建灵活保障机制的角度出发，我们可以将DataOps（数据研发运营一体化）定义为数据开发的新范式。

简单来说，就是以一种使数据更有效率和更易于访问的方式呈现数据，重塑数据生产者、消费者模式，让业务参与进来，降低IT成本，满足消费者个性化和差异化的需求。通过改善企业中数据消费者和管理者之间的协作和沟通，以实现快速、可靠地交付高质量的数据产品。

值得注意的是，DataOps解决的最核心问题是数据研发效能问题。其关注的是数据研发运营管理的全生命周期，而不仅仅是某一单独环节。在建设完善全局最优的研发流水线的过程中，要时刻注意与企业的业务战略对齐，配合相关的组织保障、安全保障和工具保障进行实践落地。

DataOps作为新兴的数据管理方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。主要体现在以下3个方面：

1、形成敏捷数据产品开发流程

DataOps基于敏捷开发方法，帮助企业在数据生产端通过敏捷开发、自动化工具等方法和技术提升交付效率，在数据消费端利用自助服务的形式支撑数据消费者自主地获取和处理数据，而不需要等待数据团队的支持和协助。在两端共同的作用下加速数据的交付。

2、打造开发治理一体化流水线

DataOps强调对数据研发运营管理全生命周期的各个工作环节进行梳理，厘清数据质量、数据标准、数据安全等工作在研发环节中的位置，将数据治理工作融入到研发运营管理的流水线中，形成“先设计、后开发、先标准、后建模”的模式，在研发阶段对数据的质量和安全等问题进行有效管控。

同时打造自动化测试流水线，及时发现、处理质量问题，避免人工测试过程中的错误和疏漏，并加快测试速度，确保数据管道的稳定性和质量。

3、建立精细化的数据运营体系

通过自动化工具、流程和自服务能力减少重复性和低效率的工作，让数据工作者能够专注于更高价值的工作，同时通过自动化运维和数据全链路监控等流程，来及时发现并反馈效能、资源以及质量等方面的问题，降低企业的运营成本。

另外，构造全局数据观测视图也是一种重要的数据管理手段，通过对数据链路的全面分析和上下文的数据可见性，有效地监控和维护整个数据生态系统。通过建立高质量的数据管道和监控机制，数据团队可以实时监测和分析关键数据资产的健康状况，以便在出现问题时及时发现和处理。

02 惟数云：打造全生命周期敏捷开发与管理平台

基于DataOps，WakeData惟客数据发布了一站式大数据敏捷开发与管理平台——惟数云，包含从数据集成、数据建模、数据开发、数据治理和数据服务的全生命周期敏捷开发与管理平台。

惟数云提供完整的数据研发管理功能，帮助企业管理全域数据并充分释放企业数据价值，助力企业数字化转型并沉淀企业数据资产。平台同时支持多租户、多作业空间和多角色的管理形式，确保数据安全，并满足各种数据管理需求。

1、企业全域数据汇集

支持结构化、半结构化、非结构化数据接入；内置40+成熟数据采集组件，开箱即用；可视化的操作，支持 CDC 实时增量和全量采集数据；单表和整库同步模式，提升数据采集效率;支持数据限流容错保障系统稳定运行。

2、全链路数据研发管理

支持 Python、shell 、大数据、传统数据库、MPP 数据库等10+种数据任务开发；通过团队协作、预编译、运行检测、版本管理、任务发布等多项措施，以可视化、一站式的集成式开发页面，轻松完成批/流任务的构建；并通过统一调度管理、智能化的运维告警，全面提升全链路数据研发及运维效率。

3、全生命周期数据管理

贯穿数据采集、加工、服务、应用的全过程，通过元数据采集，智能化的流程解析；让用户更明白数据的来龙去脉，增强数据的可读性，实现数据全生命周期追踪和管理。

4、全民化自助数据服务

通过数据资产自动映射为数据服务，降低数据使用难度让数据“全民化”，最大发挥数据价值；支持配置化发布数据服务，拖拽式数据服务编排，让数据服务的开发更简单；支持限流管控，预防恶意访问，为各业务提供稳定的数据服务能力。

5、全域数据资产治理

通过资产汇聚、模型规划、元数据管理，数据质量、资产服务及运营能力，整体提升数据治理水平；构建统一标准、高质量、易消费的数据体系，让数据价值充分发挥。

数字化升级是企业降本增效、提高竞争优势的必由之路，而数据的持续运营，是当下企业最紧迫的挑战。惟客数据将继续与各行业领域伙伴一道努力，探索高质量、高效率、高水平的企业数字化发展之路，也力求为国家经济的数字化进程贡献一己之力。

更多内容欢迎评论区留言或私信小编获取~