从银行开始建设数据仓库至今已近20年,当前各银行机构在数据能力建设中面临诸多困扰:如何保证数据使用时的准确性?如何让数据敏捷响应业务变化?如何让更多的业务人员使用数据?
这些问题极大影响了经营指标的达成与业务的敏捷迭代。银行急需实践DataOps以增强数据能力建设,逐步实现数据驱动业务发展的目标。
当前各银行机构主要面临数据问题如下:
DataOps 是面向数据全生命周期的数据开发运营一体化理念,通过对数据相关流程制度、工具的重新组织,构建集治理、开发、运营于一体的自动化数据流水线。
DataOps:打破总行与分行数据壁垒,为万人月活的大数据平台构建敏捷服务
某头部股份制银行,在全国拥有超过140家分行。该行自2018年开始建设数据中台,将“通过数据驱动经营决策”作为发展策略。发展至今,大数据服务覆盖业务人员比率,从2022年的50%,增长到2023年的60%。使用大数据平台的IT人员,月活数超万人。
随着数据量爆发式增长,数据服务覆盖人员增多,该行在总行与分行之间的数据流程,业务人员与IT人员之间的数据流程两方面,面临以下挑战。
01 总行与分行之间的流程问题:各分行数据自治,总行数据准确性面临挑战
现状:该行数据管理体系中,各个分行都拥有独立的数据仓库,以及独立的数据团队负责数据开发与分析工作,所有数据会都在T+1时段与总行同步。
问题:各分行的数据自治,使得总行需要与分行进行数据同步,但同步后数据准确性面临挑战。由于分行间的信息化水平和所选择的供应商存在较大差异,各个分行在开发平台的选择和开发规范上都存在显著的差异。数据同步至总行后,由于数据标准差异,导致数据难以统一管理,总行需要二次数据治理,以确保数据有效性和准确性。
02 业务与IT的流程问题:传统数据开发模式面临数据准确性、敏捷响应、用数效率等挑战
现状:在传统的数据开发模式中,业务人员提出数据需求,IT人员分析需求,并将需求转化为实际的数据查询和提取任务。
问题:
基于上述痛点,该银行利用DataOps理念,通过对数据相关流程制度、工具的重新组织,打破协作壁垒,构建集治理、开发、运营于一体的自动化数据流水线。
03 总行与分行之间的流程问题:统一数据开发流程规范、统一数据云平台,保证数据准确性
流程制度:该银行制定了统一的数据规范(基础标准、指标标准、模型标准等)以及数据开发流程,并通过将数据质量管控环节前置,以及在开发过程中持续对数据质量进行校验的方式,保证数据准确性。
首先,改变原来“先开发,后治理”的模式,形成“先设计,后开发,先标准,后建模”的新模式。在设计阶段就由业务人员与IT人员共同将数据规范,安全标准等确定下来。即使分行将工作进行外包,也需要按照该流程规范执行,从而大幅度提升数据准确性。其次,在开发过程中嵌入治理活动,通过自动化运维和数据全链路监控等流程,构建数据全链路可观测能力,实现数据质量端到端的运维监控,最终保证数据准确性。
工具:为保证数据质量,总行搭建了一个供分行使用的分行云数据平台,将分行全部数据开发工作转移至统一平台进行,使总行能够统一管理。在云平台未完整建成前,将各分行的非核心数据开发工作统一在该平台上进行,传统的核心数据报表仍然在原有系统中执行。最后达成所有核心,非核心数据开发工作统一全部在该数据平台完成的目标。
04 业务与IT的流程问题:搭建端到端数据管道,保证数据准确性,提高敏捷响应与用数效率
数据准确性:搭建协同平台,提供开发过程透视图,保证需求分析准确性
工具:该行在云平台上提供了涉及所有相关业务人员和数据人员的协同平台,保证数据取用各团队的无障碍沟通,促进团队之间的高效协作。同时,通过搭建开发过程中的透视图,让业务部门能够在开发过程中看到结果,随时完成数据需求的沟通对齐。
敏捷响应:预设数据管理流程,统一数据湖并集成银行内部工具,保证数据迅速取用
流程制度:为解决“取数慢”的问题,该行在统一云平台上预设了明确的数据流程管理规范。通过标准化申请数据或发布测试的流程,方便不同团队之间数据申请的审批,加快数据的查找与取用流程。为了进一步解决“取数慢”的问题,该银行在云平台上集成了工作流,即时通讯等银行内部工具,形成工具间的串联,提升数据取用的审批响应速度。当IT人员需要用其他分行数据时候,可以直接在该平台通过内部工具一站式提起需求申请。
工具:为解决“找数难”的问题,首先,总行使用了统一的数据湖,将分行数据全部汇总在数据湖中,实现数据的集中、标准化和高效管理。同时,该银行重新构建了元数据管理体系,搭建了数据地图。以“能找到,看明白,放心用”为目标,为使用者提供找数看数的门户。使其能够自助找到数据,查询数据详情,确保数据服务的可靠性,提升数据查找的效率。
用数效率:提供自助报表分析工具,赋能业务人员解决零散问题能力。
工具:为了解决业务人员零散的数据问题,减轻IT人员工作负担。该行还在平台上提供自助报表数据分析工具,供业务人员解决简单的数据分析工作。
05 以提高数据质量为“抓手”,逐步落地DataOps治理体系
在项目落地过程中,由于DataOps涉及的范围相对较广,不仅包括了数据的治理、开发、运营等关键环节,还囊括了相应的管理流程体系。所以在实施过程中,选择正确的入手点则显得尤为重要。
06 由于银行对于数据安全与合规要求较高,在项目落地阶段主要会面临以下三个挑战:
至今,经过一系列DataOps改革,该银行数据云平台已经成功推广到一半以上的分行进行使用,分行对IT人员中的数据治理人员需求有了明显下降。平台上拥有上千个数据项目,每天达到近十万次作业数。数据开发周期从原来的一到两周缩短至一到两天。未来,该银行将围绕多元化的数据服务,进行数据探索能力的建设。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。