上海财经大学提升数据质量之道(3)
由业务部门牵头进行数据管理
数据建设与管理密不可分,首先需要建立一个由业务数据主管部门牵头,相关业务部门参与的数据质量小组,具体负责制定数据的录入维护规范。在规范中对数据的质量标准、数据的定义、维护的岗位人员、维护时间要求、检查机制等都进行了详细约定,并将数据责任人落实到各个业务部门。如果发现有数据质量问题,应及时向各业务部门进行通报,以保障数据质量改进的有效推行。通过发文的形式将规范进行了固化,可作为数据操作员的工作标准。
表1为人事系统数据维护职责表中固定编制教师报到环节数据规范的部分片段。
实现对数据质量的自动监控
为了保证数据的可用性,系统开发人员和业务人员一起,通过制定详细业务检查规则,编写相应的数据质量专用检查脚本。制定标准的数据质量规则确认及监控流程对于规则正确性的保证是起着至关重要的作用。根据高校各业务系统的具体实施情况,我们提出并实现了质量检核规则确认流程,如图1所示。
首先由业务人员提出业务规则,然后对规则根据对业务的严重性、时效性等进行分级。然后依据规则的复杂程度的不同选择进行不同的处理,简单的业务规则可以直接在业务系统中进行固化,复杂的业务规则由技术人员通过编写SQL,进行测试检查。最后由运维人员部署到调度服务上,并由自动监控系统根据扫描周期对扫描结果进行实时监控,同时在展示层使用报表工具对数据质量状况的当前状况、历史趋势。在发生重要数据质量事件后,自动对有关维护人员进行邮件、短信告知,提醒其出现问题环节。这可以促使业务人员和技术人员参与到所配置的业务规则工作中,提高开发的协同性和一致性,确保数据检查的正确性,进而保证数据质量检查结果的有效性。
图1 数据质量规则确认及监控
学校人事系统覆盖了校内外所有教师、外聘人员、短期劳务人员的各口径人力资源的管理,涉及到人事处、组织部、统战部、工会、档案馆、研究生院、离退休工作处等多个管理部门的日常业务,各类人员所需要的管理信息各有不同。目前人事系统的数据质量检查点维护的界面可维护业务规则、责任部门、自动扫描周期、检查脚本、排除异常等字段,并通过自动扫描及监控系统对有关责任人员进行告知。
文章来源:《广东财经大学学报》 网址: http://www.gdcjdxxb.cn/qikandaodu/2021/0504/564.html
上一篇:上海财经大学高校绿色数据中心建设实践
下一篇:没有了