科技成果

阅读数: 169

成果名称: 云观视角一站式数据综合治理平台V1.0

成果登记号: 9612024Y1394

第一完成单位: 云观视角数字科技(陕西)有限公司

联 系 人: 张育强

成果类型: 应用技术

成果体现形式 : 新产品

技术领域: 电子信息

应用行业: 教育

学科分类: 信息科学与系统科学(120)

应用状态: 小批量或小范围应用

完成人: 张少阳

成果简介:

一、立项背景

“互联网+”时代的到来,互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中,并潜移默化改变着我们的意识形态。高校作为高素质人员聚集的场所、高级人才培养的基地、高新技术生长的温床,在信息化建设方面一直走在各行各业信息化发展的前列。随着网络技术的发展和网络应用深入,信息化建设已经成为高校基础能力和支撑条件建设的重要组成部分。信息化建设的目标是为了使校园网络的使用者可以更有效、更方便地利用校园网以及互联网来开展教学、科研、管理和生活活动。信息化建设的出发点和最终目标就是“服务”,即为学校的学生、教师、管理人员提供更好的服务,支持学校的发展。信息化建设应用服务应体现在标准化、网络化、智能化和个性化的特点。信息化建设是支撑学校创新教育、素质教育,高效发展的重要基础之一。

二、研究内容

本项目平台设计基于SOA理念,强调服务及应用系统间的松耦合,使用通用描述、发现和集成等标准动态地发现和绑定服务,更好的满足学校用户个性化的弹性需求。同时,平台还融入了物联网感知技术,结合先进的智能算法将感知和识别结果数据化,提供给智慧校园其他系统或服务使用。

数据治理主要分为如下阶段:

1.数据调研对学校数据资产进行全面摸底,明晰数据资产从生产、存储、流动到使用的全过程,包含学校已建设的公共数据中心和现有业务,进行全面系统梳理分析,识别出全校业务内部、业务之间的业务流程和数据应用关系,按照规范化的表达方式,建立学校的业务现状和未来发展需求的数据模型。

2.信息标准管理:通过可视化方式,对代码集、标准集、数据量等情况进行分析,为信息中心掌控全局提供数据支撑。可以查看部门数量、主体数量、标准集合数据量。部门数据概览可以查看各个部门提供的数据量和未提供的数据量,并根据各部门提供的数据量对部门进行排名,通过标准集和代码集可以查看各个数据集中总表数及有数据的表数量。

3.数据质量监测:数据治理过程中,数据质量监测是非常关键的环节,数据质量问题分为结构性问题和内容性问题。

结构性问题,主要表现在问题呈现某种规律性,可以通过程序(如ETL、SQL脚本或小型程序代码)批量解决。例如代码不一致、枚举错误、代码数值混用、计量单位不一致,等等。这一类问题可以通过技术手段自动处理。

内容性问题没有规律,例如数据内容的缺失、错误等。通常这类问题可以通过程序检测到,人工干预解决。数据质量监测系统可输出数据质量报告,数据质量报告返回到业务管理部门,由业务部门进行数据的核实、录入、纠错,再通过数据治理平台重新进入数据中心,提升数据质量。

4.统一数据开放

在数据仓库的基础上,由统一数据开放系统,通过配置API的方式,进行数据下行开放。为数据下游的业务系统、数据服务等提供标准数据,形成数据流程的闭环。

统一数据开放系统对数据的访问权限进行管理和控制。数据获取方首先需要在线申请需要的数据权限,才能够获得数据的授权。

通过统一的API接口调取数据,每个API可为不同的应用开发系统提供数据,实现数据的利用和融合分析。基于系统的应用开发,可对API及API的字段进行申请,数据管理人员对API进行授权,授权细粒度可到字段级。通过API体系实现主动式数据服务推送,满足各类应用场景。

系统通过API接口向外提供数据服务时,可通过加密的方式对敏感字段进行加密保护,用户可申请加密字段或非加密字段,系统管理员根据开发需求进行审核是否授权。对敏感数据,管理员可在系统中进行脱敏处理。

5.统一数据管理统一数据管理实现数据交换的可视化监测,实现数据归档后数据中心的建设。数据湖中的数据按照字段大小、属性等进行清洗,形成标准数据,按照不同的信息子集进行数据归档,形成数据中心,为数据开放共享提供底层支撑。

6.数据资产门户:

系统可以通过接口名称对API接口进行精准搜索。基础模块展示API接口分类,点击可以直接跳转至对应API分类。热门API展示申请频率最高的API接口,最新API展示最新增加的API接口,点击对应API可快速跳转至API申请页面。

数据开放模块汇总展示所有的API接口,用户可以选择接口分类查看所有接口,根据需要选择API接口进行申请即可。

API开放分析以可视化的方式对API开放情况进行分析并展示,包括各应用接口数量、接口调用数量、接口调用次数排名TOP10、各接口返回数量TOP10、各应用调用接口数量等。

三、创新点:

  数据治理的建设,是利用计算机技术、网络技术、通讯技术对学校与教学、科研、管理和生活服务有关的所有信息资源进行全面的数字化;用科学规范的管理对这些信息资源进行整合和集成,把学校建设成面向校园内,也面向社会的一个超越时间、超越空间的虚拟大学。本项目以高校内各类信息资源的集成和交换为基础,构建满足学校教学、科研、管理与服务要求的开放性、协同化运行支撑环境,为校内外各类人员提供完善的个性化服务支持,为学校的教学、科研和管理提供完善的数据化支撑平台。