科技成果

阅读数: 3357

成果名称: 国网公司全域模型设计及综合示范实现

成果登记号: 9612020Y0281

第一完成单位: 国网陕西省电力公司信息通信公司

联 系 人: 王常铭

成果类型: 应用技术

成果体现形式 : 新技术

技术领域: 电子信息

应用行业: 电力、热力、燃气及水生产和供应业

成果简介:

1、概述

    国家电网公司经过SG186和SG-ERP工程建设,建成了总部、省(市)两级数据中心,构建了主数据的管理体系,支撑了“三集五大”核心业务系统的集成融合,为大规模开展大数据应用奠定了基础。

    全业务统一数据中心数据分析域建成后,先后为物资部、发展部、审计部及运监中心等多个部门的应用场景提供数据支撑服务,统一的运行环境、高效的分析计算能力、便捷的数据查询访问服务、灵活的数据分析挖掘等优势,改变过去分析型应用数据按需接入和数据反复抽取、冗余存储的局面,推进公司信息化建设迈上新台阶。

2、应用评价

    本次项目严格按照国网公司技术路线要求,采用了“MPP+大数据平台”技术架构,具有先进的技术理念,符合未来大数据技术发展方向,充分支撑了陕西电力大数据分析挖掘需求。

2.1数据整合技术评价

    陕西电力本次数据整合实施,摈弃了传统了ETL数据抽取方式,采用基于大数据平台的ETL工具,定制化开发批量处理组件,将数据抽取、清洗转换完成后保存至临时数据文件中,再通过数据库load命令进行批量加载的方式,解决了数据接入过程中的四大难题。

2.2示范应用评价

    基于分析域技术架构和全域数据模型的示范应用建设,具有明显优势。陕西电力严格遵循国网分析域顶层设计和技术规范,基于全业务统一数据中心和全域数据模型,开展了6个示范应用建设工作。场景构建方面,利用“MPP+大数据平台”技术架构,可提高业务数据的取数效率和复杂业务逻辑的计算效率,大大提升了场景构建的效率;业务应用方面,通过跨域模型实现跨专业数据融合,有效支撑了跨业务协同应用;业务模型管理方面,通过全域模型业务联动管理机制,确保了全业务统一数据中心的数据质量持续提升;需求迭代方面,按照全域模型设计迭代完善机制,梳理并提报需求,通过模型迭代发布,能够满足日益扩展的业务数据需求。

3、应用建议

3.1持续开展数据整合接入

    通过持续开展数据整合接入工作,与各域涉及源端业务部门、系统厂商共同联合开展溯源结果确认和差异化迭代溯源,并根据溯源结果开展二级部署系统数据扩充接入。同时,根据总部下发一级部署系统数据时间节点,开展数据扩充接入、数据溯源及数据清洗转换等工作,进一步完善全域数据模型数据整合接入成果。

3.2数据质量巡检核查

    通过开展数据质量巡检工作,建立常态化质量核查机制,全业务统一数据中心运维单位结合模型管控工具日常监控记录,采用随机抽样、典型应用场景验证等方式定期对分析域接入数据的完整性和逻辑一致性进行核查,各相关业务部门积极配合,对核查结果进行二次确认,确保分析域对外提供数据的准确性。

3.3数据资源管理组件与全域模型可视化辅助工具融合

    基于全域模型设计、管理及可视化需求,充分发挥数据资源管理组件与数据资源云图工具的各自优势,分阶段完成组件融合和后续整体推进工作,充分展示数据整合实施和综合示范应用成果和工作亮点,加快推进实用化提升,构建完善、强大的数据资源管理组件,提升模型管控工具监控功能,对源端到分析域整个链路实现实时监控,做到发现问题、立即报、立即处理,确保数据链路的正常运转,从而为全域模型设计、数据整合实施、综合示范应用及后续模型常态化管理工作提供强力支撑。。

4、结论

    陕西电力基于全域数据模型开展了全部10个主题域3784个数据实体的数据整合实施验证工作。共接入50套源业务系统3495张源表63366个字段的明细数据,转换标准编码2272类,按模型整合形成数据表2247张、字段47152个。期间共提出了738项模型迭代完善需求,有力促进全域数据模型(SG-CIM3.5)迭代完善。另外,在整合实施过程进一步检验并优化了分析域在海量数据复制抽取、多表整合等方面的支撑功能,为全域数据模型在分析域的落地应用奠定基础。

陕西电力基于分析域模型设计成果完成了3个统一要求应用场景及3个个性化应用场景的示范验证。通过综合示范应用场景构建,验证了6个场景856模型表数据需求基于全域数据模型落地支撑,促进模型迭代完善,进一步验证了全域数据模型有效性。同步验证并优化了分析应用构建的技术路线,为下步支撑各专业开展分析决策奠定了基础。