数字信息时代,数据对经济建设、社会生活和企业管理等产生了重要影响。根据高德纳(Gartner)公司分析,企业近80%的数据为非结构化数据。随着数据爆炸式增长,非结构化数据将成为数据增长主力。实施非结构化数据治理、提升数据质量、挖掘数据价值是企业迈入数字化时代的关键。对电网企业而言,海量智能终端所生成的文档、图像、语音、视频等非结构化数据量已达到PB级。加强非结构化数据治理,实现非结构化数据解析与价值挖掘,对电网企业发展具有重要的意义。
何为非结构化数据及数据治理
(资料图片仅供参考)
非结构化数据是数据结构不规则或不完整,没有预定义模型的数据。在企业的整体数据架构中,非结构化数据往往是指不适用于数据库二维关系逻辑表表达的数据,包括所有格式办公文档、工程图纸、图像和音视频文件等。在国家电网有限公司数据资产中,非结构化数据包括由地理信息系统、95598客服系统、项目管理系统、电子商务平台等产生的地理信息数据、客服语音、项目资料、物资采购信息等数据。
数据治理是指在管理数据资产过程中行使权力,包括计划、监控和实施三个步骤。数据治理聚焦如何制订有关数据的决策、人员在数据管理方面的行为方式,确保根据数据管理制度和最佳实践正确地管理数据。
非结构化数据治理统筹和协调非结构化数据各项管理工作有序开展,核心要素体现在组织、制度、文化和考核四个方面,这些是开展非结构化数据管理工作的关键。
电网企业非结构化数据治理的前景和挑战
公司于2019年开展数据中台建设,2022年数据中台迈入深化运营阶段,非结构化数据通过非结构化组件基本实现了集中存储,满足基于文档全周期的存、取、用需求。电网企业的非结构化数据贯穿于发电、输电、变电、配电、用电和调度所有环节,也几乎存在于企业经营管理的所有业务应用当中。随着人工智能等信息处理技术发展,非结构化数据管理的内涵及外延都在发生深刻变化,有必要重新审视当前企业非结构化数据管理现状,规划新时期非结构化数据管理体系及实施路径。电网企业非结构化数据治理工作主要面临着以下挑战:
存在信息孤岛。电网企业在日常经营管理和业务管理过程中使用功能各异的应用系统或信息化管理平台,产生各种非结构化数据。这些非结构化数据具有来源多、格式多、涉及专业多等特点,这一方面是由于信息系统的建设具有阶段性,另一方面是由于各个系统自成体系,导致系统之间的数据呈现孤立状态,数据标准不统一,缺少数据贯通接口。
管控体系不完善。电网企业部分系统之间实现了文件之间的流转,但是非结构化数据管理方法和制度仍然不够完善,如部分文件在各个系统内归档管理、流转主要基于数据导出方式,难以进行统一检索和共享利用。
存在数据黑盒。当前电网企业文档管理制度并非建立在彻底理清数据的基础上。非结构化数据缺少必要的分类和元数据项,缺乏清晰和规范的管理流程和要求,数据量和数据内容难以掌握,影响非结构化数据价值发挥。
电网企业非结构化数据治理工作探索与实践
国网大数据中心遵循公司数据发展战略,以充分发挥数据作用、驱动企业数字化转型为目标,按照“基于中台、统筹推进、统一纳管、安全共享”的工作原则,把核心非结构化数据资源汇聚至数据中台,形成全生命周期和全业务系统端到端非结构化数据治理思路,建立从非结构化元数据体系研究与数据资源目录构建到非结构化数据协同治理的工作模式,推动中台非结构化数据质量提高,为业务工作赋能。
非结构化数据的全生命周期管理包括非结构化数据采集、传输、存储、交换等各个环节的数据集整体管理,以及各个数据项处理方法。
基于数据中台开展非结构化数据统一存储。基于数据中台非结构化组件集中存储和管理所有接入业务应用系统的非结构化数据。将非结构化存储空间划分为存储区和共享区,其中存储区用于接入、存储源业务系统非结构化数据,相关数据满足各专业系统对本系统非结构化数据全生命周期的存、取、用需求。共享区汇聚具有高共享价值的非结构化数据,相关数据经数据盘点、业务部门确认,用于跨专业跨系统数据共享和构建数据服务,并在数据资源目录可视可查。
建立元数据管理体系。将非结构化数据的元数据分为基础元数据和增强元数据,梳理形成非结构化数据元数据体系。其中基础元数据参考国家标准《信息与文献都柏林核心元数据元素集》(GB/T25100-2010),实现对非结构化数据对象的规范定义,如标题、来源、摘要等。增强元数据依据应用业务需求进行设计,包含源端系统业务元数据、管理元数据及操作元数据。采用统分统管原则,基础元数据统一管理,增强元数据按需设计,形成一套完整的元数据管理体系。
打造中台非结构化数据共享区,实现文件流转与共享。新建应用系统基于数据中台建设,存量业务应用系统逐步按需将非结构化数据迁移至数据中台,基于数据中台非结构化组件,统筹不同应用系统的文件在数据中台流转与共享。通过数据中台构建文件智能分析能力,使各使用方可以快速检索并在不同应用系统之间传递所需文件,保证文件的准确性、一致性、及时性、安全性等,支撑非结构化数据在不同专业之间、端到端有序高效地传递和交互。
开展质量管理。依据数据在生命周期各个阶段的特性,建立数据质量控制机制,及时发现非结构化数据质量问题,提升数据可用性。数据使用方在使用过程中提出数据质量需求或数据质量问题,协同数据管理方、数据提供方进行数据质量治理,开展非结构化数据治理流程管控,实现非结构化数据治理闭环管理。
建立常态运营机制,建设多元化应用样板间。完善非结构化数据运营机制,常态开展非结构化数据需求受理、解决方案制订、数据接入、数据溯源、数据共享等工作。专项推进建设多元化应用样板间,聚焦制度标准管理体系开展数字化赋能建设,扩大技术资料、标准制度等公开数据接入范围,满足基层用户查数据、用数据需求;围绕项目中台智能化提升工作,构建非结构化数据提取功能和专题检索服务,辅助项目过程材料智能审查,改变现有线下传递、低效审阅的局面。
继8月11日、14日连续两次召开电力保供工作紧急视频会议后,8月15日,四川再次召开电力保供调度会。记者从会上获悉,预计全省最大用电负荷将
今年以来,四川积极扩大能源领域有效投资,前7月能源项目累计完成投资493亿元、同比增长4%。8月15日,省能源局相关负责人介绍,前7月煤炭类
8月15日,全省防汛减灾、森林草原防灭火工作电视电话会议召开,深刻汲取彭州8·13山洪灾害教训,分析研判当前形势,安排部署下一步重点工作
8月9日,攀枝花技师学院实习工厂里,焊花四溅,机器声此起彼伏。身穿工作服的教师周树春,在一间间操作室里进进出出,指导学生们焊接。过去
记者从省发改委获悉,上半年全省物流需求平稳增长,行业运行总体平稳。全省社会物流总额64096 2亿元,同比增长4 4%;全省物流业总收入为2270
在全球最大地下工程装备制造基地,掘进机生产计划已排到年底;千亿级工程机械产业园区边建设边生产,打造智能制造标杆……时已立秋,三湘大
上犹县水岩乡卫生院医生蔡昌才驱车前往金盆村为村民骆运招治病。以往,每月去医院就诊不仅路途远,还要排队。这几年有了家庭医生后,直接送
今年2月以来,省药监局深入开展药品安全专项整治行动,坚持问题导向,以严厉打击违法犯罪行为、全面排查风险隐患为手段,推进专项整治行动
没想到,现在直接在窗口就能办理,真是太方便了。蒋琼在九江市经营一家造型工作室,近期有意扩大生意规模,需要资金周转。她带齐资料来到九
记者从新余海关获悉,今年上半年,新余市外贸取得了较好成绩,全市外贸进出口总值184 3亿元,同比增长84 3%,高出全国平均水平74 9个百分点
作为南昌市第二季度集中开工的重大项目之一,南昌数谷产业园项目总投资100亿元,计划2024年5月完工交付使用,拟引进字节跳动、华为(南昌)工
淮南市向中国工程院院士、安徽理工大学校长袁亮颁发了第一张淮南市高层次人才优才卡。为深化我为人才办实事实践活动,落实高层次人才服务保
连日来,宿州市埇桥区不断细化各项工作举措,压实防汛各项责任,提升应急救援保障能力,筑牢防汛安全堤。目前,该区防汛物资已储备到位,全
近日,无为市自然资源和规划局、无为市福渡镇人民政府在无为润峰中海置业有限公司项目部现场举行交地即交证颁证仪式,标志该市交地即交证优
设施齐全的卫生食堂、水冲式的独立卫生间、楼道墙体粉刷一新的宿舍……走进安徽省全椒县武岗学校,已经运行满一年的农村特色寄宿制学校成果
安徽安庆市正式成立“老年助餐慈善基
记者日前从安庆市民政局获悉,该市慈善会近日设立老年助餐慈善基金,共同守护老年人舌尖上的幸福。该基金专项用于资助城乡社区老年食堂、社
安徽淮北积极落实2022年电网防汛度汛
近日,国网淮北供电公司工作人员来到110千伏中泰变电站开展防汛隐患排查。该公司积极落实2022年防汛度汛措施,提前细化应急预案,推进极端
安徽全椒县完善拓展人力信息资源助企
今年以来,全椒县不断完善拓展人力资源信息库、劳务对接信息库、企业用工需求信息库三库信息资源,已摸排400多家次企业缺工岗位信息1 2万个
宿州市埇桥区柔性引进博士推进乡村振
宿州市埇桥区实施博士汇工程,柔性引进29名博士担任副乡镇长或园区副主任,他们将为加快产业发展、推进乡村振兴强化智力支持。目前,博士专
安徽印发出台全面实施零基预算改革方
为进一步提高财政资源配置效率和资金使用效益,省政府印发《安徽省全面实施零基预算改革方案》,明确从编制2023年预算起,在全省范围内全面
5月份安徽居民消费价格同比上涨2.3%
近日,国家统计局安徽调查总队发布了我省5月份居民消费价格统计数据。统计显示,我省居民消费价格同比上涨2 3%,同比涨幅比上月回落0 4个百分
安徽多种方式引导群众防范非法集资风
合肥地铁1号线、3号线上滚动播放防范非法集资宣传视频,淮南市发布《致老年群众的一封信》……6月份是一年一度防范和处置非法集资宣传月,今
铁路部门持续加大长三角地区运力投放
记者从中国铁路上海局集团有限公司获悉,随着上海疫情防控形势持续向好,为进一步适应旅客出行需要,助力复工复产,铁路部门自6月10日起持续加
安徽六安持续精准施策全力促进工业发
六安市与蔚来汽车签署合作协议,共建智能电动汽车零部件配套产业园区。该园区一期计划2023年上半年投产,建成后将具备年产30万吨铝压铸产能,
安徽淮北全力维护外卖送餐员合法权益
为切实防范化解新业态领域重大风险隐患,强化外卖送餐员权益保障工作,淮北市市场监管局充分发挥职能作用,全力维护外卖送餐员合法权益。淮北
湖南涟源开展专项行动一对一为企业纾
位于涟源市的湖南三合美新材料科技有限公司,两条生产线满负荷运行,生产聚氨酯和岩棉复合板。因产品升级与产能扩充,急需新增两条生产线,
湖南蓝山县进村入户排查整治自建房安
老叔,这栋房屋墙体有开裂痕迹,要维修加固,安全重要!5月20日,蓝山县塔峰镇果木村,党员干部上门开展农村自建房安全隐患排查整治。连日来
一季度湖南万元产值综合能耗同比下降
近日,湖南省工业通信业节能监察中心发布一季度全省六大高耗能行业能源消耗统计监测报告。据该报告,一季度全省146家主要高耗能企业的万元
济南起步区一年来累计签约优质项目11
万里黄河第一隧济南黄河济泺路隧道建成通车,占地4000余亩的新能源乘用车零部件产业园加快施工……记者21日采访获悉,建设实施方案获批复一
山东发布通知启动传统民居保护利用试
省住房城乡建设厅、省财政厅近日联合印发《关于做好传统民居保护利用试点工作的通知》,在全省部署开展传统民居保护利用试点工作。此次试点