发表于:2010-06-22 16:46:13
楼主
摘要: 数据仓库技术可以将分布在网络中不同系统中的数据集成,为决策者提供有价值的信息。本文详细阐述如何利用数据仓库技术将分散在各消防业务系统中的数据进行集成,为消防部队各项工作提供决策性的信息。
关键词:数据仓库;数据集成
近年来,按照“金盾工程”的总体部署和《全国公安消防信息化建设一期规划(2003年—2005年)》的要求,公安消防部队信息化建设取得了突飞猛进的进展,防火业务信息系统、后勤管理系统等一批软件相继投入使用,增强消防部队的实战能力,优化消防业务工作流程,提高工作质量和管理水平。然而由于历史原因,目前在公安消防部门投入使用的软件大多是单机版和单项性的软件,这些软件积累了大量的应用信息和数据,但共享程度低,利用不充分。如何顺利实现前期单机版和单项性软件信息数据资源的综合开发利用已成为目前制约消防综合信息系统开发建设和发挥效益的瓶颈和难点。
数据仓库技术通过建立统一的标准、规范,实现行业间、部门间、报表间的流畅数字对话,将分布在网络中不同系统中数据集成到一起,消除同一平台中的信息孤岛,为决策者提供一致、正确、有效的数据,起到信息共享、决策支持的作用。本文将详细阐述如何利用数据仓库技术集成分散在各消防业务系统中的数据,为防火、灭火、抢险救援、队伍管理教育、后勤保障等各项工作提供决策性的信息支持。
1、数据仓库技术简介
根据美国斯坦福(Stanford)大学提出的数据仓库定义,数据仓库是支持管理决策过程的、面向主题的、集成的、与时间有关的、持久的数据集合。可以说,数据仓库是指来自于异地、异构的数据源或数据库的数据加工后在数据仓库中存储、提取和维护;它是一种体系结构,是一种语义一致的数据存储,以满足不同的数据存取、文档报告的需求。
作为一个系统,数据仓库至少应包括3个基本功能部分:
(1)数据获取。负责从外部数据源获取数据。
(2)数据存储和管理。负责数据仓库的内部维护和管理,提供的服务包括数据存储的组织、数据的维护、数据的分发、数据仓库的例行维护等。
(3)信息访问。信息访问部分属于数据仓库的前端,面向不同种类的最终用户。数据仓库的最终用户在这里提取信息、分析数据集、实施决策。
数据仓库体系结构见图1,它是由美国斯坦福(Stanford)大学提出。
2、消防信息化建设中的难题
目前,很多消防业务系统在消防网运行,如办公系统、防火业务系统、财务系统、装备系统、干部管理系统、火灾管理统计系统等等。这些业务系统既有网络版的,也有单机版;有基于B/S结构的,也有基于C/S结构的;有基于access数据库的,有基于sol
server数据库的。大多数业务系统之间相互不关联,不能描述部门之间、业务之间的相互影响;各业务系统统计口径不一致,代码、指标不一致,较难形成连续历史档案,从而形成消防业务数据孤岛。网络中缺乏一个平台,能把各种不同的应用有效关联、整合起来;没有一个数据库,能将各业务数据统一到这个库中;没有一个有效的手段,能直接从各级业务系统中获取数据。虽然可能某个业务系统具备了直接查询下级单位的有关数据并通过网络对各级单位进行管理的技术条件,但没有一个有效的工具平台能集成各种相关数据,并对其进行监控和管理。
所以,虽然各消防业务系统中积累了大量的数据,但不能集成利用,提供的数据正确性和一致性不高,致使系统应用限于数据简单的汇总、统计、查询及业务流程的规范化,尚未真正涉及预测、决策及优化等方面,远没有充分发挥信息系统的效益。
3、解决难题方案——建立数据中心
利用数据仓库技术建立数据中心,通过其提供的数据关系转换器、函数关系转换器、专题数据处理等工具将不同应用系统的数据交流和集成,实现数据整合,以数据仓库的形式提交决策层,完成对防火、灭火、抢险救援、队伍管理教育、后勤保障等各项工作状况描述、评价和诊断。此外,通过数据中心可以实现总队与总队之间、支队与支队之间、大队与大队之间的数据交换,有效提升消防部队快速反应能力和战斗力。顺利完成跨区域协作任务。
数据中心有三个组成部分:基础数据库、标准代码和基础指标库、数据仓库。
基础数据库是整个数据中心的基础资源管理平台。它由标准代码、标准指标管理、标准业务、标准科目和标准报表组成。主要功能是对种指标、代码、业务和科目进行统一和规范,并进行管理,保证基础数据库的基础性和权威性,是消防信息系统规范和标准建设的立足点。
数据仓库是数据中心的数据存储库。在数据仓库中,各种繁杂数据抽象为某一知识系统的“主题”概念,并按主题划分数据的结构和层次,基于主题的数据被划分为相对独立的数据领域,从而将数据组织提高到一个新的阶段。
指标及元数据库存储数据仓库的基础字典数据和标准指标。
数据中心模型见图2:
建立数据中心,通过其提供的数据关系转换器、函数关系转换器、专题数据处理等工具将不同应用系统的数据交流和集成,实现数据整合,以数据仓库的形式提交决策层,完成对防火、灭火、抢险救援、队伍管理教育、后勤保障等各项工作状况描述、评价和诊断。此外,通过数据中心可以实现总队与总队之间、支队与支队之间、大队与大队之间的数据交换,有效提升消防部队快速反应能力和战斗力。顺利完成跨区域协作任务。
4、建立数据中心关键工作
(1) 基础代码整理
根据消防领域数据特征,首先清理数据元,建立统一的基础代码。基础代码整理主要工作包括:收集现有标准、标准及代码存储格式收集、标准的兼容性收集、标准涉及业务范围的收集、标准使用范围分析、标准可操作性分析、编码规则分析、标准兼容性分析、编写代码维护及应用指导大纲。
(2) 建立标准代码维护管理制度和维护管理中心
用制度和组织来保障基础代码的落实和完善。成立代码管理中心,负责代码档案管理、规范制定和完善、代码申报和审批、标准代码的监督检查等工作。
通过标准代码及相关管理制度的建设,为信息集成、应用集成及历史档案的整理提供统一的标准。
(3) 统计口径整理
指标的统计口径是数据在不同量级上的体现,不同的统计口径有着不同的参照和对应关系,如产值在国内统计体现是人民币,在国际上则要对应美元。同样,不同层次指标在数量上表现也不一致,低层次的指标可能是千元,高一级就变为万元,所以面对形式多种多样,各种不同的数据统计口径,必须确定一个统一的口径,然后建立相关的口径范围,在历史数据整理、指标规范方面作整体的转换。具体内容包括:现有统计口径收集、统计口径的兼容性收集、涉及的业务范围收集
、统计口径使用范围分析 、可操作性分析、转换规则分析 、兼容性分析
、口径转换标准制定。通过标准统计口径的建立,统一了基础数据的表达方式,避免由于统计口径不一致而出现的各部门数据对比混乱等问题。
(4)分析指标整理
在考核、评价时,指标的分析和考查是每一个应用系统的重要环节和功能,但是由于不同的信息系统以及不同的历史时期存在着不同的分析指标,而且这样大量的分析指标又分散在不同的系统中。例如在A系统中分析指标有产量、销量,产销率,而B系统中只有产量和销量。那么在进行数据归纳时,将对指标进行标准化,可能只保留产量和销量等重要的基础指标,而计算指标将不再列在其中,它们将在基础数据库重新生成。采用类似的方法对数据进行了清洗和提取,统一分析指标。分析指标整理工作包括:现有分析指标收集、指标涉及业务范围的收集
、指标使用范围分析、指标含义定义、可操作性分析。
(5)数据集成
对存储在操作型环境中的当前数据或存储在慢速设备上的历史数据,根据不同来源和不同格式,定制不同的数据抽取和转换工具,并编写数据清理程序,对数据进行一致性检验,并将完整的数据通过数据装载,定期装载到数据仓库环境中去。数据仓库集成力图做到可以访问多种数据源的数据,把他们转换成为一种统一的格式,并校验数据的完整性,最终把数据存储到一个在线分析处理服务器中供使用者访问。
总之,通过建立数据中心,采用数据仓库技术,统一规范总队间、支队间、大队间的数据,解决数据集成的问题,对消防信息资源进行广泛而深入地开发利用,为防火、灭火、抢险救援、队伍管理教育、后勤保障等各项工作提供决策性的信息支持。