石化企业MES数据集成平台的设计与实现_石化_

石化企业MES数据集成平台的设计与实现

2011/4/19 13:45:00

1 引言
过去的10年，是信息技术大踏步进军石化领域的10年。石化行业的计算机应用经历这十几年的不断发展，已经建设了大量的应用系统，如实时数据管理系统、生产调度管理系统、计划优化排产系统、质量管理系统、综合统计系统、设备管理系统、财务管理系统、销售管理系统、物资供应管理系统、计量管理系统等等。受当时的技术、资金和观念认识的限制，这些系统基本上是采用按需设计，独立开发或独立引进的方式实施的，系统与系统之间缺乏统一规划，造成了今天企业“信息孤岛”林立的局面。表现在数据组织方面就是：数据与应用系统紧密联系在一起，依赖的硬件平台、采用数据库管理系统各不相同，数据模型、数据结构、数据的表现形式也不尽相同，它们构成了企业的异构数据源。

随着企业生存环境的不断变化和CIMS、敏捷制造及虚拟企业等以信息化为特征的先进制造技术的不断涌现，企业越来越需要集成异构数据源，实现数据共享以推进先进制造技术在企业的应用和实施。为此科研机构和企业投入了大量的精力和人力研究异构数据的集成问题，提出了一系列的解决方案。比较常见的集成方法有：联邦数据库#数据仓库、数据访问网关和基于知识的信息集成等。论文通过对上述集成方法的研究，结合石化企业数据管理的现状和未来的应用需求，设计了面向MES的数据集成平台，通过该平台可以将企业与生产相关的各类数据资源进行整合，对企业现存的异构数据提供统一的表示、存储和管理，满足MES系统的数据需求。

2 石化企业MES数据集成需求

2.1 石化企业MES数据组织现状

制造执行系统(Manufacturing Execution System)是美国管理界90年代提出的新概念。MES国际联合会对MES的定义是：MES能通过信息传递对从订单下达到产品完成的整个生产过程进行优化管理。MES的关键是强调整个生产过程的优化，在优化的过程中，它需要收集和处理计划部门下达的生产计划数据及生产过程中产生的大量的实时数据，并对实时事件及时处理。即MES要与计划层和控制层保持双向通信能力，从上下两层接收相应数据并反馈处理结果和生产指令。作为计划层和控制层的衔接层，它的地位非常重要，它所管理的数据正好弥合目前企业普遍存在的计划层和控制层的数据狭缝。

从企业应用系统体系结构看，MES作为面向制造的系统必然要与企业其它生产管理系统有密切关系，MES在其中起到了信息集线器的作用，它相当于一个通讯工具为上层应用系统提供生产现场的实时数据，为下层系统提供指令数据。因此MES层管理的数据必须是统一的无二义性的且易于交换和共享。但是目前企业采用的数据组织方式有孤立的数据组织方式和自然演化的数据组织方式，这两种方式都很难满足上述要求。

在孤立的数据组织方式下(参见图1)，数据资源是为某个特定的应用系统而组织。数据被各个应用系统独享，数据与数据之间彼此隔离，互不匹配，互不共享，造成“信息孤岛”，甚至面向应用的业务逻辑和处理代码也和数据相融合，这些数据资源无法直接集成，而且数据大量冗余。

图1 孤立的数据组织方式下的信息孤岛

自然演化的数据组织方式是在企业较长的发展过程中逐步形成的，其基本操作是数据抽取。数据抽取搜索整个文件或源数据库，使用某种标准选择合乎限制的数据，并传送到目的数据库。企业为了利用和保存原有应用系统的数据资源，常常采用数据抽取为满足新的应用生成的新的数据资源。图2显示基于抽取处理的自然演化的数据组织方式的形成过程：起初是抽取，随后是抽取之上的抽取，接着是在此基础上的再次抽取，如此等等。当一个企业以放任自流的态度处理整个硬、软件体系结构时，就会出现这种由失控的抽取过程生成的结构。

图2 基于数据抽取的自然演化的数据组织方式

采用自然演化的数据组织方式会带来很多问题，主要有：

数据缺乏可信度：在自然演化的数据组织方式下，不同的抽取路径可能带来不同的数据，其原因是多方面的，如数据无时基、抽取算法的差异、抽取的多层次等等。

数据的生产率不可预测(或称为数据的生产率低)：由于抽取的多层次，应用系统无法明确知道数据源的准确位置;另外由于抽取算法的多样性，应用系统也无法确定数据的真实性。

抽取算法难度大：各个数据库之间的不一致、冲突不可避免，抽取难度大。

数据的高度冗余。

从本质上讲，无论是孤立的数据组织方式还是自然演化的数据组织方式，都是为了某个具体的应用而建立的，只反映了局部的数据结构。随着企业的发展，对应用系统的数据需求也在持续变化，原有的数据组织方式已远远不能适应企业的需求，也阻碍了企业信息化向纵深发展，因此建立一个面向整个企业的可扩展的高效的数据集成平台，提供一套通用的全面的接口体系，使得构筑于该平台之上的企业应用不再和特定的工具绑定已成为企业的共识。

2.2 MES数据集成的需求

石化经过十几年的发展，开发了很多应用系统$积累了很多历史数据。同时作为流程行业的代表，其业务流程具有连续作业、流程固定、产品品种相对固定、物流不可间断等行业特点。另外，国内石化行业的组织机构又兼有大型企业和国家事业单位的成分。这些都对各个应用系统的数据类型、数据结构、数据关系等产生了很大的影响，大大提高了企业数据集成平台设计的复杂性。通过对多家石化企业的数据集成的调研分析，得知石化企业的数据集成平台应满足以下需求：

(1)实现全局化的数据需求和局部的遗留数据的集成

石化行业的早期信息化建设是缺乏统一规划的，即在某些局部开发了相应的信息系统，这些系统都是在独立环境下开发的“信息孤岛”，同时伴随了大量的“数据孤岛”。现在，软件工程和系统观点的发展要求企业在信息化建设中从全局考虑应用系统的规划，这样产生了全局化的数据需求。全局化的数据需求和局部遗留数据的不一致、冲突以及信息冗余是不可避免的，必须作集成处理。

(2)实现大型分布式异构环境下的数据集成

石化企业规模庞大，往往是由地理上分散的多个部门所组成，所以其数据集成首先是分布式环境下的数据集成。另外，数据赖以存在的软硬件环境是多样的异构环境，这里异构的概念是复杂的，包括：

不同型号的计算机硬件系统：Compaq Alpha、HP-UX、IBM AIX等;

不同的OS：Microsoft Windows、Uinx等;

不同的DBMS：Oracle、Sybase、SQL Server、Informix、DB2等;

不同的系统运行架构：Client/Server、Browser/Server、Multi-tie等。

(3)完成实时数据库(历史数据库)和关系数据库的内在集成

在石化企业中，生产数据分散在装置一级的DCS控制系统上，这些工程数据数据类型复杂，并要求较高的实时性，需要将实时数据库和关系数据库进行整合，才能使管理人员准确、及时地获得决策所需的相关数据，提高决策的准确性和实时性。

(4)实现多介质数据的集成

石化企业中包含结构化的数据，也包含非结构化的数据(如图形、工艺规程、NC代码等);数据关系的复杂性还表现在数据间存在复杂的语义联系(如数据对象的继承和递归等)。另外，石化行业中的数据形式是丰富的，是多介质的，包括：关系数据库、实时数据库、HTML文档、XML文档、TXT文档、EXCEL文档、常用图像格式，如BMP、WMF、GIE、JPG等和多媒体数据等等。

总之，石化企业的数据集成平台需要按照统一的生产数据模型将生产数据进行重新组织分类，完成异构数据源的集成并向上层应用系统提供一致的快速的数据共享服务。数据集成平台在实现上述集成需求的过程中，首先应保证数据的一致性。一致性包含以下几个方面：数据源一致、数据的命名规则一致、数据的表示方式一致、数据的类型一致、数据的语义一致、数据的度量一致等。

3 石化企业MES数据集成平台的构造

3.1 数据集成平台的体系结构

为了实现企业异构数据集成，满足企业日益发展的业务需求和功能需求，对于如何建立一种统一的且易扩展的数据集成平台，研究人员展开广泛而深入地研究，提出了一系列的解决方案。

美国Stanford大学设计了一个专门用于管理半结构化信息的数据库管理系统——Lore可以对半结构化数据(OEM)和XML数据集成存储和管理。Lore包含标准数据库的一些特性，如：多用户支持、日志和恢复