解析我国制造业的大数据晋级之路

面向大数据的信息获取和整合分析已成为工业4.0时代制造企业的必修课。越来越多的企业正在选择通过利用无数相互连接的数据库系统的支持，来获取越来越大量的数据，然后与企业的物流销售等系统融合分析，优化业务发展。然而对于制造业来说，大数据并非从天而降。事实上，自上世纪80年代制造业已经开始依靠历史数据库来管理大量相关的制造业务数据了。

　 　　洞察力从大数据开始 　　 　　曾经制造业的历史数据库关注的焦点在于通过专门的软件应用程序对相关数据进行有效地收集、存储、检索、按照时间序列显示和优化。历史数据库是含有一个以测点名称字段和时间字段为关键字的一张表，这张表的另外的一个重要的字段就是数值字段，用来存储测点的采集值，除了这些字段，还可以包含数据的状态，数据质量字段等。随着时间的变化，不断地将实时数据库中的实时数据进行压缩过滤，并更新磁盘历史数据文件中的表里的数据。用户可从此数据库中查询生产实时数据的历史样本值或历史插值数据。 　　 　　工程师、操作人员、管理人员都可以通过历史数据库来查看趋势变化，可以实现近实时关键指标（KPI）的跟踪，并能与实现性能的比较。通过历史数据库，相关人员还可对设备故障做出预诊断，提前发现潜在问题。 　　 　　正是由于准确有效的历史数据一直以来对工作持续的改进作用，从而，使得在制造业中，到现在还是有着丰富多样的自动化系统历史数据库解决方案。历史数据库解决方案的容量和吞吐量是非常容易辨识的标志，但，其解决方案的真正差异其实是聚焦在数据公开、方便的收集与分析方面，如果从多个分布源甚至包括不可靠的网络连接环境下，可靠有效的获取数据才是历史数据库解决方案的核心所在。 　　 　　工业数据关注的焦点 　　 　　虽然每个历史数据库中都包含某个核心的数据库，但真正使数据库成为发挥作用的应用软件程序，则是需要使数据成为优化的时间序列数据，即，温度、压力、流速等相关监测数据之间具有相关联的时间戳和参数，处理后的数据也被称为TVQ（时间、数值和属性）。同时，需要依据系统情况确认数据收集的频率，比如是每毫秒或一小时收集一次。通过时间戳将数据做分类，建立分类的数据库，以便更有效率的存储更大量的数据，以便更快速、轻松、更通用的完成对数据的检索。 　　 　　关系数据库，是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM首先提出，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为数据库架构的主流模型。简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。 　　 　　关系型数据库有着以下特点：1、容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解。2、使用方便：通用的SQL语言使得操作关系型数据库非常方便，程序员甚至于数据管理员可以方便地在逻辑层面操作数据库，而完全不必理解其底层实现。3、易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。 　　 　　目前，关系数据库广泛应用于各个行业，是构建管理信息系统，存储及处理关系数据的不可缺少基础软件，如ERP，MIS，EAM等系统。关系数据库也是用于分析数据之间的复杂关系的强大工具。但并不适合记录大量的高速运行的数据。幸运的是，结构化查询语言（SQL）的出现，使得关系数据库拥有了更强大的能力和手段，很容易适应其他类型的数据库，包括非关系型数据库。此数据库结构主要用于快速存储和检索数据，数以百万计数据可以被批量处理。这也意味着，可以将数据备份到应用上，如趋势分析或快速处理包。与关系数据库的对比，实时历史数据库可以记录，包括变量名、数值、属性和时间戳等文件。 　　 　　虽然数据存储越来越便宜了，但是，每年好几个TB的关系数据仍然是数据管理的一大难题。为了尽可能的保留实际数据的细节，同时又能节省内存，通过采用50:1的“低损失”压缩算法。 　　 　　数据的完整性 　　 　　数据的完整性一直是保证历史数据库实际应用价值的关键。如果用户不能相信的数据是准确和完整，历史数据库永远不能发挥它的能力成为实际工作改进的推动者。 　　 　　历史数据库中的数据可能是来自一个冗余的光纤网络连接成为单一的分布式控制系统（DCS），这种情况下，数据库的架构相对简单。但数据库中的数据的来源也可能是地理上分散的卫星或无线网络，如油田数据库，这种情况下，数据库不仅是分布式，同时，必须还是容错。 　　 　　越来越复杂的数据来源与网络情况，使得对分布式数据库提出了越来越高的要求，如果网络连接由于某种原因突然中断，则系统要及时启用本地历史数据库继续进行存储，直到网络连接恢复，并及时将本地存储的数据及时转发到系统终端。这样才能保证即使是网络可靠性参差不齐的情况，系统也能正常运行。最近，这种需求，导致了人们在历史数据库中引入了“家电”概念，旨在实现“开箱即用”式的数据采集、无线存储和转发功能，并以较低的价格实现定制化的解决方案。 　　 　　分布式历史数据库是帮助解决从工厂车间操作人员的企业决策者各层次的管理者不同的需求。历史数据库不仅可以提供设备实时操作情况以及趋势的关键绩效指标，甚至可以反映设备或者工厂层面的综合性能。