Historian数据上云压轴场, AWS IoT Core走起

——— GE Proficy Historian数据上传到亚马逊AWS IoT Core

2021/12/24 22:16:25

原著：通用电气数字集团 Takuya

译著：通用电气数字集团刘尊义

Historian数据上云系列压轴大戏开场，我们将在这一篇介绍GE Proficy Historian如何通过MQTT上传数据至亚马逊AWS IoT, AWS IoT Core是GE Proficy Historian首先支持的云IoT平台，AWS IoT Core也是全球应用最广的云IoT平台之一。

前面Historian数据上云系列的文章我们都是围绕数据和协议在转圈圈，飘在“云”上确实让我们不明觉厉，但也让我们很难具象。

其实物联网IoT现在已经悄悄走近我们的日常生活，共享单车就是最典型的物联网应用场景。单车的智能锁终端需要传输协议具备低能耗、低带宽、动态IP的特点，物联网最常用的MQTT协议就是用来解决这些问题的，MQTT协议有三个重要角色，Broker代理服务器、发布者和订阅者，他们三者之间就好比一个电子聊天室，我们订阅我们感兴趣的话题Topic，也可以作为发布者在聊天室里发布信息，聊天室建立在某个服务器上，他就是Broker，有很多人可以订阅这个聊天室，在这个聊天室（Topic）中的所有订阅者都可以接收到发布者发布的消息。

又好比下面这一幅数据分析可视化页面，他们可以很方便的通过Proficy Historian上传到AWS IoT平台，基于IoT平台实现世界各地无缝的数据访问和分析。

当然，云平台的数据安全性是不可回避的话题，因为他们需要通过不安全的环境传输数据，除了可以构建网络层的安全隧道，MQTT协议本身对于设备接入的合法性、消息体加密等使用了TLS／SSL等签名验签手段实现数据的安全接入。但不得不说，数据的传输是由机器完成的，但数据的辨析是由人完成的，所以，数据安全需要使用者建立良好的使用习惯，企业建立完整的管理制度，确保信息尤其是数据的辨析机制不泄露才能从根源解决问题。

书归正传，今天的测试我们仍将分三步进行：

1) AWS IoT 平台的准备；

2) 用MQTT.FX测试客户端和AWS IoT之间的连接

3) 配置Proficy Historian采集器从Historian上传数据到AWS IoT平台

AWS IoT 平台的准备

AWS IoT平台被称为IoT Core，需要注意，国外的AWS云和国内的是完全独立的两个域，无论从数据中心的位置还是管理控制台都是相互独立的，账号之间也是没有关联关系的，同时，在国内注册还必须要有企业的营业执照才能够注册，也就是说国内只面向企业用户使用。

首先，有几个此文中会用到AWS IoT平台的概念需要澄清一下，不然我们看到管理控制台的美式中文会有点蒙圈：

物品（Things）

物品就是要接入IoT Core的设备，针对物品配置安全证书和接入策略。

证书（Certificate）

证书用于物品接入IoT Core的合法性验证。

策略（Policy）

策略是IoT Core对活动和接入物品的控制策略。

AWS IoT Core准备步骤

我们在AWS IoT Core的准备工作大概可以分为以下五个步骤：

1) 创建证书；

2) 创建策略；

3) 创建物品；

4) 关联策略和物品到证书;

5) 提取终端节点Endpoint信息。

01创建证书

首先在AWS管理控制台导航栏选择物联网àIoT Core。

在IoT Core中选择安全à证书，在弹出的页面选择“创建证书”。

在创建证书页面选择“一键式创建证书”并点击“创建证书”按钮。

浏览器会弹出“已成功生成证书，请下载证书文件”的提示，接下来需要我们分别下载：该物品的证书、共有密钥、私有密钥和AWS IoT的根CA，下载完成后，单击“激活”按钮可以激活该证书。

点击AWS IoT的根CA的下载链接会进入根CA详情页，我们点击推荐的根CA证书。

在证书页面选择浏览器的“另存为”按钮，保存证书为AmazonRootCA1.pem文件备用。

最后，我们单击“附加策略”按钮向证书添加授权。

因为之前并没有创建过策略，所以这里会提示“未找到匹配项”，需要我们点击“创建新策略”按钮来创建新的策略。

02创建策略

当然，也可以通过导航栏进入创建策略会话。

从导航栏进入后点击“创建策略”按钮同样可以弹出创建策略画面。

在创建策略页面输入策略的名称，声明策略的操作和资源ARN如上图，并选中“允许”效果。

因为是测试项目，上图的声明让我们可以对所有资源进行所有的操作。正式环境可以根据需要选择不同账户的操作权限和资源权限。

设置完成后点击“创建”完成策略的创建。

创建完成后，可以在策略列表看到我们刚刚创建的策略并在浏览器提示“已成功创建策略”。

我们可以点击刚刚创建的策略名称，通过Json格式检查和修改已经创建的策略。

03创建物品

前面创建的证书和策略都是为了我们的设备，也就是”物品”可以安全的与IoT Core接口，这一步，我们就来创建物品。

在IoT Core的导航栏选择管理à物品，进入物品管理页面。

通过单击“创建物品”进入创建物品向导，首先需要选择要创建的物品数量，因为只是测试，我们选择“创建单个物品”, 然后单击“下一步”。

在指定物品属性页面，输入一个物品名称后点击“下一步”。

因为我们已经创建了证书，所以在下面这一步的配置设备证书页选择“此时跳过创建证书步骤”，然后点击“创建物品”。

提示创建物品成功并在物品列表能够看到我们刚刚创建的物品。

04关联策略和物品到证书

上面的步骤完成后，我们需要关联策略、和物品到证书，在IoT Core导航栏选择安全à证书，在证书页面选中前面创建的证书之后点击右上角的“操作”下拉框，先选择附加策略。

再弹出的将策略附加到证书窗口选中之前创建的策略，点击“附加”按钮。

接下来，我们再次点击右上角的“操作”下拉框，并选择“附加物品”，在弹出的将物品附加到证书窗口选中之前创建的物品，点击“附加”按钮。

关联成功后，我们可以点击证书名称，在弹出的证书详情页面可以看到被附加到此证书的策略和物品。

05提取终端节点Endpoint信息

最后，我们通过点击IoT Core导航栏的“设置”菜单，查看设备终端节点信息，复制终端节点的链接备用，它是由一组用户特殊ID和服务器数据中心域名组成的。

用MQTT.FX测试客户端和AWS IoT之间的连接

前面的准备工作已经完成，接下来使用MQTT.FX这个测试小工具测试客户端和AWS IoT Core之间的MQTT通讯链路。

点击MQTT.fx主界面菜单的“Extras”à”Edit Connection Profiles”设置AWS的Broker。

在Broker设置窗口点击“+”号添加一个新的Broker，按下面的提示填入信息：

Profile Name：命名这个Broker的名字；

Profile Type：选择MQTT Broker；

Broker Address：之前提取的终端节点Endpoint地址；

Broker Port：AWS IoT Core固定使用8883端口；

Client ID：在IoT Core创建的“物品”名称。

在认证信息框选择“SSL/TLS”，选择“TLSv1.2”并勾选“Enable SSL/TLS“复选框，选择”Self signed certificates“证书选项，并浏览之前下载的证书。

CA File：之前下载的根CA证书；

Client Certificate File：之前下载的“该物品的证书“；

Client Key File：之前下载的“私有密钥”。

信息输入后点击“OK“ 存Broker，并返回主界面，点击主界面的”Connect”按钮等待转台图标变为绿色MQTT.fx连接到AWS IoT Core成功，切换到Log标签可以看到Broker连接在“onConnect”状态。

接下来，我们测试订阅和发布数据，我们定义一个主题Topic并订阅它。

我们在发布标签向这个主题Topic发布一段信息。

接下来，返回订阅标签，可以看到被订阅的主题Topic已经被发布了一段信息。

最终，我们在IoT Core通过选择导航栏的测试àMQTT测试客户端，并填入主题Topic进行订阅，再次在MQTT.fx发布一段信息，验证AWS IoT Core的测试客户端可以接收到这段信息。

同样，我们在IoT Core发布一段信息。

也可以在MQTT.fx测试客户端中收到信息。

至此，我们可以确认，客户端和IoT Core之间的链路正常，当然，这一步测试不是必须的，如果您可以熟练使用Proficy Historian和AWS IoT平台，您可以略过此步骤，直接配置Proficy Historian将数据发布到AWS IoT平台即可。

配置Proficy Historian采集器从Historian上传数据到AWS IoT平台

GE Proficy Historian从9.0版本开始大大简化了采集器的配置、安装和管理，我们首先打开Historian Configuration Hub配置集成工作台。

点击中间区域的“Collectors”采集器标签，并点击“+”号添加一个采集器，但是，需要注意，如果你采用分布式和镜像架构，左侧的服务器列表会有多台服务器，这是因为Proficy Historian可以通过Configuration Hub统一配置多台服务器，本测试只需要选择你工作的服务器即可。

在弹出的添加采集器向导页面选择安装边缘采集器的机器和采集器类型，本测试我们选择“Simulation Collector”模拟采集器，接下来点击“Get Details”获取Historian采集器安装磁盘和路径。

需要注意，如果选择模拟采集器等其它类型的采集器将直接把采集器采集到的数据上传到AWS IoT平台而不在本地Historian数据库保存，如果想实现本地和云的数据同步保存，我们需要在这一步选择“Server to Server Collector”服务器到服务器采集器。

采集器选择完成后，点击“Next”，在数据源配置页保持默认并点击“Next”。

接下来这一步非常关键，我们在数据目标配置页面选择“MQTT”，会自动弹出Broker的配置信息，按照下面的指导填入信息：

HOST ADDRESS:填入IoT Core终端节点Endpoint的信息；

PORT:AWS IoT Core 的固定端口8883；

CLIENT ID: 填入IoT Core定义的“物品”名称；

TOPIC:填入自定义的主题Topic；

USERNAME:采用SSL/TLS认证模式，该字段无效，填入任意字符；

PASSWORD: 采用SSL/TLS认证模式，该字段无效，留空即可。

在SSL/TLS认证信息栏，按照提示分别填入第一步在AWS IoT Core下载的证书存储路径并选择“Next”。

其它信息保持默认，当然，如果我们是为远程服务器配置采集器，则需要我们输入Historian管理员的用户名和密码。

最后一步，为采集器服务器命名，其它信息保持默认，点击“Add”确认添加采集器。

自动返回采集器界面，浏览器弹出采集器添加成功的提示，同时可以看到采集器列表新增加了一行信息，并且采集器状态显示为“Starting”正在启动。

稍等片刻刷新浏览器即可看到刚刚添加的采集器转为“Running”运行状态，如果采集器没有自动运行或者需要停止数据采集，点击右上角的”Actions”下拉框即可实现采集器的启动、停止、重启、清除缓存等操作。

最后，我们打开Historian管理器，为这个采集器添加标签。在Historian管理器主界面点击“Tags”。

在Tags管理界面选择“Add Tags From Collector”。

在弹出的标签选择窗口选择刚刚创建的采集器并点击“Browse”浏览模拟器标签，在浏览结果栏选择一个或多个标签后，点击“Add Selected Tags”，这时，我们可以回到AWS IoT Core的MQTT测试客户端验证。

见证奇迹的时刻到了，我们可以在IoT Core的MQTT测试客户端看到Proficy Historian发布的JSON数据包并不断刷新。

最后，可以验证一下，我们在Historian管理器查看这个标签的10个最新值是没有返回信息的，也就是说，采集器类型没有设置为“Server to Server”将不会在Historian数据库中存储数据，如果有需要，您可以将采集器类型设置为“Server to Server”尝试将数据同步上传到Historian数据库和IoT Core。