数据应用日益广泛 2017大数据十大趋势预测

随着对不同类型、不同体量数据的结构化存储、批量处理以及价值挖掘需求的增多，2016年注定是大数据里程碑式的一年。

数据应用日益广泛 2017大数据十大趋势预测

　　2017年，支持大量结构化和非结构化数据的系统将继续增长。市场需要数据平台来帮助数据管理人员管理和保护大数据，同时允许最终用户进行数据分析。这些系统将逐步成熟，在企业内部的IT系统中更好地运行。

　　1、数据处理变得更加快速，数据也变得更加易于使用

　　选项扩展将加速Hadoop

　　当然，你可以在Hadoop上执行机器学习和情绪分析，但人们常常会问的第一个问题是：交互式SQL(结构化查询语言，一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统)究竟有多快?毕竟，SQL相当于企业用户的“导管”——他们希望使用Hadoop数据来更快的获得可复用的BI仪表盘(一种向企业展示度量信息和关键业务指标即KPI现状的数据虚拟化工具)，或者是进行一些探索性分析。

　　这种对速度的需求促使用户采用访问速度更快和执行效率更高的数据库，如Exasol、MemSQL，或者是类似于Kudu这种基于Hadoop的商店，当然还需要能够更快查询数据的技术。诸如SQL-on-Hadoop引擎(Apache Impala，Hive LLAP，Presto，Phoenix和Drill)和OLAP-on-Hadoop技术(AtScale，Jethro Data和Kyvos Insights)这样的数据查询加速器将进一步模糊传统数据库与大数据世界的边界。

　　2、大数据不再只是Hadoop

　　专门基于Hadoop开发的工具已过时

　　在过去的几年中，随着大数据浪潮来袭，数种为了满足Hadoop分析需求的技术兴起。但是，身处复杂，异构环境中的企业不再希望仅为一个数据源(Hadoop)采用孤立的BI访问点。他们需要的答案被埋没在一大堆数据源中，从记录系统到云端，再到来自Hadoop和非Hadoop源的结构化和非结构化数据。(顺便说一句，甚至连关系型数据库也正在为大数据趋势做准备。例如，SQL Server2016于近日添加了JSON支持)。

　　在2017年，客户将会需要对所有数据都进行分析。不依赖于数据源的平台将会茁壮成长，而专为Hadoop而设计的平台和未能跨应用部署的平台将被弃用。Platfora的退出便是这一趋势的预示。

　　3、相关组织将利用数据湖(DataLake)来实现价值

　　数据湖就像一个人造水库

　　数据湖就像一个人造水库。首先你要建造一个水坝(构建一个集群)，然后填满水(数据)。一旦建立了湖泊，你将开始因为各种目的而使用这些水资源(数据)，如发电，饮用以及各种消遣(预测分析，机器学习，网络安全等)。

　　而今，保有数据湖里的数据已经变成了一种为了保留而保留的行为。在2017年，这将随着Hadoop业务的收紧而改变。各个组织要求可重复的并且敏捷地使用数据湖，以便更快地获得响应。在确定对人事、数据和基础设施的相应投资之前，企业会更加慎重的考虑业务成果。这将促进业务和IT之间的强力耦合。而自助服务平台作为分析大数据资产的工具将获得更深入的认可。

　　另外，公司还将关注业务驱动型应用，避免数据湖陷入困境。在2017年，企业机构将从“构建未来”的数据湖应用转向业务驱动型数据应用。当今世界需要分析和操作能力去触及客户、处理索赔并且连接到个体的不同设备。

　　举例而言，任何商业网站需要提供实时的个性化推荐和价格查询。医疗健康型企业必须处理有效的索赔并且运用分析运营系统来防止索赔欺诈。媒体公司需要通过机顶盒提供个性化的内容。汽车制造商和汽车共享公司则要交互运营其车辆和司机。这些案例的实施交付均需要由一个敏捷平台来实现，同时提供分析和运营的处理，跨越后台分析和前台运营进行整合，提升了商业价值。

　　4、成熟的架构拒绝通用型框架

　　Hadoop不再只是一个用于数据科学用例的批处理平台

　　Hadoop不再只是一个用于数据科学用例的批处理平台。它已经成为一种专为特殊分析而架设的多用途分析引擎，甚至被用于日常工作负载的操作报告——传统上这项任务是由数据仓库(大量数据提取和分析的工具)来处理的。

　　在2017年，各个组织将通过特定的用例的架构设计来满足现存的混合需求。他们将研究一系列的因素，包括用户角色模型、访问频率、数据速度和聚合级别等，然后才能提交合适的数据策略。这些现代化的参考架构由需求驱动，他们将以某种方式将最好的自助服务数据准备工具Hadoop核心和最终用户分析平台结合起来，以便可以根据这些需求进行重新配置。这些架构的灵活性将最终推动技术选择。

　　5、推动大数据投资的是数据的多样性，而不是体量和速

　　Gartner将大数据定义为“三高”

　　Gartner将大数据定义为“三高”：高容量，高速率，高品类的信息资产。正如New Vantage Partners最近的一项调查结果所示：虽然三个特性都在凸显，但其中，多元化无疑正成为大数据投资的主导推动力。

　　随着企业寻求整合更多来源并关注大数据的“长尾”，这一趋势将更加明显。从自由模式的JSON到嵌入式的数据库(如关系数据库和非关系数据库)，到非平面数据(如Avro，Parquet，XML)，数据格式正在成倍增长，连接器变得至关重要，它将不同格式的数据变成统一的表达/它让不同格式的数据之间实现互通。在2017年，为零散的、不同的资源提供即时连接的能力，将成为评估一个平台能力的重要方面。