大数据时代的有色大数据

最早提出大数据时代到来的是全球知名咨询公司麦肯锡。麦肯锡称，数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据已成为云计算、物联网之后IT行业又一大颠覆性的技术革命。

　　传统的统计数据往往是通过数字来表达的，而在大数据时代，我们面临更多的是非结构化的数据，比如图像、文本、日志，还有比如百度的搜索数据（百度访问的网页有几千亿个，每天处理的数据量是100个PB，这也是大数据时代一个数量级的象征）。这些数据都从微观层面反映了社会经济、人们日常生活行为的方方面面。如果我们能够把现有的这些数据都收集起来进行深入的分析和挖掘，就会发现这些数据当中隐藏的更深刻的规律和现象，就能更好地服务于政府决策和社会各方面的需求，大数据的真正价值就体现在这里。

　　如今，数据科学与商业智能正在发生深刻变化，不仅仅是技术和能力上。随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。给大家印象比较深的是今年1月，央视晚间新闻推出“据说春运”特别节目，首次采用百度地图LBS定位的可视化大数据播报国内春节人口迁徙情况。在业界看来，这正是大数据首次以普通消费者能看懂的方式被展现在电视屏幕上。可以说，大数据时代正向我们走来。

　　从宏观政策来看，大数据是具有国家战略意义的新兴产业。《“十二五”国家战略性新兴产业发展规划》中提出支持海量数据存储、处理技术研发与产业化。

　　而发掘数据价值、征服数据“海洋”的动力就是云计算。互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”（1024TB）为单位的结构与非结构数据信息的新时代。在云计算出现之前，传统的计算机是无法处理如此量大、并且不规则的“非结构数据”的。以云计算为基础的信息存储、分享和挖掘手段，可以低价、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。通过云计算对大数据进行分析、预测，会使得决策更为精准，释放出更多数据的隐藏价值，从而获得更多有价值的信息。以购买飞机票为例，目前我们主要是通过增加提前预定的时间才能享受到较高的机票折扣，但是现实往往不是这样，有时会在出发前一天购买到更低折扣的机票，原因可能是众多机票代售公司在飞机起飞前一天仍然有未售出的座位，为了减少损失不得不以更低的折扣售出，所以会造成之前享受的折扣没有比临起飞前低的情况，这就造成提前购票折扣低的规律往往起不了作用。但如果引进了数据分析，确实有规律可循。首先建立一个数据预测系统，这个预测系统将建立预售前一段时间（比如30天）内价格波动样本。价格波动，机票降价会因为很多没卖掉的座位、季节性原因、不同航空公司、早晚差别、周六晚上不出门等因素来预测未来机票价格的走势，通过一个数据库，系统进行预测时，预测的结果由每一条航线上每一架飞机内的每一个座位一年内的综合票价纪录而得出。最后通过可能多达几千亿条飞行数据记录，预测出你所需要的航班最低票价。

　　有色金属是国民经济发展的基础材料，航空、航天、汽车、机械制造、电力、通讯、建筑、家电等绝大部分行业都以有色金属材料为生产基础。有色金属工业是国家的重要产业部门，是国民经济建设的重要支柱。随着高新技术发展，对有色金属的产品结构、产品质量和数量提出了越来越高的要求，未来有色金属行业的竞争将非常激烈，只有那些能不断提升核心竞争力与价值的企业才能最终生存下来，并获得丰厚的利润，而信息化、数据库的建立和应用在未来企业获得核心竞争力上将发挥至关重要的作用。

　　2013年，我国9276家规模以上有色金属工业企业（含黄金、稀土）实现主营业务收入52695亿元；2014年1~6月，全国十种有色金属产量累计达2089万吨。中国有色网。铜、铝、铅锌、钛、黄金、镍、钨、锡、稀土金属、白银、钼、镓、锑等几十种有色金属产品产量数据分析、进出口贸易分析、区域发展分析、重点企业运营状况分析、产业政策环境分析以及有色金属股票、期货指数预测等无不是与各种数据紧紧相连。有色金属行业必将成为近十年大数据应用的重要战场。

　　如何建设和成就有色大数据，一是要充分利用现代化信息手段，特别是计算机和网络技术的应用。注重数据的采集过滤、分类分析，奠定大数据基础工作；二是方法手段的更新。有色行业的信息化，不可能一步到位，而是采用最新的计算机和网络技术手段逐步建立起数据库体系。先从一个金属品种开始，建立一个金属品种的信息网和这个小行业的信息数据库，比如可先从电解铝开始，探索经验，然后逐步建立铜、铅、锌、镍、锡、锑等其他金属品种的行业信息网和行业数据库，然后再把分品种的信息网和数据连接在一起形成有色行业的信息网和数据库；三是建立有色大数据中心，就像百度在山西阳泉建立百度云计算中心，中国电信、中国移动、中国联通在贵阳建立数据中心一样，有色金属行业根据实际适时适地建立大数据中心。通过数据中心对各种海量的所需数据的整合、筛选、分析、组合，最后形成终端用户所需的数据资源。