技术文章

当前页面: 首页 >技术文章 >中小企业数据挖掘应用方案

中小企业数据挖掘应用方案

--中小企业数据挖掘应用方案

供稿:工控网 2009/12/11 10:26:00

0 人气:1053

  • 关键词: 中小企业 数据挖掘 信息化
  • 摘要:中小企业的数据量不够能做数据挖掘吗?数据质量差能挖掘出有用的知识吗?分析证明,不同信息化程度的企业可以部署不同的数据挖掘方案。

中小企业的数据量不够能做数据挖掘吗?数据质量差能挖掘出有用的知识吗?分析证明,不同信息化程度的企业可以部署不同的数据挖掘方案。

数据挖掘对提升管理决策质量的促进作用,很多企业跃跃欲试。但中小企业因为资金、技术、人力资源等的限制,加上信息化水平参差不齐,因此有人发出了疑问,中小企业是否需要做数据挖掘?数据量不够能做吗?数据质量差能挖掘出有用的知识吗?回答是肯定的。

目前,中国的中小企业的信息系统存在四种状态:

一、没有信息系统。有相当比例的小企业目前还没有信息系统,但已经认识到管理信息系统的重要,正在规划中。首先实施什么信息系统,如何实施,实施费用和效果等是他们最为关心的问题。

二、有信息系统,信息系统不完整。有很多中小企业目前已经实施了一些管理信息系统,如财务管理、库存管理等。但数据的完整性和一致性差,如缺少客户业务交易的信息、产品销售历史记录等,不能通过信息系统生成完整的报表,需要人工录入一些数据。如何有效利用现有的系统,根据业务发展需要,下一步需要实施什么信息系统,如何生成完整的电子报表等是他们最为关心的问题。

三、信息系统齐全,数据质量差。不少中小企业目前具备了较为完整的信息系统,如ERP、DRP、POS、SCM、CRM等,已经实现网上数据传输和报表自动生成。但不同系统来自不同的供应商,异构数据库之间的集成难度大,使得各系统形成信息孤岛。企业反映“凭证满天飞,报表一大堆;一家一个数,责任互相推;决策无依据,老总难指挥”,数据质量问题已经成为影响信息系统发挥作用,提供决策支持的瓶颈。如何充分利用这些管理信息系统,从信息化负债变为利润,为高层领导决策和业务的提升带来价值等是他们最为关心的问题。

四、信息系统齐全,数据质量较好。少数的中小企业达到了这个阶段,并已经用数据仓库OLAP等对数据进行初步分析。但这些分析侧重历史数据的展示,对未来业务、决策的指导方面有待于提高。如何实现决策科学化,实现数据增值等是他们最为关心的问题。

总体来看,中小企业人才缺乏,资金有限,迫于市场激烈竞争的压力,往往追求短期效益。很多企业没有听说过数据挖掘,听说过数据挖掘的企业对实施数据挖掘这样投资大,技术含量高,实施周期偏长,涉及面广的项目缺乏信心。

针对中小企业的现状,我们设计了如下的解决方案:

一、对没有信息系统的中小企业,做基于数据挖掘的信息系统规划。

基于数据挖掘的信息系统规划分5个步骤:

1、 根据企业战略和竞争环境,确定决策支持的商业目标;

2、 根据商业目标确定需要哪些数据,形成数据地图;

3、 根据挖掘的商业目标和数据地图进行信息系统规划,确定实施的软件及其实施顺序等;

4、 实施规划好的信息系统,积累数据;

5、 数据积累达到数据挖掘的要求时,实施数据挖掘项目,得到挖掘结论用于决策。

这样可以减少信息化过程中的弯路,使信息化在短期内即可为企业高层的决策提供支持,同时不断完善信息系统,进入良性循环。

二、对信息系统不完整的企业,从数据挖掘的需要出发,做信息系统的完善。

基于数据挖掘的信息系统完善分5个步骤:

1、 根据企业战略和竞争环境,确定决策支持的商业目标;

2、 根据商业目标确定需要哪些数据,形成数据地图;

3、 根据挖掘的商业目标和数据地图判断现有信息系统是否能够满足数据挖掘的需要,如果不能,确定要增加的软件系统及其实施顺序等;

4、 实施补充的信息系统,积累数据;

5、 数据积累达到数据挖掘的要求时,实施数据挖掘项目,得到挖掘结论并用于决策。

这样可以根据企业决策的需要,高效率地完善信息系统,时间短,见效快。

三、对信息系统齐全,数据质量差的企业,通过数据挖掘咨询提高数据质量。

从数据挖掘的角度发现现状数据和目标数据之间的差距,提供数据挖掘咨询(包括进行挖掘目标、数据质量分析,从数据挖掘角度提出改进建议等),采取调整数据结构、存储方式、汇总方式、保留时间等,使数据的完整性和准确性提高,逐步提高整体的数据质量,缩小数据质量的差距。循环进行挖掘试验,采取改进措施,差距逐渐减小,高质量的数据逐渐替换低质量的数据,使数据质量逐步提高,在某一时刻量变引起质变,由数据挖掘咨询、试验阶段进入数据挖掘项目正式实施阶段,一旦数据挖掘的结论为业务决策带来价值,公司管理层、业务人员就会更加重视信息系统数据的质量,也会采取一些促进信息化建设的措施,如增加投入,加强管理,重视数据分析等,这样对数据的需求增加,会促使更多的数据集成,新数据集成后又会发现质量问题,进入下一循环的数据挖掘咨询、项目实施。这种螺旋上升式的循环实施,不但实现了不可挖掘数据到可挖掘数据的转换,还驱使企业信息化程度和质量的整体提升。

四、对信息系统齐全,数据质量较好的企业,直接实施数据挖掘项目。

中小企业的数据挖掘项目可以采用专一功能的数据挖掘软件,同时建立知识平台,人机结合,不断积累知识。

另外,对业务范围较广,企业自身数据不足的,可以挖掘网络信息,得到供应商、客户群、竞争环境等的知识。实践证明,数据挖掘对中小企业同样具有深远的意义。当然,受各种条件限制,中小企业在实施数据挖掘项目的过程中,还会遇到一些问题,如软件集成和更新费用高、人员维护能力差,以及挖掘网络资料的技术要求较高等,MCLP数据挖掘软件是一种操作简单、成本较低的挖掘工具,该软件该软件采用以线性规划为基础的多目标决策法,给定一组类别和一组评价变量,用一些相关的边界变量去区别类别。最简单的多目标描述为既求分类重叠的最小化又求类别之间距离的最大化,其结果为最满意解。

这个方法有如下特点:1、建模型过程简单明了;2、可灵活的修改参数;3、容易用多类别分析;4、预测可靠度和精确度较其他方法高。这种方法在研究阶段已成功得用于美国著名信用卡公司两种有代表性的实际信用卡历史数据集的分析。第一种的6000个数据来源于美国二十八个州的6000个居民的个人信用卡历史记录。第二种来源于一家银行所发行的6023个信用卡记录。经过计算机三十多次变换参数的分析,结果表明模型在分析精度上非常高。当数据集的数据个数超过3000,模型呈现出成熟性特征,即分析精度趋向稳定和可靠。此外,由于近年计算机芯片的快速发展,计算速度的成倍提高,大大增加了这种模型商业应用的价值。

最优线性数据挖掘方法不但已用于世界上最大的信用卡公司(First Data Corporation)的商业操作,同时在信息安全和艾滋病研究中取得了领先成果,并尝试进行基因库的研究。最优线性数据挖掘的评分系统知识管理法正成为信用卡、个人资信和企业资信数据分析的前沿技术。

图1基于数据挖掘的信息系统规划

图2 基于数据挖掘的信息系统完善

图3数据挖掘咨询提高数据质量

图4:数据挖掘项目实施方案