机器学习入门

机器学习问题常用技术：         决策树         神经网络         支持向量机         贝叶斯分类         序列分析 聚类 分类         最近邻，k近邻，改进近邻 目前有多种比较成熟的算法，如贝叶斯分类、近邻法、决策树、神经网络、支撑向量机等。其中贝叶斯算法被认为是效果良好的算法并被诸多学者所使用。 应用驱动的机器学习方法 1、流形机器学习：稀疏数据的非线性方法 (特征抽取)。 2、增强学习：对变化环境适应(机器人)。 3、多实例学习：半监督学习(药物设计)。 4、ranking学习：需求是事物排序的学习(搜索引擎)。 5、数据流学习：大量数据快速过滤(有害信息过滤)。 有监督方法：                  线性学习机LLM                  K最近邻法KFA                  SIMCA法   无监督方法：                   因子分析FA                   主成分分析PCA                    独立成分分析ICA                    非线性成分分析 NLCA                     聚类分析clustering       半监督学习：                     EM                      tsvm                       Co-training                     Self-training                          Graph-based                1989年，Carbonell指出机器学习有4个研究方向：连接机器学习、基于符号的归纳机器学习、遗传机器学习与分析机器学习．十年过去了，1997年，Dietterich提出了另外4个新的研究方向：分类器的集成(Ensembles of classifiers)、海量数据的有教师学习算法(Methods for scaling up supervised learning algorithm)、增强机器学习(Reinforcement learn—ing)与学习复杂统计模型(Learning complex stochastic models)[5]．在理论上，我们可以将其进一步归纳为三类不同的学习理论： 统计机器学习理论，海量数据的符号机器学习理论、基于适应性的机器学习理论。 将讨论聚焦在当前的热点问题上，由此，我们将主要讨论下述四类机器学习的问题：(1)统计机器学习理论，(2)集成机器学习方法，(3)基于符号的归纳机器学习理论，(4)增强机器学习理论。（在理论上，集成机器学习方法可以归入统计机器学习理论，但是，在技术上，这种方法具有重要的价值，因此本文中，我们将其作为一种独立的机器学习类型进行讨论） 特征的提取是分类系统中最关键的部分之一．特征提取的好坏．直接关系到分类的性能基于判别熵最小化的特征提取。 机器学习算法的重要理论基础是经典的统计学，它的主要研究内容是样本数目趋于无穷大时的渐进理论。基于VC理论的创造性机器学习方法SVM(Support Vector Machine如果研究者忘记SVM所基于的统计基础，就与Vapnik的本意相悖了20世纪90年代中期，Vapnik和他领导的AT&T Bell实验室小组提出了基于统计学习理论、核函数映射理论的支持向量机(support vector machine，SVM)学习算法 ]，这是一种典型的小样本机器学习算法，它一经提出便以其卓越的理论性能、良好的泛化性能引起了机器学习领域研究者的广泛关注。当前，SVM在高光谱遥感影像解译、模式分类 等领域都得到了十分成功的应用，它已经成为研究者用于解决小样本学习问题的一种重要手段。