数据挖掘 - 分类算法比较

随着计算能力、存储、网络的高速发展，人类积累的数据量正以指数速度增长. 对于这些数据，人们迫切希望从中提取出隐藏其中的有用信息，更需要发现更深层次的规律，对决策，商务应用提供更有效的支持. 为了满足这种需求，数据挖掘技术的得到了长足的发展，而分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多.

尝试将quora上的这个回答翻译了下. 如果你的训练集很小，高偏差/低方差的分类器（如朴素贝叶斯）比低偏差/高方差的分类器（如K近邻或Logistic回归）更有优势，因为后者容易过拟合. 但是随着训练集的增大，高偏差的分类器并不能训练出非常准确的模型，所以低偏差/高方差的分类器会胜出（它们有更小的渐近误差）.

本文主要研究基于贝叶斯算法及KNN算法的newsgroup18828文档分类器的设计及实现，数据预处理、贝叶斯算法及KNN算法实现工程源码下载见：. 对newsgroup文档集进行预处理，提取出30095 个特征词. 计算每篇文档中的特征词的TF*IDF值，实现文档向量化，在KNN算法中使用. 用JAVA实现了KNN算法及朴素贝叶斯算法的newsgroup文本分类器.

从分类问题的提出至今，已经衍生出了很多具体的分类技术. 下面主要简单介绍四种最常用的分类技术，不过因为原理和具体的算法实现及优化不是本书的重点，所以我们尽量用应用人员能够理解的语言来表述这些技术. 而且我们会在第4章再次给读者讲述分类算法和相关原理. 在我们学习这些算法之前必须要清楚一点，分类算法不会百分百准确.

ICDM（国际数据挖掘大会）2006年从18种提名的数据挖掘算法中投票选出了十大算法. 这18中提名数据挖掘算法分属10大数据挖掘主题，蓝色部分即为最终选出的十大算法：. 分类（Classification）. 统计学习（Statistical Learning）. 关联分析（Association Analysis）.

决策树仍是最好的数据挖掘算法：理由如下：. 决策树是白箱「white box」，意味着可以生成简单易懂的规则. 你可以通过查看决策树清楚明白各个分支，明白某个分支的影响，并且将其和其他分支进行对比. 决策树术为非参数「non-parametric」，意味着无需特定的数据分流. 决策树可以轻松应对连续变量和类别变量.

数据挖掘是商务智能应用中较高层次的一项技术，而商务智能中还包括数据仓库、ETL、联机分析、商业报表等多项技术. 数据挖掘在商务智能应用中提供的是一种自动化或半自动化的数据分析手段，利用数据挖掘用户将可以更加方便地发现数据的模式（其实就是用户关心的业务模式），用户还可以利用这些模式对某些符合特征的数据作出预测.

所谓关联，反映的是一个事件和其他事件之间依赖或关联的知识. 当我们查找英文文献的时候，可以发现有两个英文词都能形容关联的含义. 第一个是相关性relevance，第二个是关联性association，两者都可以用来描述事件之间的关联程度. 其中前者主要用在互联网的内容和文档上，比如搜索引擎算法中文档之间的关联性，我们采用的词是relevance；而后者往往用在实际的事物之上，比如电子商务网站上的商品之间的关联度我们是用association来表示的，而关联规则是用association rules来表示的.

                                                       数据挖掘十大经典算法. C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法.   C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： . 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； .

Apriori算法原理：. 如果某个项集是频繁的，那么它所有的子集也是频繁的. 如果一个项集是非频繁的，那么它所有的超集也是非频繁的. * @param data 数据集. * @param minSupport 最小支持度. * @param maxLoop 最大执行次数，设NULL为获取最终结果.