集成学习之 AdaBoosting 一、基本思路 对于一个复杂任务来说, 将多个专家的判断进行适当的综合所得出的判断, 要比其中任何一个专家单独的判断好. 实际上就是谚语中 "三个臭皮匠顶个诸葛亮" 的道理. 对于分类问题而言, 给定一个训练样本集, 求比较粗糙的分类规则要比较精确的分类规则容易得多. 那么 AdaBoosting 就是从这些比较粗糙的分类规则中学习并得到一系列分类器

一、决策树 决策树是一种机器学习的方法. 决策树的生成算法有 ID3, C4.5 和 C5.0 等. 本文主要介绍 ID3 生成算法. 决策树是一种树形结构, 其中每个内部节点表示一个属性上的判断, 每个分支代表一个判断结果的输出, 最后每个叶节点代表一种分类结果. 例如在下图中, 使用 Yes 和 No 来表示出去玩和不出去玩两个分类结果. 首先对属性 Outlook 判断, Out

数值型数据的 NB 算法 一、数据处理 1. 发现问题 不同于之前符号型的数据, 数值型的数据在理论和实际上来说它的取值点是无穷的. 我们只能通过限定一段区间来说明概率. 如设考试成绩为 Score 则及格的概率为 \(P(60 \le Score)\) 是可以的, 但是如果说刚好及格的概率 \(P(Score = 60)\) 这个式子就为 0. 所以我们这里所做的工作就是把之前式

符号型数据的 NB 算法 符号型数据是指数据集中的数据是由字符或者字符串构成. NB (Native Bayes) 算法通常被翻译成朴素贝叶斯算法, 基于贝叶斯算法, 常用于分类问题. 同时这也是贝叶斯算法中最简单、最常见的一种. 一、 符号型数据集 在 https://gitee.com/fansmale/javasampledata 中可以获得 weather.arff 文件.

kMeans 聚类 一、聚类 监督式学习: 训练集有明确答案, 监督学习就是寻找问题 (又称输入、特征、自变量) 与答案 (又称输出、目标、因变量) 之间关系的学习方式. 监督学习模型有两类, 分类和回归. 分类模型: 目标变量是离散的分类型变量 回归模型: 目标变量是连续性数值型变量 无监督式学习: 只有数据, 无明确答案, 即训练集没有标签. 常见的无监督学习算法有聚类

基于 M-distance 的推荐 一、算法概述 所谓 M-distance, 就是根据平均分来计算两个用户 (或项目) 之间的距离. 令项目的 \(j\) 的平均分为 \(x_{.j}\) 采用 item-based recommendation, 则第 \(j\) 个项目关于第 \(i\) 个用户的邻居项目集合为 \[ N_{ij} = \{ 1 \le {j}' \le

kNN 分类器 一、算法概述 KNN 可以说是最简单的分类算法之一, 同时, 它也是最常用的分类算法之一. 注意 KNN 算法是有监督学习中的分类算法, 它看起来和另一个机器学习算法 Kmeans 有点像（ Kmeans 是无监督学习算法）, 但却是有本质区别的. 二、算法介绍 KNN 的全称是K Nearest Neighbors, 意思是 K 个最近的邻居, 从这个名字我们就能看