6 分类和预测

概念

分类&预测是有监督学习，聚类是无监督学习。

一个学数据挖掘的开发者的博客 | 博客

包含了决策树，神经网络相关的博客

KNN 算法

Python—KNN 分类算法（详解） | 知乎

KNN 算法是一种分类算法，它的思想是：如果一个样本在特征空间中的 K 个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

决策树

一文看懂决策树（Decision Tree）| 知乎

决策树原理详解（无基础的同样可以看懂）| CSDN

决策树 – Decision tree | 产品经理的人工智能学习库

ID3 算法

信息增益和信息熵 | 博客

熵（信息论）| wiki

ID3 算法的核心思想是：每次选择信息增益最大的特征作为节点，递归地生成决策树。

信息熵：表示随机变量不确定性的度量，即随机变量的不确定性越大，信息熵越大。

$I (S) = - \sum_{i = 1}^{n} p_{i} \log_{2} p_{i}$

$其中， p_{i} 表示第 i 个类别的概率。$

信息增益：表示得知特征 X 的信息而使得类 Y 的信息的不确定性减少的程度。

$G a i n (S, X) = I (S) - \sum_{v \in V a l u e s (X)} \frac{| S_{v} |}{| S |} I (S_{v})$

$其中， S_{v} 表示特征 X 取值为 v 时的样本集合。$

信息增益越大，表示特征 X 对于类 Y 的区分能力越强。

缺点

信息增益偏向于选择取值较多的特征，比如 ID，每个样本的 ID 都不同，那么信息增益就会很大，但是 ID 对于分类没有任何帮助。

C4.5 算法

C4.5 使用信息增益率来选择特征，信息增益率是信息增益除以特征的熵。解决了 ID3 算法的缺点。

CART 算法

Gini 系数生成决策树 | 博客

CART 使用 Gini 系数来选择特征，Gini 系数是衡量数据集纯度的指标，即数据集中随机抽取两个样本，其类别标签不一致的概率。

贝叶斯算法

朴素贝叶斯算法

朴素贝叶斯算法的前提：假设每个特征之间相互独立，即每个特征都是独立的，不会因为其他特征的变化而变化。

核心思想：

$P (C_{k} | X) = \frac{P (X | C_{k}) P (C_{k})}{P (X)}$

即，当给定一个未分类样本 X 时，计算它属于每个类别的概率，哪个概率大，就把它归为哪个类别。

直接寻找 $P (C_{k} | X)$ 并不合适，因为符合 X 的数据可能并不多（甚至可以是 0），算出来的概率可能不接近真实概率。

使用 $\frac{P (X | C_{k}) P (C_{k})}{P (X)}$ 代替会用到更多的数据，更接近真实概率。

在实际计算中，因为 $P (X)$ 对于所有类别都是相同的，所以可以忽略，只计算并比较 $P (X | C_{k}) P (C_{k})$ 的大小。

贝叶斯信念网络算法

神经网络算法

神经网络 | 博客

生成式和判别式模型

判别式模型和生成式模型的区别 | 知乎

一张图介绍判别式和生成式模型，左边是判别式模型，右边是生成式模型，判别式模型是直接对后验概率进行建模，生成式模型是对联合概率进行建模，然后通过贝叶斯公式求后验概率。

图片显示失败

支持向量机算法 SVM

SVM 支持向量机 | 知乎

分类准确率评估

错误率、精度、准确率、召回率、F1 度量 | CSDN

优化

装袋

把多个分类器/预测器组合起来

储存器管理

6 分类和预测

概念

KNN 算法

决策树

ID3 算法

缺点

C4.5 算法

CART 算法

贝叶斯算法

朴素贝叶斯算法

贝叶斯信念网络算法

神经网络算法

生成式和判别式模型

支持向量机算法 SVM

分类准确率评估

优化

装袋

提升

6 分类和预测 ​

概念 ​

KNN 算法 ​

决策树 ​

ID3 算法 ​

缺点 ​

C4.5 算法 ​

CART 算法 ​

贝叶斯算法 ​

朴素贝叶斯算法 ​

贝叶斯信念网络算法 ​

神经网络算法 ​

生成式和判别式模型 ​

支持向量机算法 SVM ​

分类准确率评估 ​

优化 ​

装袋 ​

提升 ​

6 分类和预测

概念

KNN 算法

决策树

ID3 算法

缺点

C4.5 算法

CART 算法

贝叶斯算法

朴素贝叶斯算法

贝叶斯信念网络算法

神经网络算法

生成式和判别式模型

支持向量机算法 SVM

分类准确率评估

优化

装袋

提升