过拟合，过拟合的介绍

本文目录一览

1，过拟合的介绍
2，什么是过度拟合overfitting
3，数据挖掘中的过度拟合是什么意思
4，什么是过拟合
5，神经网络什么过拟合什么是欠拟合
6，过拟合的数学解释

1，过拟合的介绍

为了得到一致假设而使假设变得过度复杂称为过拟合。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

过拟合的介绍

2，什么是过度拟合overfitting

在用一个函数拟合样本点的时候，如果为了迁就样本点而使用一个过分复杂的函数，就叫做过拟合

给定一个假设空间h，一个假设h属于h，如果存在其他的假设h属于h,使得在训练样例上h的错误率比h小，但在整个实例分布上h比h的错误率小，那么就说假设h过度拟合训练数据。

什么是过度拟合overfitting

3，数据挖掘中的过度拟合是什么意思

在数据挖掘中一般你通过一定量打过标签的训练数据来训练模型，然后再使用训练的模型对测试数据进行预测。但是，训练数据不可能涵盖所有的样例，假设你要做的是预测房价，模型是一条曲线，如果你的这条曲线非常完美的通过了训练数据中所有的点，那么你的模型很有可能就是过拟合状态的，就是对训练数据来说过于完美而偏离了真实的曲线，从而导致预测不准。

数据挖掘中的过度拟合是什么意思

4，什么是过拟合

过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别！

对于一个监督学习模型来说，过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂。对于特征集过小的情况，称之为欠拟合（ underfitting ）对于特征集过大的情况，称之为过拟合（ overfitting ）

5，神经网络什么过拟合什么是欠拟合

欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和测试误差之间的差距太大。通过调整模型的容量(capacity)，我们可以控制模型是否偏向于过拟合或者欠拟合。通俗地，模型的容量是指其拟合各种函数的能力。容量低的模型可能很难拟合训练集。容量高的模型可能会过拟合，因为记住了不适用于测试集的训练集性质。

过拟合现象一般都是因为学习的过于精确，就好比让机器学习人脸，取了100个人的脸训练，但是由于你学习的过精确，导致除了这个样本100人外其他的人脸神经网络都认为不是人脸，实际我们只需要学习人脸的基本特征而不是详细到人的皮肤细腻眼睛大小等过于细致的特征，这样可以保证机器还是能识别别的图片中的人脸的

6，过拟合的数学解释

首先，分类器本质上是一个数学优化问题，用最常见的最小二乘拟合举例，优化目标如下：「对于所有样本点，拟合函数在样本点处的函数值和样本点处实际的函数值之差的平方和最小」显然这是一个均方误差最小（MSE）准则。如果拟合函数足够好，那么这个函数值为零。现在我们换一种思路，假使一定要让MSE准则为零，可以得到：1、线性函数只能表达直线上的样本点，因此样本点不在同一条直线上的时候，上面的MSE准则函数值一定严格大于零。因此想让这个函数等于零，样本点至多不超过两个（暂不考虑解不存在的奇异情况）；2、对于任意三个点，使用二次函数能够保证MSE准则等于零（包括三点共线的退化情况）；......n、对于任意多个点，总能找到一个足够高次数的多项式，使得对于所有点的MSE准则函数为零。我们称上述拟合效果为一个给定阶次多项式的「表达能力」。实际上在拟合过程中，多项式的表达能力并非越强越好。因为MSE准则只关注样本点处的拟合误差，因此非常强的表达能力会使得样本点之外的函数值远远偏离期望的目标，反而降低分类器的性能。