弱监督学习，我知道有监督学习半监督学习那么什么是弱监督学习

来源：整理时间：2023-08-24 07:11:38 编辑：智能门户手机版

本文目录一览

1，我知道有监督学习半监督学习那么什么是弱监督学习
2，Distant supervision是什么意思
3，弱监督下的神经排序模型是怎么回事
4，adaboost如何训练
5，机器学习算法中GBDT和XGBOOST的区别有哪些
6，人工智能机器学习深度学习是一种怎样的层级关系

1，我知道有监督学习半监督学习那么什么是弱监督学习

半监督应该是弱监督的一种吧。在少量标注样本的条件下进行学习。

我知道有监督学习半监督学习那么什么是弱监督学习

2，Distant supervision是什么意思

Distant supervision可以翻译为“远程监督”再看看别人怎么说的。

远监督。弱监督也称为远监督，数据集的标签是不可靠的(这里的不可靠可以是标记不正确，多种标记，标记不充分，局部标记等)，针对监督信息不完整或不明确对象的学习问题统称为弱监督学习。

Distant supervision是什么意思

3，弱监督下的神经排序模型是怎么回事

近年来，无监督的深度神经网络在计算机视觉技术、自然语言处理和语音识别任务上都已经取得了很大的进步，而在信息检索的排序上却仍在原地踏步，没有太大的改进。其中的原因可能在于排序问题本身的复杂性，因为在没有监督信号的情况下，神经网络很难从查询内容和文档中获取信息。因此，我们在这篇文章中提出了使用“弱监督”来训练神经排序模型。也就是说，所有训练所需的标签都是机器自己获取的，不存在任何人工输入的标签。为此，我们把一个“无监督”排序模型的输出结果，比如BM25，当做一个“弱监督”模型的信号来使用。接下来，我们会进一步基于“前馈神经网络”对一系列简单却十分高效的排序模型进行训练。我们还会考察它们在不同的训练场景下的效果，例如：使用不同的输入表征（密集/稀疏表征向量，或者是“嵌入”文字表征），分别训练“逐点模型”和“成对模型”。我们能够从无监督IR模型中轻易地获得“弱标记数据”，实验的结果反映，提前对大量的“弱标记数据”进行训练，对有监督的神经排序模型非常有益。我们调查的三个主要问题：问题一：单凭来自无监督IR模型的标签作为弱监督训练数据，比如BM25，有可能完成一个神经排序模型的训练吗？问题二：在这样的情况下，什么样的输入表征和学习目标是最适合模型训练的？问题三：弱监督的操作过程，尤其是在标记数据有限的情况下，能否优化有监督的学习模型？排序的体系结构我们对三种神经排序模型进行了尝试：1、分数模型这种架构实际上是一个预测“查询文档”组合的检索分数的逐点排序模型。专业地来说，这种架构的目标就是掌握一个“分数功能”，这一功能能够决定一个“查询文档”的检索分数。我们可以用线性回归图来大致地表示这个问题：2、排序模型与第一种“分数模型”相同的是，“排序模型”的目标也是掌握“分数功能”。但不同的是，“排序模型”并不是为了使分数搜索功能标准化。因此我们在“排序模型”的训练中使用了“双情境”。具体来说就是我们在训练中使用了两个参数相同的逐点模型。为了最大程度地降低损耗，我们更新了其中的参数：在推导过程中，由于两个模型是完全一样的，我们只取了其中一个作为最终的分数功能模型，并且把经过训练的模型以逐点的方式使用。3、试验排序模型第三种排序架构的基础是一个包括训练和推导的“双情境”。这种模型是为了学习包含一个查询内容和两个文档（d1和d2）的“排序功能”而设计的。根据查询内容，模型会预测d1文档排名高于d2文档的可能性。这个问题可以用回归图大致表达：

水榕是所有水草中最容易养的，出现溶叶是因为放盐了。除了喂食、清理鱼缸、换水之外，过滤系统必须24小时工作，否则，水质不良水草也会烂叶。

感觉bp神经网络模型相对来说适合市场需求相对稳定的制造业，零售业好像不是很适合

弱监督下的神经排序模型是怎么回事

4，adaboost如何训练

Paul Viola和Michael Jones于2001年将Adaboost算法利用于人脸检测中,其基本思想是针对不同的训练集训练同1个分类器（弱分类器），然后把这些不同训练集上的得到的分类器联合起来，构成1个终究的强分类器。Adaboost 算法中不同的训练集是通过调剂每一个样本对应的权重来实现的。开始时，每一个样本对应的权重是相同的，对h1 分类毛病的样本，加大其对应的权重；而对分类正确的样本，下降其权重，这样分错的样本就被突出出来，从而得到1个新的样本散布 U2 。在新的样本散布下，再次对弱分类器进行训练，得到弱分类器 h2 。顺次类推，经过 T 次循环，得到 T 个弱分类器，把这 T 个弱分类器按1定的权堆叠加（boost）起来，得到终究想要的强分类器。训练系统整体框架，由“ 训练部份”和 “ 补充部份”构成。根据系统框架，本文的训练系统可分为以下几个模块: (1)以样本集为输入，在给定的矩形特点原型下，计算并取得矩形特点集; (2)以特点集为输入，根据给定的弱学习算法，肯定闽值，将特点与弱分类器逐一对应，取得弱分类器集; (3)以弱分类器集为输入，在训练检出率和误判率限制下，使用A d a B o o s t 算法挑选最优的弱分类器构成强分类器; (4)以强分类器集为输入，将其组合为级联分类器; (5)以非人脸图片集为输入，组合强分类器为临时的级联分类器，挑选并补充非人脸样本。

Adaboost也是1种原理简单，但很实用的有监督机器学习算法，它是daptive boosting的简称。说到boosting算法，就不得提1提bagging算法，他们两个都是把1些弱分类器组合起.

第32 卷2期第2009 年2月计算机学报C H IN ESE J OU RNAL O F COM PU T ERSVol. 32 No . 2 Feb. 2009 基于动态权重裁剪的快速 Adab

原文地址：AdaBoost算法的训练进程作者：charming每一个Haar特点对应看1个弱分类器，但其实不是任伺1个Haar特点都能较好的描写人脸灰度散布的某1特点，如何从大量的Haar...

在opencv 官网上能搜到，只要把你已训练 opencv haar+ adaboost 大神哥，求指教，... 最好解决方案个人经验，是负样本有问题，解决方案如何在iPhone上使用 Op

你可以把视频下载到不同的装备缓存至手机（当前仅支持Android装备）下载至电脑开始下载定阅Opencv视频教程分类器训练第1节adaboost haar 1

5，机器学习算法中GBDT和XGBOOST的区别有哪些

很多，主要说下监督学习这块的算法哈。欢迎讨论。svm，支撑向量机，通过找到样本空间中的一个超平面，实现样本的分类，也可以作回归，主要用在文本分类，图像识别等领域，详见：；lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在ctr预估、推荐等；nn，神经网络，通过找到某种非线性模型拟合数据，主要用在图像等；nb，朴素贝叶斯，通过找到样本所属于的联合分步，然后通过贝叶斯公式，计算样本的后验概率，从而进行分类，主要用来文本分类；dt，决策树，构建一棵树，在节点按照某种规则（一般使用信息熵）来进行样本划分，实质是在样本空间进行块状的划分，主要用来分类，也有做回归，但更多的是作为弱分类器，用在model embedding中；rf，随进森林，是由许多决策树构成的森林，每个森林中训练的样本是从整体样本中抽样得到，每个节点需要进行划分的特征也是抽样得到，这样子就使得每棵树都具有独特领域的知识，从而有更好的泛化能力；gbdt，梯度提升决策树，实际上也是由多棵树构成，和rf不同的是，每棵树训练样本是上一棵树的残差，这体现了梯度的思想，同时最后的结构是用这所有的树进行组合或者投票得出，主要用在推荐、相关性等；knn，k最近邻，应该是最简单的ml方法了，对于未知标签的样本，看与它最近的k个样本(使用某种距离公式，马氏距离或者欧式距离)中哪种标签最多，它就属于这类；

传统gbdt以cart作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带l1和l2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统gbdt在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。 xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的l2模的平方和。从bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统gbdt的一个特性。 shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统gbdt的实现也有学习速率）列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。 xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。

6，人工智能机器学习深度学习是一种怎样的层级关系

人工智能：从概念提出到走向繁荣1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念，梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言，或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前，这两种声音还在同时存在。2012年以后，得益于数据量的上涨、运算力的提升和机器学习新算法（深度学习）的出现，人工智能开始大爆发。据领英近日发布的《全球AI领域人才报告》显示，截至2017年一季度，基于领英平台的全球AI（人工智能）领域技术人才数量超过190万，仅国内人工智能人才缺口达到500多万。人工智能的研究领域也在不断扩大，图二展示了人工智能研究的各个分支，包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等。但目前的科研工作都集中在弱人工智能这部分，并很有希望在近期取得重大突破，电影里的人工智能多半都是在描绘强人工智能，而这部分在目前的现实世界里难以真正实现（通常将人工智能分为弱人工智能和强人工智能，前者让机器具备观察和感知的能力，可以做到一定程度的理解和推理，而强人工智能让机器获得自适应能力，解决一些之前没有遇到过的问题）。弱人工智能有希望取得突破，是如何实现的，“智能”又从何而来呢？这主要归功于一种实现人工智能的方法——机器学习。机器学习：一种实现人工智能的方法机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。举个简单的例子，当我们浏览网上商城时，经常会出现商品推荐的信息。这是商城根据你往期的购物记录和冗长的收藏清单，识别出这其中哪些是你真正感兴趣，并且愿意购买的产品。这样的决策模型，可以帮助商城为客户提供建议并鼓励产品消费。机器学习直接来源于早期的人工智能领域，传统的算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。从学习方法上来分，机器学习算法可以分为监督学习（如分类问题）、无监督学习（如聚类问题）、半监督学习、集成学习、深度学习和强化学习。传统的机器学习算法在指纹识别、基于Haar的人脸检测、基于HoG特征的物体检测等领域的应用基本达到了商业化的要求或者特定场景的商业化水平，但每前进一步都异常艰难，直到深度学习算法的出现。深度学习：一种实现机器学习的技术深度学习本来并不是一种独立的学习方法，其本身也会用到有监督和无监督的学习方法来训练深度神经网络。但由于近几年该领域发展迅猛，一些特有的学习手段相继被提出（如残差网络），因此越来越多的人将其单独看作一种学习的方法。最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并不是一个全新的概念，可大致理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果，人们对神经元的连接方法和激活函数等方面做出相应的调整。其实有不少想法早年间也曾有过，但由于当时训练数据量不足、计算能力落后，因此最终的效果不尽如人意。深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。无人驾驶汽车，预防性医疗保健，甚至是更好的电影推荐，都近在眼前，或者即将实现。三者的区别和联系机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术。我们就用最简单的方法——同心圆，可视化地展现出它们三者的关系。目前，业界有一种错误的较为普遍的意识，即“深度学习最终可能会淘汰掉其他所有机器学习算法”。这种意识的产生主要是因为，当下深度学习在计算机视觉、自然语言处理领域的应用远超过传统的机器学习方法，并且媒体对深度学习进行了大肆夸大的报道。深度学习，作为目前最热的机器学习方法，但并不意味着是机器学习的终点。起码目前存在以下问题：1. 深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理；2. 有些领域，采用传统的简单的机器学习方法，可以很好地解决了，没必要非得用复杂的深度学习方法；3. 深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，举个例子，给一个三四岁的小孩看一辆自行车之后，再见到哪怕外观完全不同的自行车，小孩也十有八九能做出那是一辆自行车的判断，也就是说，人类的学习过程往往不需要大规模的训练数据，而现在的深度学习方法显然不是对人脑的模拟。