双向lstm，为什么RNN 需要mask 输入而CNN则不需要

本文目录一览

1，为什么RNN 需要mask 输入而CNN则不需要
2，cnn和cnn与bilstm对于多分类哪个精度高
3，rnn通常是采用什么方式对句子进行向量化
4，人工智能技术能够解决商业问题的例子有哪些
5，在做语音识别时RNN和CNN各有什么优缺点
6，序列标注任务常用方法
7，营业执照封塑怎么去除
8，神经网络的来源

1，为什么RNN 需要mask 输入而CNN则不需要

关注问题写回答1 个回答默认排序YJangoYJango日本会津大学人机界面实验室博士在读17 人赞同了该回答long dependence方面是LSTM的优势。比如句子“我在日本生活过五年，我可以说流利的日语”，单向LSTM可以在之前所说内容的基础上对当前内容进行判断，可以照顾到日本与日语之间的关系。双向LSTM还可以基于未来的内容判断当前内容。主要是这种判断可以在整个句子之间进行。同时如果用LSTM做回归的话，输出不需要做后续处理就非常平滑。CNN的语音识别的特征（feature）通常是是频谱图（spectrogram），类似图片识别的处理方式。同样也可以利用filter size，基于过去和未来的信息判断当前内容。但由于size固定，long dependence方面不如LSTM。不过CNN可以同一信息用不同的feature m

我不会~~~但还是要微笑~~~：）

为什么RNN 需要mask 输入而CNN则不需要

2，cnn和cnn与bilstm对于多分类哪个精度高

bilstm对于多分类精度高。BiLSTM：Bi-directionalLongShort-TermMemory的缩写，是由前向LSTM与后向LSTM组合而成。可以看出其很适合做上下有关系的序列标注任务，因此在NLP中常被用来建模上下文信息。我们可以简单理解为双向LSTM是LSTM的改进版，LSTM是CNN的改进版。这里简单说一下CNN，熟悉的可以直接跳过。CNN的意思是，为了预测最后的结果，我先用第一个词预测，当然，只用第一个预测的预测结果肯定不精确，我把这个结果作为特征，跟第二词一起，来预测结果；接着，我用这个新的预测结果结合第三词，来作新的预测；然后重复这个过程；直到最后一个词。这样，如果输入有n个词，那么我们事实上对结果作了n次预测，给出了n个预测序列。整个过程中，模型共享一组参数。因此，CNN降低了模型的参数数目，防止了过拟合，同时，它生来就是为处理序列问题而设计的，因此，特别适合处理序列问题。LSTM对CNN做了改进，使得其能够捕捉更长距离的信息。但是不管是LSTM还是CNN，都有一个问题，它是从左往右推进的，因此后面的词会比前面的词更重要。因此出现了双向LSTM，它从左到右做一次LSTM，然后从右到左做一次LSTM，然后把两次结果组合起来。

cnn和cnn与bilstm对于多分类哪个精度高

3，rnn通常是采用什么方式对句子进行向量化

我不会~~~但还是要微笑~~~：）

rnn通常是采用什么方式对句子进行向量化

4，人工智能技术能够解决商业问题的例子有哪些

人工智能技术可以解决的商业问题其实有很多的，比如有：1、智能客服，智能客服主要的工作就是在人工换班或者是等待人太多的时候为客户解决问题的。2、智能机器人，因为这种机器人是拥有简单的智力并且可以自己移动，所以这种机器人可以做的工作非常多，比如可以提醒我们做一些事情，可以帮助做一些家务等等。3、智能机械，现在工厂中为了避免出现疲劳工作，进而发生事故的情况，会使用一些智能的机械来代替人工工作，不但可以长期的工作，不知疲劳，还可以保证合格率。实际上，人工智能技术可以做的事情有很多，不过由于现在还有一些没有实现，所以在这里就不多介绍了，不过随着人工智能的慢慢发展，不断的研究，相信在以后会有更多的智能产品，来给人们的生活带来更多的体验。那下面就分享一些人工智能的知识，希望可以让大家更了解人工智能。首先从自然语言处理原理到进阶实战的词向量与词嵌入方面来看TFIDF、Word2Vec算法、 Gensim模块、Skip-gram、TF代码实现Word2Vec算法项目、FastText、Word Embedding、深度学习用户画像项目。然后从自然语言处理原理到进阶实战的循环神经网络原理与优化方面来看有Vanilla RNN、Basic RNN实现MNIST手写数字图片识别、LSTM长短时记忆、GRU与双向LSTM、电影评论情感分析案例、Seq2Seq、机器写唐诗案例、CNN+LSTM+CRF、POS tagging词性标注案例、 NER命名实体识别案例、孪生网络、语义相似度分析案例。最后从自然语言处理原理到进阶实战的Transformer和Bert方面来看有Attention注意力机制、Attention算法流程、Transformer、Self-Attention机制、Multi-Head Attention、Bert、Bert as service开源项目。还有概率图模型算法的贝叶斯分类有朴素贝叶斯分类器、拉普拉斯估计代码实战垃圾邮件分类；HMM算法有马尔可夫过程、初始概率、转移概率、发射概率、隐含马尔可夫模型原理、维特比算法；最大熵模型有熵、条件熵、相对熵、互信息、最大熵模型算法原理、有约束条件的函数最优化问题、最大熵和最大似然估计关系、IIS算法；CRF算法有条件随机场的性质条件随机场的判别函数条件随机场的学习条件随机场的推断CRF与HMM关系。

5，在做语音识别时RNN和CNN各有什么优缺点

沙特阿拉伯国王什么时候来北京坊间再看看别人怎么说的。

6，序列标注任务常用方法

HMM 中，有5个基本元素：序列标志任务(NER) 对其的概念定义为：而以上的这些元素，都是可以从训练语料集中统计出来的。最后根据这些统计值，应用维特比(viterbi) 算法，算出词语序列背后的标注序列了，命名实体识别本质上就是序列标注，只需要定义好对应的标签以及模式串，就可以从标注序列中提取出实体假设对于t时刻的一个词公式就可写作: 齐次马尔科夫性假设：隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关观测独立性假设：假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测即状态无关.观测概率的公式可以表达如下: 将发射概率和转移概率相结合,得到整个句子最后的公式: 相对于HMM，CRF有两个优势令是观测序列，是状态序列，是 CRF 模型的参数，则的条件概率是：其中是 CRF 特征函数集，加上正则化项，在做对数变换就得到 CRF 训练的目的是求解令最大化的应用于NER中的BiLSTM-CRF模型主要由Embedding层（主要有词向量，字向量以及一些额外特征），双向LSTM层，以及最后的CRF层构成。实验结果表明biLSTM-CRF已经达到或者超过了基于丰富特征的CRF模型，成为目前基于深度学习的NER方法中的最主流模型。在特征方面，该模型继承了深度学习方法的优势，无需特征工程，使用词向量以及字符向量就可以达到很好的效果，如果有高质量的词典特征，能够进一步获得提高正常 CNN 的filter，都是作用在输入矩阵一片连续的区域上，不断sliding做卷积。 dilated CNN 为这个filter增加了一个 dilation width ，作用在输入矩阵的时候，会skip所有 dilation width 中间的输入数据；而filter本身的大小保持不变，这样filter获取到了更广阔的输入矩阵上的数据，看上去就像是膨胀了一般。具体使用时， dilated width 会随着层数的增加而指数增加。这样随着层数的增加，参数数量是线性增加的，而 receptive field 却是指数增加的，可以很快覆盖到全部的输入数据。图中可见感受域是以指数速率扩大的。原始感受域是位于中心点的1x1区域：对应在文本上，输入是一个一维的向量，每个元素是一个 character embedding ： IDCNN 对输入句子的每一个字生成一个 logits ，这里就和 BiLSTM 模型输出 logits 完全一样，加入 CRF 层，用 Viterbi 算法解码出标注结果，在 BiLSTM 或者 IDCNN 这样的网络模型末端接上 CRF 层是序列标注的一个很常见的方法。 BiLSTM 或者 IDCNN 计算出的是每个词的各标签概率，而 CRF 层引入序列的转移概率，最终计算出loss反馈回网络 BERT模型+全连接层：BERT的encoding vector通过 FC layer 映射到标签集合后，单个token的output vector经过Softmax处理，每一维度的数值就表示该token的词性为某一词性的概率。基于此数据便可计算loss并训练模型。但根据 BiLSTM+CRF 模型的启发，在 BERT+FC layer 的基础上增加 CRF layer 加入一些约束来保证最终的预测结果是有效的。这些约束可以在训练数据时被CRF层自动学习得到，从而减少预测错误的概率 BiLSTM+CRF 优点是泛化能力强；缺点是需要大量的标注样本。在样本很少的情况下，效果会很不理想。为了更快速地实现一个实体提取器，提高系统易用性，可以采用迁移学习的思想，在先验知识的基础上进行模型训练，从而使用 BERT+BiLSTM+CRF 同样的，输入是wordPiece tokenizer得到的 tokenid ，进入Bert预训练模型抽取丰富的文本特征得到的输出向量，输出向量过 BiLSTM 从中提取实体识别所需的特征，得到的向量，最终进入 CRF 层进行解码，计算最优的标注序列 NLP新人，欢迎大家一起交流，互相学习，共同成长~~

7，营业执照封塑怎么去除

制作需要的水印图片，获取相应的水印信息，如倾斜，大小比率，颜色，图片中水印与水印的距离等。收集相应的没有水印的营业执照图片； b．搭建pix2pixhd模型，修改相应训练参数； c．对于输入的图像，添加水印合成模块，设置透明度，倾斜等信息,将制作好的水印覆盖到图片相应的位置； d．执行网络，得到输出图片，计算损失函数值，更新网络； e．重复c,d步骤，直至网络收敛，训练完成；图片文字块检测 ? a．采用vgg-16网络提取特征； b. 类别的标定：双向lstm层判断是否为文字块rpn_score，并获取与真实文字块距离的信息rpn_bbox； c.通过rpn_score及rpn_bbox信息获取图片中文字块的信息; 图片文字块识别 a.训练样本的生成，收集营业执照图片，利用ctpn算法检测到文字块区域，利用边缘检测算法检测到图片边缘及非平滑区域。将这两种区域的像素点用周围范围内的非该区域的点的平均值替换掉，左右写入文字的背景图片；； b．特征提取,5conv+3maxpooling+3bn,利用卷积获取局部信息，在更高层将局部的信息综合起来就得到了全局的信息；利用pooling进行降维操作； c．序列的标定：双向lstm层获得属于每个类别的概率； d．翻译层：去除重复的识别结果及非字符；图像去水印效果图: ??????

剪刀把边缘剪开然后拿壁纸刀一划就开了。

8，神经网络的来源

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。这就是现在所说的神经网络NN。神经网络的层数直接决定了它对现实的刻画能力 ——利用每层更少的神经元拟合更加复杂的函数。但问题出现了——随着神经网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。同时，另一个不可忽略的问题是随着网络层数增加， “梯度消失”现象更加严重。（具体来说，我们常常使用sigmoid作为神经元的输入输出函数。对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减后低层基本上接受不到有效的训练信号。） 2006年，Hition提出了深度学习的概念，引发了深度学习的热潮。具体是利用预训练的方式缓解了局部最优解的问题，将隐藏层增加到了7层，实现了真正意义上的“深度”。 DNN形成为了克服梯度消失，ReLU、maxout等传输函数代替了sigmoid，形成了如今DNN的基本形式。结构跟多层感知机一样，如下图所示：我们看到全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接，从而导致参数数量膨胀。假设输入的是一幅像素为1K*1K的图像，隐含层有1M个节点，光这一层就有10^12个权重需要训练，这不仅容易过拟合，而且极容易陷入局部最优。 CNN形成由于图像中存在固有的局部模式（如人脸中的眼睛、鼻子、嘴巴等），所以将图像处理和神将网络结合引出卷积神经网络CNN。CNN是通过卷积核将上下层进行链接，同一个卷积核在所有图像中是共享的，图像通过卷积操作后仍然保留原先的位置关系。通过一个例子简单说明卷积神经网络的结构。假设我们需要识别一幅彩色图像，这幅图像具有四个通道ARGB（透明度和红绿蓝，对应了四幅相同大小的图像），假设卷积核大小为100*100，共使用100个卷积核w1到w100(从直觉来看，每个卷积核应该学习到不同的结构特征)。用w1在ARGB图像上进行卷积操作，可以得到隐含层的第一幅图像;这幅隐含层图像左上角第一个像素是四幅输入图像左上角100*100区域内像素的加权求和，以此类推。同理，算上其他卷积核，隐含层对应100幅“图像”。每幅图像对是对原始图像中不同特征的响应。按照这样的结构继续传递下去。CNN中还有max-pooling等操作进一步提高鲁棒性。注意到最后一层实际上是一个全连接层，在这个例子里，我们注意到输入层到隐藏层的参数瞬间降低到了100*100*100=10^6个！这使得我们能够用已有的训练数据得到良好的模型。题主所说的适用于图像识别，正是由于CNN模型限制参数了个数并挖掘了局部结构的这个特点。顺着同样的思路，利用语音语谱结构中的局部信息，CNN照样能应用在语音识别中。 RNN形成 DNN无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求，就出现了大家所说的另一种神经网络结构——循环神经网络RNN。在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间段直接作用到自身，即第i层神经元在m时刻的输入，除了(i-1)层神经元在该时刻的输出外，还包括其自身在(m-1)时刻的输出！表示成图就是这样的：为方便分析，按照时间段展开如下图所示：（t+1）时刻网络的最终结果O（t+1）是该时刻输入和所有历史共同作用的结果！这就达到了对时间序列建模的目的。RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度!正如我们上面所说，“梯度消失”现象又要出现了，只不过这次发生在时间轴上。所以RNN存在无法解决长时依赖的问题。为解决上述问题，提出了LSTM（长短时记忆单元），通过cell门开关实现时间上的记忆功能，并防止梯度消失，LSTM单元结构如下图所示：除了DNN、CNN、RNN、ResNet（深度残差）、LSTM之外，还有很多其他结构的神经网络。如因为在序列信号分析中，如果我能预知未来，对识别一定也是有所帮助的。因此就有了双向RNN、双向LSTM，同时利用历史和未来的信息。事实上，不论是哪种网络，他们在实际应用中常常都混合着使用，比如CNN和RNN在上层输出之前往往会接上全连接层，很难说某个网络到底属于哪个类别。不难想象随着深度学习热度的延续，更灵活的组合方式、更多的网络结构将被发展出来。参考链接：https://www.leiphone.com/news/201702/ZwcjmiJ45aW27ULB.html