词嵌入预训练模型Glove "1.词嵌入预训练模型" "2.Glove" "3.求近义词和类比词" 1.文本嵌入预训练模型 虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进： ...
分类：
其他好文 时间：
2020-02-21 22:02:37
阅读次数：
390
Word2vec "1.词嵌入基础" "2.PTB数据集" "3.Skip Gram" "4.负采样近似" "5.训练模型" 1.词嵌入基础 使用 one hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one hot 词向量无法准确表达不同词之间的相似度，如 ...
分类：
其他好文 时间：
2020-02-21 20:22:27
阅读次数：
140
目录： 基础部分回顾（词向量、语言模型） NLP的核心：学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾（词向量、语言模型） 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量？（On ...
分类：
其他好文 时间：
2020-02-19 20:39:48
阅读次数：
184
Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系 ...
分类：
其他好文 时间：
2020-02-18 14:49:26
阅读次数：
52
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 "BERT" 全称为 ...
分类：
其他好文 时间：
2020-02-08 17:37:21
阅读次数：
96
使用句子中出现单词的Vector加权平均进行文本相似度分析虽然简单，但也有比较明显的缺点：没有考虑词序且词向量区别不明确。如下面两个句子：“北京的首都是中国”与“中国的首都是北京”的相似度为1。“学习容易”和“学习困难”的相似度很容易也非常高。为解决这类问题，需要用其他方法对句子进行表示，LSTM是... ...
分类：
其他好文 时间：
2020-02-04 14:11:31
阅读次数：
99
2019 10 16 14:46:06 仅供学习使用 aijiaoai 人工智能主要应用 1. 图像识别 识别图片中的内容、对象。 KNN 卷积神经网络 2. 情感分析 分析文本中包含的 文本，是正面的、负面的、中性的。 文本的表示：词向量、TFIDF 文本预处理、清洗 分类算法，逻辑回归、决策树、 ...
分类：
其他好文 时间：
2020-02-02 21:39:26
阅读次数：
124
```# -*- coding: utf-8 -*-# author: huihui# date: 2020/1/31 7:58 下午 '''根据语料训练词向量，并保存向量文件'''import osimport sysimport gensimos.reload(sys)sys.setdefaul... ...
分类：
其他好文 时间：
2020-02-01 12:13:35
阅读次数：
199
一、介绍 内容 将接触现代 NLP 技术的基础：词向量技术。 第一个是构建一个简单的 N Gram 语言模型，它可以根据 N 个历史词汇预测下一个单词，从而得到每一个单词的向量表示。 第二个将接触到现代词向量技术常用的模型 Word2Vec。在实验中将以小说《三体》为例，展示了小语料在 Word2V ...
分类：
其他好文 时间：
2020-01-21 18:33:23
阅读次数：
133
一般使用transformers做bert finetune时，经常会编写如下类似的代码： 在BertModel(BertPreTrainedModel)中，对返回值outputs的解释如下： 这里的pooler_output指的是输出序列最后一个隐层，即CLS标签。查看forward函数的源码，最 ...
分类：
其他好文 时间：
2020-01-08 18:53:03
阅读次数：
637
