昨天学习了简单的文本处理，之后在课后的练习中实现了包括了对tf-idf的处理和基于朴素贝叶斯简单的文本分类 基于tf-idf的数据集在出现多个关键词的时候一般能够相对准确对文本进行分类，但是对于相对具有深层含义的内容，例如情感的积极，情感的消息这方面的分类来说，就显得有些乏力的。根据昨天构建的文本分 ...
分类：
其他好文 时间：
2020-07-09 10:48:09
阅读次数：
72
1.word2vec词向量原理解析 word2vec，即词向量，就是一个词用一个向量来表示。是2013年Google提出的。word2vec工具主要包含两个模型：跳字模型（skip-gram）和连续词袋模型（continuous bag of words，简称CBOW），以及两种高效训练的方法：负采 ...
分类：
编程语言 时间：
2020-06-28 15:07:37
阅读次数：
81
词袋模型是一种表征文本数据的方法,可以从文本数据中提取出特征并用向量表示.词袋模型主要包括两件事 构建词汇表 确定度量单词出现的方法 词袋模型不考虑单词在文本中出现的顺序,只考虑单词是否出现. 具体以"双城记"开头为例 收集数据 It was the best of times, it was th ...
分类：
编程语言 时间：
2020-06-27 13:26:29
阅读次数：
77
目录 传统的自然语言处理模型 NLP的卷积神经网络（textCNN） 卷积层的最大池化问题 testCNN的应用 一句话简介：借鉴视觉的CNN用于自然语言处理中，通过不同高度（词数量）的卷积核提取特征，合并池化压缩至分类，优势是速度提升很多。 一、传统的自然语言处理模型 1）传统的词袋模型或者连续词... ...
分类：
其他好文 时间：
2020-06-17 01:30:01
阅读次数：
70
目录 word2vec 简介 CBOW与Skip-Gram模型 优化方法 优点 word2vec API讲解 三个最常见的应用 一句话简述：2013年Google发明，使用跳字节模型（skip-gram）或连续词袋模型（continuous bag of words ，CBOW）训练词向量（初始位o... ...
分类：
其他好文 时间：
2020-06-16 20:35:06
阅读次数：
50
目录 LDA概述 基础知识 LDA主题模型 总结 一句话简述：2003年提出的，LDA是一种无监督的词袋式隐含主题模型，LDA给出文档属于每个主题的概率分布，同时给出每个主题上词的概率分布。在文本主题识别、文本分类、文本相似度计算和文章相似推荐等方面都有应用。 一、LDA概述 在机器学习领域，LDA... ...
分类：
其他好文 时间：
2020-06-16 20:19:05
阅读次数：
50
###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
一、算法简介 1、原理 Bag-of-Words模型源于文本分类技术，在信息检索中，它假定对于一个文本，忽略其词序和语法、句法。Bag-of-words词袋模型最初被用在信息检索领域，对于一篇文档来说，假定不考虑文档内的词的顺序关系和语法，只考虑该文档是否出现过这个单词。 Bag-of-Featur ...
分类：
其他好文 时间：
2020-05-25 00:03:23
阅读次数：
66
word2vec简介 word2vec工具主要包含两个模型：跳字模型（skip gram）和连续词袋模型（CBOW），以及两种高效训练的方法：负采样（negative sampling）和层序softmax（hierarchical softmax）。word2vec词向量可以较好地表达不同词之间的 ...
分类：
编程语言 时间：
2020-05-19 18:20:51
阅读次数：
58
看了不少论文，感觉论文里写的东西和我想象的还是很不一样 先自己再做点实现推进一下自己的想法吧 毕竟那几篇论文我是仔细看了也没看懂个啥 主要目标： １．看看sift, orb都会挑选一些什么样的点 ２．这些特征点在词袋模型下的分类 ３．单纯对这些点进行分类 主要在python上实现，图个方便， ope ...
分类：
其他好文 时间：
2020-04-24 01:42:12
阅读次数：
74
