一、停用词 1、含义：在语料中大量出现，但对我们分析没什么用的词，但对分析有干扰作用，需要剔除后再计算词频；比如：标点符号，量词等 2、停用词表百度搜索就有一堆了 二、TF-IDF 前言： 比如对《中国的蜜蜂养殖》进行词频统计，去掉停用词后计算词频发现“中国”、“蜜蜂“、“养殖” 三个词出现的次数一 ...
分类：
其他好文 时间：
2019-01-19 19:58:53
阅读次数：
172
对于需要构成语料库的数据，我们需要去停用词 停用词包括 1. 语料中大量出现的 如 1.！， 2.", 3.#, 4.$, 5.% 2. 没啥大用 1.一下 2.一些 3.一项 4.一则 关键词提取 TF-IDF 比如有3个词：中国,蜜蜂,养殖 TF（词频）：表示的是蜜蜂在这个文章里出现的次数，即词 ...
分类：
其他好文 时间：
2019-01-19 00:46:51
阅读次数：
265
数据的特征抽取 数据的特征抽取 现实世界中多数特征都不是连续变量，比如分类、文字、图像等，为了对非连续变量做特征表述，需要对这些特征做数学化表述，因此就用到了特征提取. sklearn.feature_extraction提供了特征提取的很多方法 分类特征变量提取 我们将城市和环境作为字典数据，来进 ...
分类：
其他好文 时间：
2019-01-17 22:39:22
阅读次数：
153
基于Flink流处理的动态实时亿级全端用户画像系统课程下载:https://pan.baidu.com/s/1YtMs-XG5-PsTFV9_7-AlfA提取码:639m项目中采用到的算法包含LogisticRegression、Kmeans、TF-IDF等，Flink暂时支持的算法比较少，对于以上算法，本课程将手把手带大家用Flink实现，并且结合真实场景，学完即用。本套教程的Flink算法部分
分类：
其他好文 时间：
2019-01-11 14:45:10
阅读次数：
177
下载：https://redis.io/解压：tar-xzfredis-5.0.3.tar.gz进入目录：cdredis-5.0.3编译安装：make创建配置文件夹：mkdir-p/usr/local/redis/redis_1mkdir-p/usr/local/redis/redis_2mkdir-p/usr/local/redis/redis_3mkdir-p/usr/local/redis/
分类：
其他好文 时间：
2019-01-06 11:15:45
阅读次数：
153
在相似文本的推荐中，可以用TF-IDF来衡量文章之间的相似性。 一、TF（Term Frequency） TF的含义很明显，就是词出现的频率。 公式： 在算文本相似性的时候，可以采用这个思路，如果两篇文章高频词很相似，那么就可以认定两片文章很相似。 二、IDF（Inverse Document Fr ...
分类：
其他好文 时间：
2019-01-03 15:08:45
阅读次数：
168
redis发布订阅 三个角色，提供的redis命令 1.发布者 publish 频道 消息 给频道发消息 2.订阅者 SUBSCRIBE 频道 订阅频道 PSUBSCRIBE 频道* 支持模糊匹配的订阅 3.频道 channel 频道名 自定义 redis持久化之RDB 1.在配置文件中添加参数..... ...
分类：
其他好文 时间：
2019-01-02 23:24:26
阅读次数：
233
1.创建系统服务文件，格式如下： [Unit]部分主要是对这个服务的说明，内容包括Description和After，Description用于描述服务，After用于描述服务类别 [Service]部分是服务的关键，是服务的一些具体运行参数的设置，这里Type=forking是后台运行的形式，PI ...
分类：
其他好文 时间：
2018-12-31 21:53:06
阅读次数：
203
Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。 1、实现类 2、方法： ...
分类：
其他好文 时间：
2018-12-31 00:03:30
阅读次数：
340
#!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: NGINX is an HTTP(S) server, HTTP(S) reverse ... ...
分类：
其他好文 时间：
2018-12-23 11:01:49
阅读次数：
130
