相信很多大数据的初学者或者想转行大数据开发的朋友最关注的问题就是大数据开发到底可以做什么。什么是大数据？"大数据"这个词频繁的出现在媒体是2007年之后的事了。尽管已经过去了10多年的时间，但是大家对它的理解并不统一，甚至有时候会对它有误解，比如很多人将”大数据“跟“大规模数据”混为一谈。要想知道大数据能做什么，我们得首先搞清楚到底什么是大数据，它有哪些特征。大数据最明显的特征
分类：
其他好文 时间：
2019-06-11 09:31:03
阅读次数：
119
1.在本地安装jdk环境和scala环境 2.读取本地文件： 3.词频topN计算 ...
分类：
其他好文 时间：
2019-06-09 00:22:34
阅读次数：
137
词频统计 参考： 对参考的代码进行了一些补充和修改，大体思路没变 并不是想说这题多难，只是在这题可以用STL的很多结构帮助解题，所以能让代码变得很简单 题目 7 1 词频统计 (30 分) 请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。 所谓“单词”，是指由不 ...
分类：
其他好文 时间：
2019-06-08 23:04:29
阅读次数：
725
[TOC] 操作文本 需求 1. 读取文件 2. 去除所有标点符号和换行符，并把所有大写变成小写 3. 合并相同的词，统计每个词出现的频率，并按照词频从大到小排序 4. 将结果按行输出到文件 out.txt 代码实现 ...
分类：
其他好文 时间：
2019-05-28 10:56:36
阅读次数：
148
上一篇博客用词袋模型，包括词频矩阵、Tf-Idf矩阵、LSA和n-gram构造文本特征，做了Kaggle上的电影评论情感分类题。 这篇博客还是关于文本特征工程的，用词嵌入的方法来构造文本特征，也就是用word2vec词向量和glove词向量进行文本表示，训练随机森林分类器。 一、训练word2vec ...
分类：
其他好文 时间：
2019-05-19 18:10:28
阅读次数：
149
创建一个文件夹 bin/hdfs dfs -mkdir /input 将要统计的文件上传到hadoopbin/hadoop fs -put /test.txt /input 利用hadoop进行词频统计bin/hadoop jar share/hadoop/tools/lib/Hadoop-stre ...
分类：
其他好文 时间：
2019-05-10 16:16:13
阅读次数：
101
1、TF-IDF算法介绍 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用以评估一 ...
分类：
编程语言 时间：
2019-04-23 19:15:58
阅读次数：
230
解法一： 计算得到词频最大的字符，该字符相邻最大的数组偏移小于 n 通过 HashMap 统计词频，PriorityQueue 保证有序性 解法二: 通过 HashMap 统计原始词频， LinkedHash 根据 Map.Entry.getValue() 进行排序 ...
分类：
其他好文 时间：
2019-04-15 23:14:07
阅读次数：
235
"621. Task Scheduler(Medium)" CPU 任务调度 解法一： 计算得到词频最大的字符，该字符相邻最大的数组偏移小于 n 通过 HashMap 统计词频，PriorityQueue 保证有序性 解法二: 通过 HashMap 统计原始词频， LinkedHash 根据 Map ...
分类：
其他好文 时间：
2019-04-15 23:10:19
阅读次数：
209
恢复内容开始 1) 学号：2017*****1027； 姓名：王益鑫； 码云仓库地址：https://gitee.com/shirt 2580/word_frequency； 2) 程序分析 1、 打开并读取文件 【2、添加处理 bvffer代码，统计单词的频率，存放在word_freq def p ...
分类：
其他好文 时间：
2019-04-08 16:10:16
阅读次数：
178
