启动hadoop Hdfs上创建文件夹 上传文件至hdfs 准备文件song.txt: 上传到hdfs/data文件中 启动Hive 创建原始文档表 导入文件内容到表docs并查看 导入： 查看： 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 20:42:59
阅读次数：
129
启动hadoop Hdfs上创建文件夹 创建的文件夹是datainput 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 20:42:13
阅读次数：
135
转自：https://blog.csdn.net/u014297175/article/details/50456147 Compact作用 当MemStore超过阀值的时候，就要flush到HDFS上生成一个HFile。因此随着不断写入，HFile的数量将会越来越多，根据前面所述，HFile数量过 ...
分类：
其他好文 时间：
2018-05-17 16:51:06
阅读次数：
278
删除文件并放入回收站： hdfs dfs -rm -f /path 删除文件不放入回收站： hdfs dfs -rm -f -skipTrash /path 清空回收站： hdfs dfs -expunge (执行完之后会打一个checkpoint，并不会立即执行，稍后会执行清空回收站操作) ...
分类：
其他好文 时间：
2018-05-17 13:56:34
阅读次数：
207
通过hadoop上的hive完成WordCount 启动hadoop jps Hdfs上创建文件夹 创建的文件夹是datainput 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 12:05:23
阅读次数：
226
启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 01:00:36
阅读次数：
187
hive基本操作与应用 通过hadoop上的hive完成WordCount 启动hadoop cd /usr/local/hadoop/sbinstart-all.sh Hdfs上创建文件夹 hdfs dfs -mkdir wcinput hdfs dfs -ls /user/hadoop 上传文件 ...
分类：
其他好文 时间：
2018-05-16 22:38:11
阅读次数：
146
通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-16 20:43:10
阅读次数：
125
用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 编写map函数，reduce函数 map函数： reduce函数： 将其权限作出相 ...
分类：
其他好文 时间：
2018-05-12 03:23:30
阅读次数：
187
MapReduce编程模型详解（基于Windows平台Eclipse） 阅读目录 前期准备 编程环境搭建 编写map阶段的map函数 编写reduce阶段的reduce函数 编写驱动类 运行MapReduce程序 报错解决 总结 本文基于Windows平台Eclipse，以使用MapReduce编程 ...
分类：
其他好文 时间：
2018-05-11 10:47:02
阅读次数：
128
