用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 ...
分类：
其他好文 时间：
2018-05-09 22:37:18
阅读次数：
156
编写程序求每日最高最低气温，区间最高最低气温 ...
分类：
其他好文 时间：
2018-05-09 22:33:21
阅读次数：
120
hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop 2.5.0 cdh5.3.6/etc/hadoop目录，修改hadoop env.sh，core site.xml，hdfs site.xml，mapred site.xml ，yar ...
分类：
其他好文 时间：
2018-05-06 19:59:57
阅读次数：
169
系统为CentOS 6.9，Hadoop版本2.8.3，虚拟机VMware Workstation 主要介绍Linux虚拟机安装、环境配置和Hadoop本地模式的安装。伪分布式和Windows下的安装将另作补充。 网络上关于Hadoop安装的教程非常多，这里主要是归纳出安装过程的简要步骤和可能碰到的 ...
分类：
系统相关 时间：
2018-04-28 10:56:11
阅读次数：
240
可以执行所有常用的Linux文件操作命令（读取文件，新建文件，移动文件，删除文件，列表文件等） 1.help命令获取没个命令的帮助 2.copyFromLocal复制本地文件到hdfs中，其中“hdfs://quickstart.cloudera:8020”可以省略 3.copyToLocal把hd ...
分类：
其他好文 时间：
2018-04-27 13:35:45
阅读次数：
203
一、HDFS伪分布式环境搭建 Hadoop的三种运行模式（启动模式） -格式化文件系统 -格式化文件系统 HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用操作系统中的文件系统一样，用户无需关心底层是如何存储数据的。而在底层，一个文件会被分成一个或多个数据块，这些数据库块 ...
分类：
其他好文 时间：
2018-04-17 11:46:48
阅读次数：
198
一般的mapreduce的wordcount程序如下： 驱动作业代码： 提交作业会报错： 通过异常信息我们可以定位错误在源码中的位置：org.apache.hadoop.mapred.MapTask.MapOutputBuffer#collect，具体关键源码如下: 此处key.getClass可以 ...
分类：
其他好文 时间：
2018-04-14 13:49:50
阅读次数：
818
简介： Mongodb 是一个由 C++ 语言编写的基于分布式文件存储的数据库，是目前最像关系型数据库的非关系型数据库。 下载地址：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.6.3.tgz 一、直接安装吧，CentO ...
分类：
数据库 时间：
2018-03-20 19:45:01
阅读次数：
207
一、前言 在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境。既然环境已经搭建好了，那么现在我们就应该来干点正事嘛！比如来一个Hadoop世界的HelloWorld，也就是WordCount程序(一个简单的单词计数程序). 二、WordCount 官方案例的运行 2.1 ...
分类：
其他好文 时间：
2018-03-19 11:40:30
阅读次数：
166
1、简介 MongoDB是基于文档的存储的（而非表），是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。模式自由(schema-free)，意味着对于存储在Mongo ...
分类：
数据库 时间：
2018-03-11 21:39:14
阅读次数：
200
