Hadoop 的端口 50070 > http port namenode 50075 > http port datanode 50090 > http port secondaryNamenode 50010 > rpc port namenode 8020 > rpc port datanod ...
分类：
其他好文 时间：
2018-12-21 13:20:15
阅读次数：
180
第5章 高级MapReduce技术 5.1 初级、高级还是中级 5.2 多数据源联结 5.2.1 不适合执行联结操作的情况 5.2.2 map端联结与reduce端联结的对比 5.2.3 匹配账户与销售信息 5.3 实践环节：使用MultipleInputs实现reduce端联结 5.3.1 实现m... ...
分类：
其他好文 时间：
2018-11-23 16:48:25
阅读次数：
170
第4章 开发MapReduce程序 4.1 使用非Java语言操作Hadoop 4.1.1 Hadoop Streaming工作原理 4.1.2 使用Hadoop Streaming的原因 4.2 实践环节：使用Streaming实现Word-Count 4.3 分析大数据集 4.3.1 获取UFO... ...
分类：
其他好文 时间：
2018-11-23 16:48:06
阅读次数：
170
第3章 理解MapReduce 3.1 键值对 3.1.1 具体含义 3.1.2 为什么采用键/值数据 3.1.3 MapReduce作为一系列键/值变换 3.2 MapReduce的Hadoop Java API 3.3 编写MapReduce程序 3.4 实践环节：设置classpath 3.5... ...
分类：
其他好文 时间：
2018-11-23 16:46:59
阅读次数：
173
首先我们阅读以下源码，类名是FileInputFormat.class 根据源代码而知： max(minSize, min(maxSize,blockSize)) min(maxSize,blockSize)取maxSize,blockSize之间的最小值 max(minSize, min())取m ...
分类：
编程语言 时间：
2018-11-18 02:14:36
阅读次数：
234
区别： 1. Hive是一个构建在Hadoop基础设施之上的数据仓库，通过HQL查询存放在HDFS上的数据，不能交互查询。HBase是一种Key/Value系统，它运行在HDFS之上，可以交互查询。 2. Hive只是一种类SQL的引擎，运行MapReduce任务，不能更新数据。Hbase是一种在H ...
分类：
其他好文 时间：
2018-11-18 02:12:43
阅读次数：
200
CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试 ...
分类：
其他好文 时间：
2018-10-13 12:56:36
阅读次数：
319
Part1:查看Hadoop集群的基本信息,Part 2:上传文件到HDFS目录 ...
分类：
其他好文 时间：
2018-10-05 18:45:00
阅读次数：
213
hadoop是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用。 hive是一个构建在Hadoop基础设施之上的数据仓库。 hbase是一种Key/Value系统，它运行在HDFS之上，是一个分布式的、面向列的开源数据 ...
分类：
其他好文 时间：
2018-09-30 11:26:08
阅读次数：
223
一：压缩（cpmpression）好处 压缩的好处，减少存储文件所需的空间，并且加速数据在网络与磁盘上的传输。 二：压缩格式总结 Hadoop支持DEFLATE、Gzip、bzip2三种压缩格式，还有LZO,LZ4,Snappy压缩，但是需要自己去官网下载相应的包 压缩格式的压缩性能比较，通过笔者在 ...
分类：
其他好文 时间：
2018-09-06 02:59:46
阅读次数：
291
