放假闲来无事，就自己搭建了一套环境，包含： 工具：ssh，vim 环境：Jdk，Hadoop 在此记录，下次使用 1.工具类 ssh和vim两个常用的工具就是两条命令： vim命令：sudo apt-get install vim-gtk ssh命令：sudo apt-get install ope ...
分类：
数据库 时间：
2017-05-28 16:08:23
阅读次数：
273
#yum install hdf5 ＃rpm -qa|grep hdf5 hdf5-1.8.7-1.el6.rf.x86_64 ＃rpm -ql hdf5-1.8.7-1.el6.rf.x86_64 ...
分类：
其他好文 时间：
2017-05-27 15:26:06
阅读次数：
282
Sqoop是什么 Sqoop 是连接传统关系型数据库和Hadoop 的桥梁，主要功能是， 把关系型数据库的数据导入到Hadoop 系统( 如HDFS、HBase 和Hive) 中 把数据从Hadoop 系统里抽取并导出到关系型数据库里 可以利用MapReduce 加快数据传输速度，使用批处理的方式进 ...
分类：
其他好文 时间：
2017-05-25 11:40:32
阅读次数：
319
以下内容转自：http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral 小文件BLOCK占用 一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file siz ...
分类：
其他好文 时间：
2017-05-24 22:48:40
阅读次数：
1459
Apache Hadoop 和Hadoop生态圈 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户能够在不了解分布式底层细节的情况下。开发分布式程序。充分利用集群的威力进行快速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File ...
分类：
Web程序 时间：
2017-05-24 18:27:56
阅读次数：
239
1 public class TestRead { 2 @Test 3 public void readTest() throws Exception { 4 Configuration conf = new Configuration(); 5 FileSystem fs = FileSystem... ...
分类：
其他好文 时间：
2017-05-23 23:43:50
阅读次数：
574
在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论Na ...
分类：
其他好文 时间：
2017-05-23 12:12:39
阅读次数：
199
原文链接：http://www.cnblogs.com/zhoujingyu/p/5316070.html 现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。 问题，如果要在red ...
分类：
其他好文 时间：
2017-05-21 22:34:29
阅读次数：
205
HRegion 当一张表中的数据特别多的时候，HBase把表拆成多个块，每个块就是一个HRegion，每个region中包含这个表里的所有行 HRegionServer 数据库的数据存在HDFS文件系统中，用户通过HRegionServer来获取数据，一台机器上一般只能运行一个HRegionServ ...
分类：
其他好文 时间：
2017-05-21 10:47:04
阅读次数：
215
1. Can not find hdf5.h Solution: ...
分类：
其他好文 时间：
2017-05-20 22:36:20
阅读次数：
105
