首先，今天是羊年初一。祝看到这篇博文的朋友们新春快乐！身体健康！心想事成！万事胜意！ 言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程，同时MR有JobTrack...
分类：
其他好文 时间：
2015-02-19 17:28:09
阅读次数：
256
参考资料：http://os.51cto.com/art/201211/364374.htm上边这是个结构概览吧。默认情况下，一个file被分成很多个block，每个block被分配到两个rack（机架）的共3个DataNode上，也就是有两个备份。在NameNode保存了每个block对应的Dat...
分类：
其他好文 时间：
2015-02-17 14:03:20
阅读次数：
219
Hadoop性能调优
Hadoop在处理任务时性能是否足够好，这里的性能主要包括时间和空间两个指标。调优一般要注意以下几个方面：
1. 输入文件尽可能的大
HDFS的默认块文件的大小为64M,假如有1000,个文件，每个文件的大小都是2.3m，那么存储这些文件需要占用1000个块，那么一共会占用64000M大小的空间，如果将这些文件合并大小为2.2G，只有36个块，占...
分类：
其他好文 时间：
2015-02-16 14:22:49
阅读次数：
136
storm-hdfs 这个插件支持 Rotation Actions 这个功能，官方文档解释是这样的，
### File Rotation Actions
Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s.
What...
分类：
其他好文 时间：
2015-02-14 11:02:20
阅读次数：
185
在/home/llh/hadoop目录下创建文件夹file创建两个文本文件在hdfs上创建输入文件夹$ bin/hadoop fs -mkdir /input将file中的文件上传到input目录下$ bin/hadoop fs -put /home/llh/hadoop/file/file*.tx...
分类：
其他好文 时间：
2015-02-13 22:24:53
阅读次数：
187
首先是安装mysql数据库。使用 sudo apt-get install mysql-server命令即可安装完成。然后进行表的创建和插入数据。如图。然后下载sqoop和连接mysql数据库的jar包。接下来是安装sqoop。首先是配置sqoop-env.sh文件。如图。然后将config-sqo...
分类：
数据库 时间：
2015-02-13 21:02:51
阅读次数：
201
部分目录：
1，初始Hadoop
2，关于MapReduce
3，Hadoop分布式文件系统
HDFS 文件系统。
4，Hadoop I/O
5，MapReduce应用开发
6，MapReduce的工作机制
7，MapReduce的类型与格式
8，MapReduce 的特性
9，构建 Hadoop 集群
10，管理 Hadoop
11，Pig简介
Pig Latin 描述...
分类：
其他好文 时间：
2015-02-13 20:01:07
阅读次数：
183
一、hadoop集群环境配置参见：《Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.》Win7环境：登录用户名：hadoop , 与Hadoop集群中的Linux环境用户统一。a.在SY-0130节点上修改hdfs-site.xml加上以下内容 ，并同步修改到其他...
转载地址：http://dacoolbaby.iteye.com/blog/1955427一致疏于JAVA IO方面的基础学习。这次在使用到HDFS的文件接口的时候，就遇到这方面的问题。于是巩固一下基础。java io是典型的decorator设计模式。Path path = new Path(“路...
分类：
其他好文 时间：
2015-02-13 11:30:12
阅读次数：
126
经典解释： http://www.cnblogs.com/skyme/archive/2012/07/25/2608310.html
HBase：非关系型数据库；分布式数据库；基于HDFS为最小存储单元，属于文件存储。列存储。（关系型数据库属于 行存储）
NoSql：not only sql 非关系型数据
列存储：
http://baike.baidu.com/link?ur...
分类：
其他好文 时间：
2015-02-11 18:40:36
阅读次数：
163
