准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆虚拟机，Mac地址不会改变，每次最后手动重新生成）...
分类：
其他好文 时间：
2015-01-07 18:35:19
阅读次数：
214
需求：将hive数据库中的TBLS表导出到HDFS之上； $SQOOP2_HOME/bin/sqoop.sh client sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoopServer is set successf...
分类：
数据库 时间：
2015-01-07 18:26:42
阅读次数：
190
接触Hdoop将近一年，昨日偶发阅读其源码之雅兴，宛如少女姨妈突至，势不可遏。读一个开源框架的源码，个人习惯一般是先熟悉其整体结构，不拘泥于个别类。一个设计优秀的框架，往往每个包都有其职责，旨在完成某个特定的功能。因此将每个包或其相关的包 抽出来，单独打包成一个 jar文件，就能被第三方系统...
分类：
其他好文 时间：
2015-01-07 16:33:09
阅读次数：
317
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ①保存多个副本，且提供容错机制，副本丢失或宕机...
分类：
其他好文 时间：
2015-01-07 00:29:30
阅读次数：
196
NameNode类位于org.apache.hadoop.hdfs.server.namenode包下。NameNode serves as both directory namespace manager and "inode table" for the Hadoop DFS. There is...
分类：
其他好文 时间：
2015-01-06 22:52:07
阅读次数：
365
需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。软件版本说明：hadoop版本：1.1.2fluentd版本：1.1.21测试环境说明：node29服务器上安装了apache，以及fluentd，作为fluentd的客户端；node1服务..
分类：
其他好文 时间：
2015-01-06 18:16:52
阅读次数：
192
1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo...
分类：
其他好文 时间：
2015-01-06 15:21:31
阅读次数：
187
1.hadoop1.0与hadoop2.0的区别： hadoop1.0生态如下图： hadoop2.0生态： 2.HDFS描述：HDFS是google的GFS的开源克隆，HDFS的架构如下图： 1) NameNode：管理HDFS的名称空间，管理数据块映射信息，配置副本策略，处理...
分类：
系统相关 时间：
2015-01-06 13:48:52
阅读次数：
267
WCF （Windows Communication Foundation） 通信基础SOA ( Service-Oriented Architecture) 面向服务架构。 既是一种编程模式，又是一种软件开发的架构方法。目标： 实现不同组件夸平台配合使用(分布式应用)原则： 1、边界是显式定义的....
分类：
其他好文 时间：
2015-01-05 18:10:09
阅读次数：
137
