一、安装：
上传到hadoop集群的某一个节点上，将sqoop压缩包解压即可直接使用；
二、配置：
将需要连接的数据库（比如Oracle、MySQL）的连接驱动拷贝到 sqoop目录的lib里；
三、配置mysql远程连接
GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123...
分类：
数据库 时间：
2015-08-03 17:02:27
阅读次数：
318
系统环境4台联想R510服务器，其中master节点4核心、8GB，其它节点双核心、4GB。网卡：100M。共有硬盘6TB。网络环境内网。Centos6.5 x64（安装系统时尽量把开发包安装齐全，另master节点需要Mysql可以在安装系统时勾选）。准备工作卸载系统自带OPEN-JDK（所有节点...
分类：
其他好文 时间：
2015-08-02 16:30:06
阅读次数：
219
集群结构 Storm集群表面类似Hadoop集群。但在Hadoop上你运行的是”MapReduce jobs”，在Storm上你运行的是”topologies”。”Jobs”和”topologies”是大不同的，一个关键不同是一个MapReduce的Job最终会结束，而一个topology永远处理消...
分类：
其他好文 时间：
2015-07-31 21:45:47
阅读次数：
194
Hadoop集群中分主节点master节点和slave节点，master节点监控slave节点。master和slave之间通过ssh协议进行通信。
master节点上部署有JobTracker和NameNode，当然也可以部署TaskTracker和DataNode。slave节点上部署TaskTracker和DataNode节点。JobTracker监控TaskTracker，...
分类：
其他好文 时间：
2015-07-31 01:26:56
阅读次数：
97
上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。1. 环境Eclipse版本Luna 4.4.1安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到eclips...
分类：
系统相关 时间：
2015-07-27 22:31:11
阅读次数：
172
一、Hadoop2.4.0环境下Eclipse平台的搭建
1.安装Eclipse
对于hadoop集群，我们将eclipse安装在master节点上，首先下载Eclipse安装包（如：eclipse-jee-luna-SR1-linux-gtk.tar.gz)然后用tar -zxvf 命令解压，并把解压后的目录移动到/usr/local路径下，然后启动eclipse:
下载网...
分类：
系统相关 时间：
2015-07-26 19:18:55
阅读次数：
254
Hadoop集群的配置即完全分布式Hadoop配置。本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop，请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。...
分类：
其他好文 时间：
2015-07-24 20:51:33
阅读次数：
142
学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法： 要么找多台机器来部署（常常找不到机器） 或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞...
分类：
其他好文 时间：
2015-07-24 13:09:41
阅读次数：
147
http://blog.csdn.net/shallowgrave/article/details/39367119 闲来无事，装个Hbase玩玩，突然发现Mac下默认安装的JDK7，没有配置JAVA_HOME没有那么就自己配呗。 打开之前配置Hadoop集群时配置Java环境的笔记，找...
分类：
编程语言 时间：
2015-07-20 15:44:40
阅读次数：
221
因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。 HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的...
分类：
Web程序 时间：
2015-07-19 16:13:07
阅读次数：
132
