在项目中遇到的一些问题，当我们需要使用sqoop在关系数据库与HDFS、Hive之间导入/导出数据时候遇到的一些问题，如何让sqoop支持自主研发的不能够支持全部jdbc接口数据库的导入导出，分析sqoop源码寻找解决方案。...
分类：
其他好文 时间：
2015-04-13 20:58:58
阅读次数：
180
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址：Resource..
分类：
其他好文 时间：
2015-04-07 19:59:25
阅读次数：
305
HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode–format–clusteridyarn-clusterStep02：启动Nam..
分类：
系统相关 时间：
2015-04-07 19:58:53
阅读次数：
326
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类：
Web程序 时间：
2015-04-07 19:58:46
阅读次数：
183
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：-http://hadoop.apache.org/releases.html-SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributedHadoop，100%永久开源）下载地址：-http://archive.cloudera.com/cdh4/cdh/4/（是ta..
分类：
其他好文 时间：
2015-04-07 19:58:25
阅读次数：
363
/**从开始接手大数据的开发工作，在很多方面很是拙计啊，简单的记一下接手的大数据工作的项目经验*/Sqoop: 用于关系型数据和大数据数据之间的关联等操作 第一篇：1：数据导入到大数据集群环境一：首先通信要通(废话...)连接数据库命令，按照这种方式(Oacle10g、Sqoop1.4.5-cd.....
分类：
其他好文 时间：
2015-04-02 18:05:34
阅读次数：
132
Sqoop1vs Sqoop2
1：两个不同版本，完全不兼容
2：版本号划分方式
Apache：1.4.x~ ，1.99.x~
CDH：sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/
3：Sqoop2比Sqoop1的改进
引入sqoop server，集中化管理Connector等
多种访问方式：CLI...
分类：
其他好文 时间：
2015-03-29 12:19:44
阅读次数：
1139
0.上传日志文件到linux中，通过flume将文件收集到hdfs中。
执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console
1.建立hive表
create external table bb...
分类：
Web程序 时间：
2015-03-28 08:51:36
阅读次数：
156
Sqoop简单的来说可以实现关系型数据库和HDFS之间的数据互相转移。大多数的测试资料都是基于mysql的实现可是在测试连接oracle的时候却出现了问题错误一：连接问题，在企业级应用中，对于机器的端口通信是有着比较严的控制，所以会经常遇到无法连接数据库、被拒绝的异常解决 ：hadoop的所有节点，...
分类：
数据库 时间：
2015-03-20 18:22:33
阅读次数：
693
把mysql中的表复制到hdfs/hive中，hdfs默认路径是/user/(username)中sqoop ##sqoop命令 import ##表示导入 --connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc，连接mysql的url --userna...
分类：
其他好文 时间：
2015-03-14 12:14:08
阅读次数：
181
