一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL,但可以先将HBase中的数据导出到HDFS中,再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类:
数据库 时间:
2014-05-26 05:48:46
阅读次数:
304
RPC(remote procedure call)不同java进程间的对象方法调用,一方称作服务端,一方称作客户端;被调用的对象的方法执行发生在server端
首先应该编写服务端MyServer,客户端MyClient,操作对象类MyBiz(根据服务端方法参数推测的),操作对象接口MyBizable(根据客户端方法参数推测的)
通过查看源码,一步步向里查看,直到没有return该方法出现...
分类:
编程语言 时间:
2014-05-26 05:34:16
阅读次数:
471
对于开源的东东,尤其是刚出来不久,我觉得最好的学习方式就是可以看源码和doc,测试它的例子
为了方便查看源码,关联导入源码的项目
block数据块,在配置文件hdfs-default.xml中可以查看到,记住要修改不是在这里
block文件存储块是最基本的单位
查看block存放位置,配置文件中查看
如果文件大于64M会占两个块,meta文件是校验...
分类:
其他好文 时间:
2014-05-26 05:30:58
阅读次数:
227
写在前面一:
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二:
所用软件说明:
一、什么是Apache Flume
官网:Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类:
其他好文 时间:
2014-05-26 04:32:10
阅读次数:
359
关于在android手机客户端实现用户登录的分析及实现.本案例在客户端设计了用户登录的界面,当用户点击登陆按钮时,发送请求到服务器端,在服务器端进行验证处理,处理之后返回数据给客户端,客户端怎么返回的数据。...
分类:
移动开发 时间:
2014-05-26 04:29:41
阅读次数:
289
记录在不同的学习使用阶段,个人对Hadoop的认识情况,当前入门阶段,介绍入门阶段对Hadoop的看法。...
分类:
其他好文 时间:
2014-05-26 03:18:12
阅读次数:
275
Hadoop的分布式文件系统(HDFS)是Hadoop的很重要的一部分,本文先简单介绍HDFS的几个特点,然后再分析背后的原理,即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了,把大量数据部署在便宜的硬件上,即使其中某些磁盘出现故障,HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入,多次读取的程序,文件写入后,就不需要修改了。像...
分类:
其他好文 时间:
2014-05-25 01:02:09
阅读次数:
285
(转载请注明出处:http://blog.csdn.net/buptgshengod)1.参会有感 首先还是非常感谢CSDN能给我票,让我有机会参加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢)。 还是得从国家会议中心说起,两年前lz曾经在那当过IDF的志愿者,当时是纯体力劳动,负责给参会人员发一些杂志什么的,当时苦逼的为了多蹭一个盒饭...
分类:
其他好文 时间:
2014-05-25 00:59:08
阅读次数:
458
除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法。
下面是所有命令的介绍,介绍之前先定义一下参数的意义:
1. 斜体:表示用户输入的变量。
...
分类:
其他好文 时间:
2014-05-24 19:47:01
阅读次数:
338
验证redis的主从复制,将实验过程抓图复制配置文件更改slave的端口
和相关master配置主从复制测试研究在OAuth中的“一次数”nonce有什么用途?怎样使用?以此熟悉OAuth的全流程 nonce
,一个随机的混淆字符串,仅仅被使用一次的数。nonce 用于防御回放攻击和选择明文攻击。使...
分类:
数据库 时间:
2014-05-24 09:35:59
阅读次数:
396