以下内容由http://hbase.apache.org/book.html#getting_started节选并改编而来。运行环境:hadoop-1.0.4,hbase-0.94.22,jdk1.7.0_65Chapter1.Getting Startedcreate a table in HBa...
分类:
Web程序 时间:
2014-10-22 14:10:49
阅读次数:
552
1.安装由于还是学习阶段,所以没有在生产环境练习,就在本地建了个虚拟机进行HBase的安装。下载地址http://www.apache.org/dyn/closer.cgi/hbase/,选择一个镜像后,选择stable,选择一个版本下载,要下载带hadoop的,不然会提示找不到JAVA_HOME,...
分类:
其他好文 时间:
2014-10-22 12:46:04
阅读次数:
194
场景是从MySQL中将数据导入到Redis的Hash结构中。当然,最直接的做法就是遍历MySQL数据,一条一条写入到Redis中。这样可能没什么错,但是速度会非常慢。而如果能够使MySQL的查询输出数据直接能够与Redis命令行的输入数据协议相吻合,可能就省事多了。根据测试800w的数据迁移,时间从...
分类:
数据库 时间:
2014-10-22 12:37:55
阅读次数:
209
using(FileStream fs=File.OpenRead(@"d:/MY.xls")) { IWorkbook wk = new HSSFWorkbook(fs); if (wk.NumberOfSh...
分类:
数据库 时间:
2014-10-22 12:29:50
阅读次数:
212
HBase集群在运行的时候会出现RegionServer宕机,原因: 网络断开,心跳发送失败,尝试连接其他的zookeeper服务器。(zookeeper会尝试连接其他所有的服务器),?网络恢复了,连接成功,但?session已经过期了,所...
分类:
其他好文 时间:
2014-10-21 20:00:54
阅读次数:
120
Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今主要演化了二大版本,Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁,支持关系型数据库和hive、hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入。
那么为什么选择Sqoop呢?
高效可控的利用资源,任务并行度,超时时间。 数据类型映射与转化,可自动进行,用户...
分类:
其他好文 时间:
2014-10-21 19:42:33
阅读次数:
651
--数据库导出--oracle 11g使用expdp导出,原因可以google--第一步,先查看数据库有没有创建过导出的目录select * from dba_directories;--如果有,选定一个,登录到数据库服务器,确认目录是否有空间--linux&unix可以使用df -k--如果没有创...
分类:
数据库 时间:
2014-10-21 19:19:46
阅读次数:
252
***********用工具导入(导出)数据
工具(T)—》导出表(X)
工具(T)—》导出表(X)
所选执行文件位置:
E:\oracle\product\10.2.0\db_1\bin\imp.exe(exp.exe)
*********命令导入导出
oracle导入dmp文件命令:
(1)dmp文件中的数据导入数据库
1.首先进入cmd命令...
分类:
数据库 时间:
2014-10-21 15:30:28
阅读次数:
192
在开发中导出导入数据,我们是经常用到的,近期,公司开发中需要将指定数据导入到用户给定的EXCEL模板中,并根据要求合并单元格,在这里,我写了个简单的demo,可以概括我所用到的知识点,以供有需要的朋友借鉴。
相关DEMO下载:PoiTest
public class Test {
public static void main(String[] args)...
分类:
其他好文 时间:
2014-10-20 19:31:06
阅读次数:
180
在.Net中经常会遇到批量添加数据,如将Excel中的数据导入数据库,直接在DataGridView控件中添加数据再保存到数据库等等。方法一:一条一条循环添加通常我们的第一反应是采用for或foreach循环一条一条的添加。for (int i = 0; i 0){ str.Append("...
分类:
Web程序 时间:
2014-10-20 13:21:14
阅读次数:
508