使用Gora写入数据的关键步骤
1、根据要处理的数据,创建用于描述数据结构的json文件,并由此生成java类。
2、创建gora-hbase-mapping.xml,用于注明描述了数据库表的结构,以及java类中的属性与数据库中字段的对应关系。
3、创建主类,用于创建对象,并写入数据库。
即前2步建立了用于描述数据的java类及数据库表,以及它们之间的映射关系。第三步首先将内容读入java程序中,然后通过gora写入数据库。...
分类:
其他好文 时间:
2015-01-30 10:49:22
阅读次数:
241
参考官方文档:http://gora.apache.org/current/tutorial.html
一、环境准备
1、下载gora并解压
2、分别进入$GORA_HOME/gora-hbase/,$GORA_HOME/gora-core,$GORA_HOME/gora-compiler,$GORA_HOME/gora-compiler-CLI执行
$ mvn clean i...
分类:
其他好文 时间:
2015-01-29 17:46:11
阅读次数:
178
一、Impala简介Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Im...
分类:
其他好文 时间:
2015-01-28 22:34:05
阅读次数:
336
缓存从hbase取得的数据的好处是显而易见的,缓存到本地以后,如果下次的输入能够直接从已缓存的本地文件中取得数据就无需再次访问hbase数据库,这样一来数据量大的话可以节省大量的访问hbase数据库的时间。 1 function enterSearch(plate) 2 { 3 ...
分类:
其他好文 时间:
2015-01-28 19:37:10
阅读次数:
248
一、环境准备
1、下载nutch2.3源代码
wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz或者下载正在开发中的最新版本
svn co https://svn.apache.org/repos/asf/nutch/branches/2.x
2、选择使用的数据库类型,以hbase为例...
分类:
系统相关 时间:
2015-01-28 17:59:01
阅读次数:
520
1、确保Hadoop和Hbase服务已经正常启动了
2、把hbase-site.xml,core-site.xml,hdfs-site.xml配置文件放到Java工程的src目录下
3、引入相关的依赖包
4、Java Client测试访问Hbase集群
package com.hbase.test;
import java.util.ArrayList;
import jav...
分类:
编程语言 时间:
2015-01-28 11:11:09
阅读次数:
509
1.1准备环境
1.1所需软件包
a、CentOS-6.5-i386-LiveDVD.iso 32位centos系统
b、jdk-7u71-linux-i586.rpm 32位jdk-Linux rpm文件
c、hadoop-2.2.0.tar.gz hadoop安装包
d、zookeeper-3.4.6.tar.gz zookeeper安装包
1.2运行环境
a、VMware9...
分类:
其他好文 时间:
2015-01-27 13:30:47
阅读次数:
219
Hadoop-2.6.0伪分布--安装配置hbase
1、用到的hadoop与hbase:
2、安装hadoop:
具体安装看这篇博文:
http://blog.csdn.net/baolibin528/article/details/42939477
hbase所有版本下载
http://archive.apache.org/dist/hbase/
3、...
分类:
其他好文 时间:
2015-01-27 09:26:53
阅读次数:
159
http://hbase.apache.org/http://blog.sina.com.cn/s/blog_5c5d5cdf0101dvgq.htmlhttp://qindongliang.iteye.com/blog/1977053http://www.cyanny.com/2014/03/13...
分类:
其他好文 时间:
2015-01-26 20:38:06
阅读次数:
102
介绍HDFS和HBase是Hadoop中两种主要的存储文件系统,两者适用的场景不同,HDFS适用于大文件存储,HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的,也可以说是block策略。正文一写入数据当没有配置机架信息时,所有的机器ha..
分类:
其他好文 时间:
2015-01-26 19:31:22
阅读次数:
172