近期着手的一个项目需要将我方数据存储到Hadoop的大数据环境，由于本人是.net平台的开发者，没有怎么接触过大数据（因为他实在是太高大尚了）。但还好baidu, google后，还是很找到了解决办法，就是C#写数据到hbase，然后大数据开发者在从hbase读取数据进行多维度处理，如将一部分历史数 ...
1、配置文件和环境 ①配置hbase-env.sh设置Java安装路径 设置HBase的配置文件路径（/opt/module/hbase/conf）采用HBase自带Zookeeper，设置参数true②配置hbase-site.xml<!--hbase共享目录，持久化hbase数据--><!--配 ...
分类：
其他好文 时间：
2019-05-26 18:20:26
阅读次数：
423
这个报错是因为JDK版本问题，7.1版本的Kettle需要JDK1.8，而我本机装的JDK1.7，需要升级JDK即可。 另外说明： 【1】spoon.bat下面参数值太大容易启动溢出，可根据需要调整。 if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI ...
分类：
编程语言 时间：
2019-05-26 13:04:07
阅读次数：
169
一，前言 二，前期准备 2.1 文件下载 2.2 服务器准备 三，配置文件配置 3.1 hbase-env.sh 3.2 hbase-site.xml 3.3 regionservers 3.4 将hbase的bin目录添加到环境变量 3.5 Hbase的官方配置文档 四，Hbase服务启动 4.1 ...
分类：
其他好文 时间：
2019-05-24 14:14:25
阅读次数：
130
产生背景 自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大 ...
分类：
其他好文 时间：
2019-05-24 12:42:09
阅读次数：
102
虚拟机配置docker，docker info 查看配置情况 然后docker pull harisekhon/hbase 拉取镜像 docker run -ti harisekhon/hbase 进入hbase的shell中 ...
分类：
其他好文 时间：
2019-05-22 09:32:57
阅读次数：
93
1、jar包问题，hadoop高版本中的htrace没有需要的类，需要从hadoop低版本里面复制一个jar包。 2、hdfs://mycluster/hbase mycluster必须在hosts文件中指定ip地址，否则无法找到 3、Operation category READ is not s ...
分类：
其他好文 时间：
2019-05-21 21:14:02
阅读次数：
204
HBase安装配置 ①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录） 官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下 ...
分类：
其他好文 时间：
2019-05-21 21:01:07
阅读次数：
145
一、说明 先创建一个hbase表格，能够导入本地数据到hbase中，最后能够通过phoneix进行访问。 1、数据准备（10W条，样例如下），文件test.txt 2、上传到hdfs /tmp/下 1、在hbase中创建好表 2、在phoenix中建立相同的表名以实现与hbase表的映射 注意： a ...
分类：
其他好文 时间：
2019-05-20 18:57:54
阅读次数：
149
一、Zookeeper简介 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目 ...
分类：
其他好文 时间：
2019-05-20 17:12:35
阅读次数：
114
