HBase中JVM基本配置 在JVM中,默认情况下会设置minimum heap size 为 1/64 可用物理内存,并为maximum heap size设置 1/4 的物理可用内存(不过在Java8 之前,默认最大是1g)。当然,我们可以通过手动指定 JVM 参数,配置JVM的内存,例如: 在 ...
分类:
其他好文 时间:
2019-09-23 18:04:56
阅读次数:
129
1、基础配置 #配置主机名hostnamectl set-hostname {master, node1, node2} #配置hostscat <<EOF >> /etc/hosts192.168.2.124 master192.168.2.125 node1192.168.2.126 node2 ...
分类:
其他好文 时间:
2019-09-22 19:20:17
阅读次数:
97
1:web页面调用报无hbase.jar包 本来java文件就没有问题,但是jsp一调用那个java文件里的方法就报错,报的无hadoop/hbase相关报的问题。 主要解决方法是: 复制hbase/lib里面的jar包到hadoop的lib文件里 然后再打开hadoop/etc/hadoop/ha ...
分类:
编程语言 时间:
2019-09-21 23:48:42
阅读次数:
204
Hadoop生态圈 摘要:一:基本构成:HDFS(Hadoop分布式文件系统);Mapreduce(分布式计算框架);HBASE(分布式列存数据库); Zookeeper(分布式协作服务);HIVE(数据仓库);Pig(ad-hoc脚本)等。 二:详细了解一下其特性: Hadoop是一个由Apach ...
分类:
其他好文 时间:
2019-09-21 23:05:58
阅读次数:
119
Phoenix连接安全模式下的HBase集群 HBase集群开启安全模式(即启用kerberos认证)之后,用户无论是用HBase shell还是Phoenix去连接HBase都先需要通过kerberos认证。如果没有通过kerberos认证,则hbase shell或phoenix都会报找不到ke ...
分类:
其他好文 时间:
2019-09-20 18:42:41
阅读次数:
131
前言:安装hive还是遇见些问题,但还好都解决了,比当初安装配置hadoop-3.2.0容易点。。。。。。 正文: 1、下载并安装hive:tar -zxvf apache-hive-3.1.2-bin.tar.gz2、查看hive安装情况:[root@hadoop01 hadoop]# cd ap ...
分类:
其他好文 时间:
2019-09-19 00:58:52
阅读次数:
127
HBase架构: 1**)Client** Client包含了访问Hbase的接口,另外Client还维护了对应的cache来加速Hbase的访问,比如cache的.META.元数据的信息。 2**)Zookeeper** HBase通过Zookeeper来做master的高可用、RegionSer ...
分类:
其他好文 时间:
2019-09-17 22:40:43
阅读次数:
127
window启动: 点击 bin/start-hbase.cmd 即可; UI: 16010 创建连接:public static Connection Conn() { Configuration config = HBaseConfiguration.create(); // 本地测试 conf ...
分类:
其他好文 时间:
2019-09-17 16:06:05
阅读次数:
114
1、Cannot allocate memory 报错信息: 日志 上面报错信息提示,查看更多,去/root/hs_err_pid9168.log里面查看。 原因分析 明显是由于内存不够,查看内存占用 解决 2、Application is added to the scheduler and is ...
分类:
其他好文 时间:
2019-09-17 14:38:39
阅读次数:
139
Spring Data是Spring 的一个子项目。用于简化数据库访问,支持NoSQL和关系数据库存储。其主要目标是使数据库的访问变得方便快捷。 Spring Data 项目所支持NoSQL存储: MongoDB(文档数据库) Neo4j (图形数据库) Redis(键/值存储) Hbase(列族数 ...
分类:
编程语言 时间:
2019-09-16 09:56:53
阅读次数:
108