hbase已经配置好 开始使用hbase时 先启动hadoop集群 start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin) 然后start-hbase.sh，启动 ...
分类：
其他好文 时间：
2020-06-08 00:39:09
阅读次数：
68
MySQL SQL介绍(1) 一、MySQL SQL介绍 1.1.1 SQL 应用基础 常用的列属性约束 1、primary key （主键） 2、unique （唯一） 3、not null （不为空） 4、default （默认值） 5、auto_increment （自增长） 6、unsign ...
分类：
数据库 时间：
2020-06-06 14:28:47
阅读次数：
66
CDH6.3.2启用Kerberos集成使用phoenix标签（空格分隔）：大数据平台构建一、下载并安装Phoenixparcel二、安装CSD文件三、在ClouderaManager中添加Phoenix服务（前提是已经安装了HBase服务）四、配置HBase以用于Phoenix五、验证Phoenix安装与冒烟测试六、导入数据验证测试七、七：关于phoinex的schema与hbase的names
分类：
其他好文 时间：
2020-06-05 00:31:53
阅读次数：
121
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc ...
分类：
其他好文 时间：
2020-06-04 10:38:09
阅读次数：
76
这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过 ...
分类：
Web程序 时间：
2020-06-04 10:26:08
阅读次数：
83
唯一原则 ? 由于在HBase中数据存储是Key-Value形式，若HBase中同一表插入相同Rowkey，则原先的数据会被覆盖掉(如果表的version设置为1的话)，所以务必保证Rowkey的唯一性 长度原则 ? Rowkey是一个二进制码流，Rowkey的长度建议设计在10~100个字节，不过 ...
分类：
其他好文 时间：
2020-06-02 18:38:52
阅读次数：
55
hbase在创建表的时候，一开始只有一个Region，当数据量越来越大时，此region不能承受数据量，就会进行split 这种方式有两种缺点：1.数据往一个region上写,会有写热点问题 2.region split会消耗宝贵的集群I/O资源 所以引入了预分区概念。 https://blog.c ...
分类：
其他好文 时间：
2020-06-02 11:27:42
阅读次数：
69
第一章、phoenix入门简介 1. Phoenix定义 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据 ...
分类：
其他好文 时间：
2020-06-01 18:05:21
阅读次数：
103
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类：
其他好文 时间：
2020-05-31 19:30:40
阅读次数：
69
