本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 ...
分类：
其他好文 时间：
2020-03-26 13:56:37
阅读次数：
103
Hbase架构原理解析 https://developer.51cto.com/art/201904/595698.htm HBase 架构 HBase 的架构似乎也是 master-slave 架构，和 HDFS 有点像，HMaster 是用来管理集群，HRegionServer 是真正存储数据的 ...
分类：
其他好文 时间：
2020-03-26 01:03:42
阅读次数：
70
编辑/etc/my.cnf 在[mysqld]中添加 skip-grant-tables :wq 保存退出 ·······2.进入mysql 修改密码 update mysql.user set password=PASSWORD('新密码')where User='root'; ERROR 105 ...
分类：
数据库 时间：
2020-03-25 10:33:36
阅读次数：
103
前面使用 print() 函数时，都只输出了一个变量，但实际上 print() 函数完全可以同时输出多个变量，而且它具有更多丰富的功能。print() 函数的详细语法格式如下： print (value,...,sep='',end='\n',file=sys.stdout,flush=False) ...
分类：
编程语言 时间：
2020-03-24 17:15:40
阅读次数：
95
一、环境准备 需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase 这里演示创建软连接的方式 ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jar ln -s ...
分类：
其他好文 时间：
2020-03-23 20:32:49
阅读次数：
79
ZooKeeper 是一个开源的分布式协调服务,成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并 ...
分类：
其他好文 时间：
2020-03-23 15:28:00
阅读次数：
67
157. zookeeper 是什么？ zookeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 google chubby 的开源实现，是 hadoop 和 hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ...
分类：
编程语言 时间：
2020-03-23 00:16:47
阅读次数：
69
主要介绍了超强、超详细Redis入门教程,详细介绍了Redis数据库各个方面的知识 【本教程目录】 1.redis是什么 2.redis的作者何许人也 3.谁在使用redis 4.学会安装redis 5.学会启动redis 6.使用redis客户端 7.redis数据结构 – 简介 8.redis数 ...
分类：
其他好文 时间：
2020-03-22 17:58:54
阅读次数：
58
