一、前期准备 1、配置ip 进入文件编辑模式： 原内容： 修改后内容： 重启网络使之生效 用CRT进行登录 2、修改hostname 3、映射hostname 添加红框栏： 4、联网 方便yum下载安装包或者安装一些命令，就必须联网： 5、安装vim 6、下载准备安装包 我在/opt/soft分别准 ...
分类：
数据库 时间：
2019-07-03 18:22:58
阅读次数：
177
packagecom.weshare.bigdata;importorg.apache.hadoop.hbase.Cell;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.*;importorg.
分类：
编程语言 时间：
2019-07-03 12:12:21
阅读次数：
171
使用protobuf生产模板代码，使用的版本是： hbase的版本是：1.2.1-cdh5.1.4.0 如果打印maven依赖树的话，可以看到hbase的protobuf版本是2.5.0 这种情况下打包不会报错，但是一旦运行就会出错： 那么应该咱么解决？ 答案是想办法向下兼容~ ， 就是保留高版本， ...
分类：
其他好文 时间：
2019-07-02 19:08:44
阅读次数：
174
1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 H ...
分类：
其他好文 时间：
2019-07-02 09:17:14
阅读次数：
97
1 概述 开发调试spark程序时，因为要访问开启kerberos认证的hive/hbase/hdfs等组件，每次调试都需要打jar包，上传到服务器执行特别影响工作效率，所以调研了下如何在windows环境用idea直接跑spark任务的方法，本文旨在记录配置本地调试环境中遇到的问题及解决方案。 2 ...
本文主要介绍ZooKeeper的快速部署安装，更多信息请参考 "ZooKeeper" 概述 ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括 ...
分类：
其他好文 时间：
2019-07-01 14:35:52
阅读次数：
95
Hbase基本介绍 Hbase工作机制 Hbase安装 Hbase的命令行客户端 HBASE客户端API操作 ...
分类：
其他好文 时间：
2019-06-30 18:46:38
阅读次数：
96
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
数据过滤在很多场景都会应用到，特别是在大数据环境下。在数据量很大的场景实现过滤或者全局去重，需要存储的数据量和计算代价是非常庞大的。很多小伙伴第一念头肯定会想到布隆过滤器，有一定的精度损失，但是存储性能和计算性能可以达到几何级别的提升。很多第三方框架也实现了相应的功能，比如hbase框架实现的布隆过 ...
分类：
其他好文 时间：
2019-06-30 14:02:23
阅读次数：
134
hadoop HA搭建参考：https://www.cnblogs.com/NGames/p/11083640.html （本节：用不到YARN 所以可以不用考虑部署YARN部分） Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格 ...
分类：
其他好文 时间：
2019-06-30 09:17:07
阅读次数：
122
