ZooKeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。(百度百科) 1、下载与解压 ...
分类:
其他好文 时间:
2019-06-16 13:57:37
阅读次数:
111
自定义 HBase-MapReduce1 目标:将 fruit 表中的一部分数据(列为 name 的数据),通过 MR 迁入到 fruit_mr 表中。 分步实现: 1.构建 FruitMapper 类,用于读取 fruit 表中的数据 package com.atlxl.mr1; import o ...
分类:
其他好文 时间:
2019-06-13 20:41:12
阅读次数:
103
第 6 章 HBase API 操 作 6.1 环境准备 新建项目后在pom.xml 中添加依赖: 6.2 HBaseAPI 6.2.1 获取 Configuration 对象 6.2.2 判断表是否存在 6.2.3 创建表 第 6 章 HBase API 操 作 6.1 环境准备 新建项目后在po ...
第3章 HBase Shell操作 3.1 基本操作 1.进入HBase客户端命令行 2.查看帮助命令 3.查看当前数据库中有哪些表 3.2 表的操作 1.创建表 2.插入数据到表 3.扫描查看表数据 4.查看表结构 5.更新指定字段的数据 6.查看“指定行”或“指定列族:列”的数据 7.统计表数据 ...
分类:
系统相关 时间:
2019-06-12 09:15:56
阅读次数:
200
第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护, 用于支持结构化的数据存储。 官方网站:http://hbase.apache.org -- 2006年Google发表BigTab ...
分类:
其他好文 时间:
2019-06-11 20:57:01
阅读次数:
122
(一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- ...
分类:
其他好文 时间:
2019-06-11 19:11:36
阅读次数:
139
foton中因为hbase没有封装分页的方法,如果前端QUI要支持分页,代码为: ...
分类:
其他好文 时间:
2019-06-06 14:07:31
阅读次数:
78
es查询优化思路 尽可能的利用内存 1. 将尽可能的索引留在内存,即留更多的堆外内存给es 2. 不查询的字段尽量不要往es插入,节省索引的空间大小(es + hbase) 3. 数据预热 4. 冷热数据分离 文档字段设计 1. 根据查询场景设计字段,避免复杂查询,将字段抹平。 分页优化 1. 避免 ...
分类:
其他好文 时间:
2019-06-05 00:39:21
阅读次数:
71
HBase Shell 1、status 例如:显示服务器状态 2、whoami 显示HBase当前用户,例如: 3、list 显示当前所有的表 4、count 统计指定表的记录数,例如: 5、describe 展示表结构信息 6、exists 检查表是否存在,适用于表量特别多的情况 7、is_en ...
分类:
系统相关 时间:
2019-05-31 01:31:12
阅读次数:
128
BulkLoad加载文件到HBase表 1、功能 将本地数据导入到HBase中 2、原理 BulkLoad会将tsv/csv格式的文件编程hfile文件,然后再进行数据的导入,这样可以避免大量数据导入时造成的集群写入压力过大。 3、作用 4、案例 Step1、配置临时环境变量 $ export HB ...
分类:
其他好文 时间:
2019-05-31 01:24:35
阅读次数:
102