本周主要是熟悉HDFS的操作。 在虚拟机安装好Hadoop后，我需要先熟悉下其自带的HDFS文件系统以及MapReduce的一系列操作，为接下来HBase的学习做好铺垫。因为HBase的文件存储系统是HDFS、数据处理方式是MapReduce，在很多操作上面有很多需要操作HDFS来进行的，所以我需要 ...
分类：
其他好文 时间：
2019-08-09 21:56:58
阅读次数：
101
hbase mutation操作，比如delete put等，都需要先获取行锁，然后再进行操作，在获取行锁时，是通过HRegion.getRowLockInternal(byte[] row, boolean waitForLock)进行的，因此，我们先大体浏览一下这个方法的流程，如下。可以看到，该 ...
分类：
其他好文 时间：
2019-08-08 19:14:43
阅读次数：
132
==目的== 想把zookeeper、hadoop、hbase、storm等大数据组件 设置为开机启动，并且进程挂掉之后，可以自动重启，以减少运维压力。 ==service文件== 路径：/usr/lib/systemd/system 文件名：train-zookeeper.service 样例： ...
分类：
系统相关 时间：
2019-08-08 13:32:27
阅读次数：
170
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2019-08-07 19:07:50
阅读次数：
85
实现步骤 1.准备三台虚拟机，01作为主节点，02、03作为从节点。（把每台虚拟机防火墙都关掉，配置免密码登录，配置每台的主机名和hosts文件。） 2.01节点上安装和配置：Hadoop+Hbase+JDK+Zookeeper 3.02、03节点上安装和配置：Hbase+JDK+Zookeeper ...
分类：
其他好文 时间：
2019-08-07 17:37:26
阅读次数：
116
1. Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处 ...
分类：
其他好文 时间：
2019-08-06 13:54:25
阅读次数：
231
NoSQL，全称NotOnlySQL，意为不仅仅是SQL，泛指非关系型的数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高。非关系型数据库又可以细分如下：键值存储数据库，代表有Redis,Voldemort,OracleBDB等。列存储数据库，代表有Cassandra,HBase,Riak等。文档型数据库，代表有CouchDB,MongoDB等。图形数据
分类：
数据库 时间：
2019-08-06 10:49:36
阅读次数：
97
这里小编介绍两种导入数据的方式，一种是基于hive，一种是基本文件生成HFile。1.hive-hbase-handler导数据这种方式需要一个jar包支持：下载地址：将其放入$HBASE_HOME/lib并将原有的jar包复制。其次修改hive-site.xml：#加入：<property><name>hive.aux.jars.path</
分类：
其他好文 时间：
2019-08-05 17:17:58
阅读次数：
189
Hive 数据仓库，Hive 的本质其实就相当于将 HDFS 中已经存储的文件在Mysql中做了一个双射关系，以方便使用 HQL 去管理查询 用于数据分析、清洗，Hive 适用于离线的数据分析和清洗，延迟较高 基于 HDFS、MapReduce，Hive存储的数据依旧在DataNode上，编写的 H ...
分类：
其他好文 时间：
2019-08-05 14:23:06
阅读次数：
90
搭建好HBase 集群后，各种后台进程都正常，搭建手册参考： Hbase 2.1.3 集群搭建手册https://www.cndba.cn/dave/article/3322 但是通过web访问，却报如下错误： 2019-03-05 23:13:49,508 WARN [qtp1911600942- ...
分类：
Web程序 时间：
2019-08-04 21:15:10
阅读次数：
263
