1.准备环境 安装centos7,在此我准备了五个虚拟机,分别命名为L1,L2,L3,L4,L5.计划在L1上面运行Master节点,在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解,请参考我的另外一篇博客:虚拟机网络配置以及准备工作:https://blog. ...
分类:
其他好文 时间:
2021-01-22 11:44:51
阅读次数:
0
HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要说Hive,Hive方便地提供了Hiv ...
分类:
其他好文 时间:
2021-01-21 10:54:30
阅读次数:
0
Hbase的配置与使用 设置环境变量 vim /etc/profile export HBASE_HOME=/usr/local/hbase export PATH=$PATH:/usr/local/hbase/bin 设置Hbase的配置文件 cd /usr/local/hbase/conf vi ...
分类:
其他好文 时间:
2021-01-20 12:02:44
阅读次数:
0
Java诞生于1995年 JVM = java虚拟机 Java virtual machine 图形界面的程勋Applet,现在逐渐被淘汰 1998年java分为三个部分 - java2标准版 (J2SE)占领桌面端 - java2移动版 (J2ME)占领手机端 - java2企业版 (J2EE)占 ...
分类:
编程语言 时间:
2021-01-20 11:56:51
阅读次数:
0
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类:
其他好文 时间:
2021-01-19 12:16:24
阅读次数:
0
x + **声明** ``` declare -A dict ``` + **赋值** + **初值** ``` dict=([key1]="value1" [key2]="value2" [key3]="value3") ``` + **动态赋值** ``` dict['key']=value ` ...
分类:
系统相关 时间:
2021-01-19 12:16:11
阅读次数:
0
Ansible 常用模块 参考地址: https://docs.ansible.com/ansible/latest/modules/modules_by_category.html ping command and shell # 注意区别和相同 # command 不能识别变量以及引号内容 ro ...
分类:
系统相关 时间:
2021-01-19 12:09:17
阅读次数:
0
前言: 端口号:21881 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 本质:主要作用是注册 ...
分类:
其他好文 时间:
2021-01-19 12:08:39
阅读次数:
0
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类:
数据库 时间:
2021-01-19 12:02:43
阅读次数:
0
我们学习hadoop,最常见的编程是编写mapreduce程序,但是,有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录,新建一个文件,从本地上传一个文件到hdfs等,甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例,帮助我们加深对hdfs的理解。 ...
分类:
编程语言 时间:
2021-01-19 11:58:35
阅读次数:
0