一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo ...
分类:
其他好文 时间:
2020-06-26 10:33:25
阅读次数:
44
1.先在mysql创建需要的数据库和表 use book; create table t_user( `id` int primary key auto_increment, `username` varchar(20) not null unique, `password` varchar(32) ...
分类:
数据库 时间:
2020-06-25 19:18:59
阅读次数:
176
启动hbase shell ./bin/hbase shell 1、创建表,查看表 create 'tableName', 'familykey1','familykey2',.... eg. create 'student','info','course'list #查看表 2、查看表信息 des ...
分类:
系统相关 时间:
2020-06-24 23:41:04
阅读次数:
75
v-on 事件监听: <body> <div id ="app"> <p> <h2>counter: {{counter}}</h2> <button @click="increment">+</button> <button @click="decrement">-</button> </p> < ...
分类:
其他好文 时间:
2020-06-24 22:05:32
阅读次数:
61
创建部门表和员工表 CREATE TABLE `dept` ( `id` int(11) NOT NULL AUTO_INCREMENT, `deptName` varchar(30) DEFAULT NULL, `address` varchar(40) DEFAULT NULL, `ceo` i ...
分类:
数据库 时间:
2020-06-23 21:21:06
阅读次数:
89
一、选题与意义 1.Hadoop平台应用 选题:Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用; 了解大数据处理的基本流程; 熟悉数据预处理方法; 熟悉在不同类型数据库 ...
分类:
其他好文 时间:
2020-06-23 19:18:44
阅读次数:
72
Hbase容灾与备份 一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable、Export/Import、Snapshot。分别介绍如下: 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中,具有以下特点: 支持时间区间 、row ...
分类:
其他好文 时间:
2020-06-23 00:44:02
阅读次数:
60
数据来源层 数据库 日志 视频,ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka(存储少量数据) 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类:
其他好文 时间:
2020-06-22 00:56:04
阅读次数:
83
Hadoop 分布式系统基础结构 海量数据存储,海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache:最基础 Cloudera:大型互联网企业 Horto ...
分类:
其他好文 时间:
2020-06-21 23:10:42
阅读次数:
63
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常,包括:zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类:
系统相关 时间:
2020-06-20 16:44:49
阅读次数:
68