主从复制延时原因 Master负载过高、Slave负载过高、网络延迟、机器性能太低、MySQL配置不合理，大事务导致的延迟，slave中有大型query语句产生了锁等待 关于大事务：binlog的写入时机是在commit的时候，redo的写入时机是在事务执行阶段就开始，MySQL是基于binlog复 ...
分类：
数据库 时间：
2020-06-26 18:18:43
阅读次数：
68
Hadoop 生态系统 Hbase：HBase 是一个建立在 HDFS 之上，面向列的 NoSQL 数据库，用于快速读 / 写大量数据，HBase 使用 Zookeeper 进行管理。 Zookeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运 ...
分类：
其他好文 时间：
2020-06-26 14:54:11
阅读次数：
64
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo ...
分类：
其他好文 时间：
2020-06-26 10:33:25
阅读次数：
44
启动hbase shell ./bin/hbase shell 1、创建表，查看表 create 'tableName', 'familykey1','familykey2',.... eg. create 'student','info','course'list #查看表 2、查看表信息 des ...
分类：
系统相关 时间：
2020-06-24 23:41:04
阅读次数：
75
我们都知道在jsp中include有两种形式,分别是Include指令：<%@ include file=""%>和include动作：<jsp:include page="" flush="true"/> 前者是指令元素、后者是行为元素。具体它们将在何处用？如何用及它们有什么区别？这应该是很多人看 ...
分类：
Web程序 时间：
2020-06-24 19:36:27
阅读次数：
70
一、选题与意义 1.Hadoop平台应用 选题：Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用； 了解大数据处理的基本流程； 熟悉数据预处理方法； 熟悉在不同类型数据库 ...
分类：
其他好文 时间：
2020-06-23 19:18:44
阅读次数：
72
Hbase容灾与备份 一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案，即CopyTable、Export/Import、Snapshot。分别介绍如下： 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中，具有以下特点： 支持时间区间 、row ...
分类：
其他好文 时间：
2020-06-23 00:44:02
阅读次数：
60
开启服务，连接处理 step 1: SET PASSWORD = PASSWORD('your new password'); step 2: ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER; step 3: flush privileges; ...
分类：
数据库 时间：
2020-06-23 00:43:47
阅读次数：
67
登录MySQL登录本地用户mysql-uroot-p登录外网用户（需要注意服务器可能只允许本地登录，需要修改响应的配置文件）mysql-uroot-h123.456.789.852-p添加用户允许本地访问的用户（127.0.0.1）createuserroot@localhostidentifiedby‘123456‘;允许外网IP访问的用户createuser‘root‘@‘%‘identifi
分类：
数据库 时间：
2020-06-22 19:02:17
阅读次数：
89
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
