分布式组件zk基于zk集群实现分布式配置中心一、zk集群原理zk=文件系统+监听通知机制客户端注册监听它关心的目录节点,(数据改变/被删除/子目录节点增加删除)时,zk会通知客户端 二、zk集群选举原理分析集群leader选举原理集群(myid,zxid)/zab原子广播协议主节点提供写服务,从节点 ...
分类：
其他好文 时间：
2019-06-29 11:08:31
阅读次数：
80
启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式 ...
分类：
其他好文 时间：
2019-06-28 15:09:43
阅读次数：
109
1.#首先，需要安装Node.js （一路下一步安装），并确保 node 版本是 8.10 或以上。（mac 下推荐使用 nvm 来管理 node 版本） #安装完成后，通过node -v 命令查看其版本号 2.推荐使用 yarn 管理 npm 依赖，并使用国内源（阿里用户使用内网源）。 ...
分类：
其他好文 时间：
2019-06-26 13:35:12
阅读次数：
1204
一、高可用简介 二、集群规划 三、前置条件 四、集群配置 五、启动集群 六、查看集群 七、集群的二次启动 一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性 ...
分类：
其他好文 时间：
2019-06-25 09:44:28
阅读次数：
100
1、安装yarn curl -o- -L https://yarnpkg.com/install.sh | bash 出现了提示信息： > WARNING: GPG is not installed, integrity can not be verified! > Extracting to ~/ ...
分类：
其他好文 时间：
2019-06-23 14:10:43
阅读次数：
209
需求背景 最近在项目中遇到了一个类似Collapse的交互需求，因此到github上找了一圈关于Vue Collapse的相关轮子，但是多少都有些问题。有的是实现问题，例如 "vue2 collapse" ，伸缩部分采用max height指定动画，存在缺陷；还有的是扩展性问题，遇到定制场景比较棘手 ...
分类：
其他好文 时间：
2019-06-21 13:06:57
阅读次数：
215
npm和yarn的区别 yarn客户端包官网地址：https://yarnpkg.com/en/docs/install#windows-stable 在win环境下使用yarn安装 vue-cli 0.安装 （没装npm的时候也可以用客户端安装 ：https://yarnpkg.com/en/do ...
分类：
其他好文 时间：
2019-06-21 12:23:12
阅读次数：
82
1.画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等2.为什么会产生小文件3.为什么Hadoop不怕数据量大，却怕文件小4.你能告诉我路径占不占元数据内存，如果占，占多少5.小文件会产生什么样的问题，产生的问题会对你们的集群产生什么样的影响6.画出Yarn工程流程7.mr和sp ...
分类：
其他好文 时间：
2019-06-21 09:29:38
阅读次数：
185
先做如下声明，本代码版本是基于 3.1.2 版本。 其实，我们自己在写代码的时候，会有意识地将比较大的功能项独立成包，独立成module， 独立成项目，项目之间的关系既容易阅读理解，又便于管理。 如下，是hadoop-yarn-project的module截图： Hadoop YARN 的大部分功能 ...
分类：
其他好文 时间：
2019-06-19 23:20:34
阅读次数：
176
hive运行模式 hive on tez Tez是一个构建于YARN之上的支持复杂的DAG任务的数据处理框架。它由Hontonworks开源，它把mapreduce的过程拆分成若干个子过程，同时可以把多个mapreduce任务组合成一个较大的DAG任务，减少了mapreduce之间的文件存储，同时合 ...
分类：
其他好文 时间：
2019-06-18 13:49:20
阅读次数：
94
