HDFS的组成，NameNode，DataNode，SecondaryNameNode作用？ HDFS是什么？ HDFS的优缺点： HDFS的块大小，为什么不能太大，也不能太小？ ...
分类：
其他好文 时间：
2019-12-20 20:29:13
阅读次数：
103
1 概述 解决hadoop启动hdfs时，datanode无法启动的问题。错误为： 2 问题描述 执行start-dfs.sh后，根据打印日志，可以看到分别执行了NameNode、DataNode的操作。 但是执行jps查看启动结果时，返现DataNode并没有启动。 3 查找问题 很是费解，刚刚还 ...
分类：
编程语言 时间：
2019-12-19 21:14:13
阅读次数：
131
Keepalived简介 Keepalived是Linux下一个轻量级别的高可用解决方案。高可用(High Avalilability,HA)，其实两种不同的含义：广义来讲，是指整个系统的高可用行，狭义的来讲就是之主机的冗余和接管， 它与HeartBeat RoseHA 实现相同类似的功能，都可以实 ...
分类：
编程语言 时间：
2019-12-18 12:28:49
阅读次数：
119
错误原因： namenode内存空间不够，JVM剩余内存空间不够新job运行所致 解决办法： 将hive设置成本地模式来执行任务 set hive.exec.mode.local.auto=true; ...
分类：
其他好文 时间：
2019-12-18 00:03:59
阅读次数：
915
1.取得对象信息的方法：toString()：输出的是对象的信息，一般需要在对象中重写此方法来打印具体属性。 2.对象相等判断方法：equals()：判断是否是同一个对象，如果需要比较对象内容是否相等需要重写，与==相同。 简单数据类型的包装类都重写了equals方法比较的是值。 3.对象签名:ha ...
分类：
编程语言 时间：
2019-12-17 18:20:35
阅读次数：
84
hadoop配置 一、首先写两个实用的小脚本 1、执行命令 ：xcall.sh ls 则可以在四台机器上循环执行命令 ls(首先需要支持ssh免密登陆) 2、可以使用命令xscp.sh /soft/download/ 把download下的所有文件传到其他三台服务器对应目录下(首先需要支持ssh免密 ...
分类：
其他好文 时间：
2019-12-16 19:41:15
阅读次数：
107
一、安装mac 神器Homebrew工具1、简介 Homebrew官网 http://brew.sh/index_zh-cn.html Homebrew是神马 linux系统有个让人蛋疼的通病，软件包依赖，好在当前主流的两大发行版本都自带了解决方案，Red ha有yum，Ubuntu有apt-get ...
分类：
移动开发 时间：
2019-12-16 19:28:52
阅读次数：
148
一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名，Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务，如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类：
其他好文 时间：
2019-12-16 19:22:48
阅读次数：
100
一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 ...
分类：
其他好文 时间：
2019-12-14 20:55:37
阅读次数：
106
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
