linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
我查看了网上的原因，把core.site.xml里的以下配置复制到了hdfs.site.xml里，三台机器都要复制，复制完以后在重新启动hadoop集群，嗯~~~启动了一个nn，还有一个nn没有起来，然后如果你也另一个namenode没有起来请看我另一篇文章吧！！！https://www.cnblo ...
分类：
其他好文 时间：
2019-04-07 14:34:25
阅读次数：
392
背景：昨晚11点40几分，终于各个集群组件都启动成功了，然后心满意足的去睡觉了，但是今早再起来再去启动的时候就出现了namenode的问题，然后就开始了查找原因的艰辛历程。 查看报错的log日志： 2019-04-07 13:22:57,746 WARN org.apache.hadoop.hdfs ...
分类：
移动开发 时间：
2019-04-07 14:22:50
阅读次数：
248
apache的各个软件各个版本下载： http://archive.apache.org/dist/ 1.下载spark. sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo ...
分类：
其他好文 时间：
2019-03-25 14:36:06
阅读次数：
209
一、Mapreduce概述 Mapreduce是分布式程序编程框架，也是分布式计算框架，它简化了开发！ Mapreduce将用户编写的业务逻辑代码和自带默认组合整合成一个完整的分布式运算程序，并发的运行在hadoop集群上。 二、Mapreduce优缺点 优点：1.易于编程：只用实现几个接口即可完成 ...
分类：
其他好文 时间：
2019-03-24 09:39:32
阅读次数：
136
首先安装好一台CentOS6.9-64位机器 并安装jdk1.8的64位版本，这些基础步骤都很简单，百度即可 然后克隆三台，也就是总共四台虚拟机 第一台的网络配置是没有问题的，但是第二台需要进行配置： 网卡冲突问题解决： vi /etc/udev/rules.d/70-persistent-net. ...
分类：
其他好文 时间：
2019-03-15 19:31:36
阅读次数：
154
1首先对于一个java还白的小白，先理解CDH与Hadoop的关系 一、Hadoop版本选择。 Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop，考虑到Hadoop集群部署的高效，集群的稳定性， 以及后期集中的配置管理，业界多使用Cloudera公司的发行版，简称 ...
分类：
其他好文 时间：
2019-03-14 18:14:32
阅读次数：
1080
基础环境准备 zookeeper集群（参开地址：https://www.cnblogs.com/starzy/p/10376642.html） Hadoop集群（参考地址：https://www.cnblogs.com/starzy/p/10481935.html） 下载hbase并解压到指定目录 ... ...
分类：
其他好文 时间：
2019-03-10 17:43:32
阅读次数：
208
1.在IDEA pom.xml 中添加 注意：代码中mainClass需要根据打包的具体类修改 2.在IDEA右侧栏中选择Maven Projects，打开Lifecycle文件夹，先点击compile再点击package，等待jar包完成。 jar包打完之后打开左侧target文件夹，发现有两个j ...
分类：
编程语言 时间：
2019-03-08 10:01:43
阅读次数：
255
