一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
分类：
其他好文 时间：
2018-09-17 14:08:20
阅读次数：
181
如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。 hadoop fs -put fruit.txt / 下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发的功能，我们只需在启动hadoop作 ...
分类：
Web程序 时间：
2018-09-14 01:19:02
阅读次数：
222
由于工作需要，需要搭建hadoop+zookeeper+hbase+storm+kafka集群准备了三台服务器（一台8核+32G内存+300G硬盘充当master，一台8核+16G内存+300G硬盘充当slave01，一台8+16G+500G硬盘充当slave02，并且都能上网），具体如下：Master根据情况定义Hadoop、zookeeper、hbase、storm、kafka、Slave01
分类：
其他好文 时间：
2018-09-12 15:06:17
阅读次数：
147
官网：http://hadoop.apache.org/ The Apache? Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoo ...
分类：
其他好文 时间：
2018-09-09 11:57:26
阅读次数：
198
部署hadoop集群，都需要配置SSH免密码登陆，为什么要设置SSH免密码登录，其原因是我们在开启hadoop的时候需要多次输入yes和root密码，这是我们所不能忍受的，我们迫切需要实现免登录的功能。这里以三个节点node0,node1,node2为例配置首先每个节点的/etc/hosts文件都要配置好，内容如下：10.10.75.100node010.10.75.101node110.10.7
分类：
其他好文 时间：
2018-09-08 17:15:31
阅读次数：
210
最近刚搭建的Hadoop集群（CM），发现在通过sqoop导入数据使整个集群当中的磁盘都快占满了。这个时候考虑到需要对集群当中数据的副本数进行修改（由原来的3个副本修改为现在的1个副本） 然后我们在对之前到如到HDFS上面的文件进行重新设置副本数。命令如下： 然后我们使用CM对集群当中的资源进行平衡 ...
分类：
其他好文 时间：
2018-09-07 19:13:20
阅读次数：
883
NameNode 高可用 ?为什么 NameNode 需要高可用 – NameNode 是 HDFS 的核心配置,HDFS 又是 Hadoop 的核心组件,NameNode 在 Hadoop 集群中至关重要,NameNode机器宕机,将导致集群不可用,如果NameNode 数据丢失将导致整个集群的数 ...
分类：
其他好文 时间：
2018-09-05 17:36:05
阅读次数：
204
上面的报错是在本地java调试（windows） hadoop集群 出现的 解决方案： 在resources文件夹下面创建一个文件log4j.properties（这个其实hadoop安装目录下的 etc/hadoop/log4j.properties 同名，我尝试拿过来用，发现还是不行报错信息如下 ...
分类：
移动开发 时间：
2018-09-04 19:08:14
阅读次数：
283
## HUE安装与使用 ### 1、介绍 HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce ... ...
分类：
其他好文 时间：
2018-09-04 13:58:47
阅读次数：
159
通过Hadoop安全部署经验总结，开发出以下十大建议，以确保大型和复杂多样环境下的数据信息安全。 1、先下手为强!在规划部署阶段就确定数据的隐私保护策略，最好是在将数据放入到Hadoop之前就确定好保护策略。 2、确定哪些数据属于企业的敏感数据。根据公司的隐私保护政策，以及相关的行业法规和政府规章来 ...
分类：
其他好文 时间：
2018-09-01 15:15:13
阅读次数：
177
