HDFS-NameNode Tuning: dfs.namenode.handler.count: NameNode可开启的thread number,thread为从NameNode到DataNode的RPC请求。Default值为30(CM，Non CM is 10)。推荐设置为集群node数量 ...
分类：
其他好文 时间：
2016-09-30 02:22:12
阅读次数：
302
涉及到一些关于硬件的东西，我也不是很懂，记录下来有待以后学习。 Hadoop集群一般都是由小到大，刚开始可能只有4到6个节点，随着存储数据的增加，计算量的增大，内存需求的增加，集群慢慢变大。 比如按照数据存储量增大集群，每个星期数据存储3TB数据，HDFS的block备份数为3，则集群就需要9TB的 ...
分类：
其他好文 时间：
2016-09-30 00:49:51
阅读次数：
199
一、pig的运行模式： Pig 有两种运行模式： Local 模式和 MapReduce 模式。当 Pig 在 Local 模式运行的时候， Pig 将只访问本地一台主机；当 Pig 在 MapReduce 模式运行的时候， Pig 将访问一个 Hadoop 集群和 HDFS 的安装位置。这时， P ...
分类：
其他好文 时间：
2016-09-27 11:39:34
阅读次数：
153
这里，我以指定executor-memory参数的方式，启动spark-shell。 启动hadoop集群 spark@SparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ jps8457 Jpsspark@SparkSingleNode:/usr/loca ...
SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。 在Hadoop集群或其他集群中广泛应用用，可用于机器之间 ...
分类：
其他好文 时间：
2016-09-25 15:46:27
阅读次数：
123
HDFS架构图 一、Hadoop框架简介 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 HDFS(Hadoop Distribution File System)，称为Hadoop分布式文件系统，主要特 ...
分类：
其他好文 时间：
2016-09-23 12:45:11
阅读次数：
244
一、Hbase简介 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop Ma ...
分类：
其他好文 时间：
2016-09-22 10:08:49
阅读次数：
190
现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。 这里的Flume版本是1.6.0，Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把 ...
分类：
Web程序 时间：
2016-09-19 17:56:14
阅读次数：
243
目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。安装安装Hadoop集群..
分类：
其他好文 时间：
2016-09-18 06:43:37
阅读次数：
268
以下所介绍的安装方式都是在线安装方式，如果你需要连网请参考：Linux:宿主机通过桥接方式连接的VMware内部Linux14.04虚拟机（静态IP）实现上网方案 环境： OS：Linux Ubuntu14.04 Server X64; 服务器列表： 192.168.1.200 master 192 ...
分类：
系统相关 时间：
2016-09-17 16:10:19
阅读次数：
215
