1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-...
hadoop网络拓扑结构在整个系统中具有很重要的作用，它会影响DataNode的启动(注册)、MapTask的分配等等。了解网络拓扑对了解整个hadoop的运行会有很大帮助。 首先通过下面两个图来了解与网络拓扑有关的类。 NetworkTopology用来表示hadoop集群的网络拓扑结构。...
分类：
移动开发 时间：
2015-05-24 11:20:19
阅读次数：
160
一、运行MapReduce程序出现的问题mapreduce.task.io.sort.mb无效
java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 4096解决办法：
这个参数的值设置的过大了，不能超过2047，注意单位是mb二、当集群的某个从节点宕机了，怎么办？解决办法：先在挂掉的节点上重启ambari代理，使用ambari-a...
分类：
其他好文 时间：
2015-05-22 21:15:54
阅读次数：
123
RedHadoop创始人童小军在北京开讲“Hadoop2.0集群优化与管理”啦！购买该线下培训课程的童鞋即可免费赠送一张价值2000元的云计算大会门票哦，超值优惠中！期待您的加入哦！...
分类：
其他好文 时间：
2015-05-22 13:31:48
阅读次数：
211
Hive 是一个基于Hadoop分布式文件系统(HDFS)之上的数据仓库架构，同时依赖于MapReduce。适用于大数据集的批处理，而不适用于低延迟快速查询。Hive将用户的HiveQL语句转换为MapReduce作业提交到Hadoop集群上，监控执行过程，最后返回结果给用户。由于Hive的元数据(...
分类：
其他好文 时间：
2015-05-21 22:25:38
阅读次数：
181
Hadoop 主要由HDFS和MapReduce 引擎两部分组成。最底部是HDFS，它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎，该引擎由JobTrackers 和TaskTrackers组成。
一、HDFS基本概念
1、数据块
HDFS默认的最基本的存储单位是64M的数据块，这个数据块可以理解和一般的文件里面的...
分类：
其他好文 时间：
2015-05-19 20:58:55
阅读次数：
198
hadoop学习过程中难免遇到麻烦，仅保存部分常见错误的消息，以供参考...
分类：
其他好文 时间：
2015-05-15 21:26:30
阅读次数：
176
1．CentOS7安装
（1）最小化安装CentOS7
（2）配置网络连接
vi/etc/sysconfig/network-scripts/ifcfg-eth0
修改：BOOTPROTO=static
ONBOOT=yes
添加：IPADDR= ipaddress（ip地址）
NETMASK=subnetmask（子网掩码）...
分类：
其他好文 时间：
2015-05-15 10:44:31
阅读次数：
154
1.Hadoop的3种运行模式单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点完全分布式模式：正常的Hadoop集群，由多个各司其职的节..
分类：
其他好文 时间：
2015-05-09 20:36:04
阅读次数：
169
1、单机模式：安装简单，几乎不用做任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点3、完全分布式模式：正常的Hadoop集群，由多个各司...
分类：
其他好文 时间：
2015-05-05 10:23:52
阅读次数：
168
