实施Hadoop集群--伪分布式安装准备与配置安装环境 安装虚拟机和linux，虚拟机推荐使用vmware，PC可以使用workstation，服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后自动修改网卡号和ip，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。 以Centos为例，分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类：
其他好文 时间：
2014-08-08 09:40:15
阅读次数：
505
1、安装JDK1.6或更高版本 官网下载JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。2、安装Cygwin Cygwin是Windows平台.....
先决条件：
Hadoop是用JAVA写的，所以首先要安装Java。在Ubuntu上安装JDK见：http://blog.csdn.net/microfhu/article/details/7667393
我下载的Hadoop版本是2.4.1，要求至少安装JDK 6以上。
Linux是唯一支持的生产环境，Unix，Windows或者Mac OS可以作为开发环境。在Windows上安装H...
分类：
系统相关 时间：
2014-08-08 01:59:25
阅读次数：
285
错误信息： [wukong@bd11?HDFS_Java_API]$?hadoop?HDFSJavaAPI.jar?HDFSJavaAPIDemo
Warning:?$HADOOP_HOME?is?deprecated.
Error:?Could?not?find?or?load?main?class?HDFSJavaAPI.jar 报错原因...
分类：
其他好文 时间：
2014-08-07 23:27:13
阅读次数：
435
Apache Hadoop的SequenceFile提供了一种把数据以二进制key-value对的形式保存到hdfs上的方式。跟其他key-value 数据结构相比（比如B-Tree），SequenceFile不能修改、删除数据，也不能在数据中间插入数据。SequenceFile只能往尾 部追加数据...
分类：
其他好文 时间：
2014-08-07 22:34:48
阅读次数：
294
It is finally here: you can configure the open source log-aggregator, scribe, to log data directly into the Hadoop distributed file system.Many Web 2....
分类：
其他好文 时间：
2014-08-07 22:03:16
阅读次数：
261
问题导读： 1.hadoop编程需要哪些基础？ 2.hadoop编程需要注意哪些问题？ 3.如何创建mapreduce程序及其包含几部分？ 4.如何远程连接eclipse，可能会遇到什么问题？ 5.如何编译hadoop源码？ ? 阅读此篇文章，需要...
分类：
其他好文 时间：
2014-08-07 19:24:50
阅读次数：
405
在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论Na...
分类：
其他好文 时间：
2014-08-07 18:30:50
阅读次数：
264
Hadoop集群搭建 ?? 目录结构 1. Centos安装之后基本配置 2. 安装和配置JDK 3. 集群网络环境介绍及快速部署 4. ssh免密码登录 5. 规划系统目录. 6. Hadoop集群配置 7. Hadoop集群启动 ? 1. Centos安装之后基本配...
分类：
其他好文 时间：
2014-08-07 16:00:20
阅读次数：
370
hadoop 2.2.0 和hbase 0.98 安装snappy压缩教程...
分类：
移动开发 时间：
2014-08-07 15:45:00
阅读次数：
463
