下面介绍myeclipse与hadoop的集成。我用的myeclipse版本是8.5.1、安装hadoop开发插件在hadoop1.2.1版本的安装包contrib/目录下，已经不再提供hadoop-eclipse-pligin-1.2.1.jar;而是提供了源代码文件，需要我们自行重新编译成jar...
1、什么是序列化和反序列化
神马是序列化呢，序列化就是把内存中的对象的状态信息，转换成字节序列以便于存储（持久化）和网络传输。（网络传输和硬盘持久化，你没有一定的手段来进行辨别这些字节序列是什么东西，有什么信息，这些字节序列就是垃圾）。
反序列化就是将收到字节序列或者是硬盘的持久化数据，转换成内存中的对象。
2、JDK的序列化
JDK的序列化只有实现了serializable接口就...
分类：
编程语言 时间：
2014-08-18 20:29:22
阅读次数：
330
环境搭建一.zookeeper参考：http://blog.chinaunix.net/uid-25135004-id-4214399.html现有4台机器 10.14.2.201 10.14.2.202 10.14.2.203 10.14.2.204安装zookeeper集群 在所有机器上进行1、...
分类：
其他好文 时间：
2014-08-18 20:22:42
阅读次数：
436
今天在CDH上执行hivesql的时候报了一个错。错误内容为：FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MoveTask错误语句：INSERTOVERWRITEDIRECTORY‘{$dir}‘select*fromtmp_analyse_oswherelogdata=‘{$begin}‘;错误原因：hive源码会检查导出的路径是否..
分类：
其他好文 时间：
2014-08-18 18:53:13
阅读次数：
260
1.连接远程服务器 安装wamp2.查看wamp 默认端口号是否与对应windows 服务器冲突，如果冲突，则改之 WAMP装好之后默认的端口是80，但是这个80端口呢，可以热门端口啊，迅雷，IIS都挺喜欢，在WIN7下本来还有1个进程也点80，让人伤脑筋啊，所以把它改掉，方法如下：一、修改APAC...
hadoop网盘的最终效果见下面，可以实现简单的文件上传、删除、下载功能，不同用户可以登录到自己的页面进行管理。
一、准备的安装包资源
（1）hadoop1.1.2安装包
（2）bootmetro一个CSS开元框架，用来提高web前端的开发效率
（3）mysql的Jdbc驱动包
（4）上传组件
（5）mysql安装包（我的电脑是x64，x86系统...
分类：
其他好文 时间：
2014-08-18 16:32:22
阅读次数：
343
一、调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能
（1）添加必要的hadoop jar包。
A、首先将Hadoop1.1.2.tar.gz解压到某一个磁盘下。
B、右键选择工程，选择build path....， build configure path；
C、将hadoop1.1.2文件夹下的jar包添加进去；
还有lib文件夹下的所有jar包（注意：...
分类：
其他好文 时间：
2014-08-18 16:25:42
阅读次数：
376
一、制作u-boot.bin文件：
tar xjf u-boot-1.1.6.tar.bz2
cd u-boot-1.1.6
patch -p1
make 100ask24x0_config
make
二、制作适用于4.3寸屏幕的uImage文件：
tar xjf linux-2.6.22.6.tar.bz2
cd linux...
分类：
系统相关 时间：
2014-08-18 14:37:52
阅读次数：
271
Hadoop的各个组件是通过XML配置的。
2.0以后，配置文件的位置发生了小变化，我安装的Hadoop 2.4.1，配置文件的位置在$HADOOP_INSTALL/etc/hadoop/
在初期运行MapReduce DEMO时，我们只需关注三个基本配置就好：
core-site.xml
hdfs-site.xml
yarn-site.xml(2.0后的版本，MapReduce运行在y...
分类：
其他好文 时间：
2014-08-18 14:33:26
阅读次数：
272
