1、什么是序列化和反序列化
神马是序列化呢，序列化就是把内存中的对象的状态信息，转换成字节序列以便于存储（持久化）和网络传输。（网络传输和硬盘持久化，你没有一定的手段来进行辨别这些字节序列是什么东西，有什么信息，这些字节序列就是垃圾）。
反序列化就是将收到字节序列或者是硬盘的持久化数据，转换成内存中的对象。
2、JDK的序列化
JDK的序列化只有实现了serializable接口就...
分类：
编程语言 时间：
2014-08-18 20:29:22
阅读次数：
330
今天在CDH上执行hivesql的时候报了一个错。错误内容为：FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MoveTask错误语句：INSERTOVERWRITEDIRECTORY‘{$dir}‘select*fromtmp_analyse_oswherelogdata=‘{$begin}‘;错误原因：hive源码会检查导出的路径是否..
分类：
其他好文 时间：
2014-08-18 18:53:13
阅读次数：
260
hadoop网盘的最终效果见下面，可以实现简单的文件上传、删除、下载功能，不同用户可以登录到自己的页面进行管理。
一、准备的安装包资源
（1）hadoop1.1.2安装包
（2）bootmetro一个CSS开元框架，用来提高web前端的开发效率
（3）mysql的Jdbc驱动包
（4）上传组件
（5）mysql安装包（我的电脑是x64，x86系统...
分类：
其他好文 时间：
2014-08-18 16:32:22
阅读次数：
343
一、调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能
（1）添加必要的hadoop jar包。
A、首先将Hadoop1.1.2.tar.gz解压到某一个磁盘下。
B、右键选择工程，选择build path....， build configure path；
C、将hadoop1.1.2文件夹下的jar包添加进去；
还有lib文件夹下的所有jar包（注意：...
分类：
其他好文 时间：
2014-08-18 16:25:42
阅读次数：
376
Hadoop的各个组件是通过XML配置的。
2.0以后，配置文件的位置发生了小变化，我安装的Hadoop 2.4.1，配置文件的位置在$HADOOP_INSTALL/etc/hadoop/
在初期运行MapReduce DEMO时，我们只需关注三个基本配置就好：
core-site.xml
hdfs-site.xml
yarn-site.xml(2.0后的版本，MapReduce运行在y...
分类：
其他好文 时间：
2014-08-18 14:33:26
阅读次数：
272
Hadoop学习笔记(10) ——搭建源码学习环境 上一章中，我们对整个hadoop的目录及源码目录有了一个初步的了解，接下来计划深入学习一下这头神象作品了。但是看代码用什么，难不成gedit?，单步调试呢？ 看程序不能调那多痛苦啊，想看跟踪一下变量，想看一下执行路径都难。 所以这里，我们得把这个....
分类：
其他好文 时间：
2014-08-18 14:20:02
阅读次数：
162
摘要 Hadoop分布式文件系统（HDFS）设计用来可靠的存储超大数据集，同时以高速带宽将数据集传输给用户应用。 在一个超大集群中，数以千计的服务器直接接触存储器和执行用户应用任务。通过许多服务器的分布式存储和...
分类：
其他好文 时间：
2014-08-18 12:43:04
阅读次数：
356
HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文...
分类：
其他好文 时间：
2014-08-18 12:21:14
阅读次数：
228
Azure HDInsightAzure HDInsight is Microsoft's distribution of Hadoop. The Azure HDInsight ecosystem includes the following features/components: Pig, H...
分类：
其他好文 时间：
2014-08-18 10:30:23
阅读次数：
477
