任何一个复杂的软件系统，为了提高其适应性和扩展性，一般都会有一个配置模块或者配置系统，作完成其扩展、定制的手段和方式。1.1. Windows的配置文件（第一次知道这事啊）：采用的是ini后缀的文本文件，可通过动态链接库提供方法进行处理。初始化文件或profile概要文件1.2. Java配置文件：...
分类：
其他好文 时间：
2014-07-16 23:31:06
阅读次数：
340
1.1. 压缩减少存储空间，加快传输速率在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop，主要考虑压缩速率和压缩文件的可分割性压缩算法：时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例（采用...
分类：
其他好文 时间：
2014-07-01 12:13:27
阅读次数：
222
1. hadoop远程过程调用RPC：XML-RPC，JSON-RPC，CORBA，RMI（Remote Method Invocation）,Haoop IPC(进程间通信)RPC原理：允许本地程序（客户端）调用其他机器（服务器）上的过程，客户端使用参数将信息传送给调用方，通过返回值得到消息。RP...
分类：
其他好文 时间：
2014-07-01 12:01:22
阅读次数：
316
1.1. hadoop远程过程调用1、 远程接口调用（必须实现VersionedProtocol接口）里面有一个方法，IPC通信时会比较客户端和服务端接口的版本号。必须一致才可以package rpc;import org.apache.hadoop.ipc.VersionedProtocol;pu...
分类：
其他好文 时间：
2014-07-01 11:58:14
阅读次数：
186
Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？...
分类：
其他好文 时间：
2014-07-01 08:08:16
阅读次数：
192
书籍学习——董西成《Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理》HDFS 高容错，高伸缩性Lucene是引擎开发包，提供了一个纯java的高性能全文检索，可方便的嵌入到各种应用中实现全文搜索/索引功能。Nutch是以Lucene为基础实现的搜索引擎应用，Lu...
分类：
其他好文 时间：
2014-06-27 12:15:57
阅读次数：
221
一、java内建序列化机制 java序列化机制将对象转换为连续的byte数据，这些数据可以在日后还原为原先的对象状态，还能自动处理不同操作系统上的差异，也不用担心字节排列次序。 java的类实例可被序列化只要在类声明中加入implements Serializable即可。Serializabl.....
分类：
其他好文 时间：
2014-06-25 23:07:38
阅读次数：
255
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是...
分类：
其他好文 时间：
2014-06-25 07:59:09
阅读次数：
183
配置系统是复杂软件必不可少的一部分，org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用。 windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准，被称为（Initialization File）或概要文...
分类：
其他好文 时间：
2014-06-24 09:11:43
阅读次数：
248
在信息安全性领域，授权是世界的的中心，因为它是控制个体（即人、进程和计算机）对系统资源的访问权限的过程。直到最近，在 Java 安全体系结构中相关的问题都是“这段运行中的代码的访问权限是什么？” 随着 Java 认证和授权服务（Java Authentication and Authorizatio...
分类：
编程语言 时间：
2014-06-22 12:47:38
阅读次数：
434
