介绍完org.apache.hadoop.io 以后，我们开始来分析org.apache.hadoop.rpc。RPC 采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS 的，通信可能发生在：? Client-NameNode 之间，其中NameNode...
分类：
其他好文 时间：
2015-05-11 17:22:55
阅读次数：
112
既然是RPC，自然就有客户端和服务器，当然，org.apache.hadoop.rpc也就有了类Client和类Server。在这里我们来仔细考察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client中的关键类和关键方法。由于Client可能和多个Server通信，典型的一次HDFS读，需..
分类：
其他好文 时间：
2015-05-08 18:31:52
阅读次数：
140
既然是RPC，自然就有客户端和服务器，当然，org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考 察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和...
分类：
其他好文 时间：
2015-05-08 16:45:56
阅读次数：
90
既然是RPC，自然就有客户端和服务器，当然，org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考
察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和关键方法。
由于Client 可能和多个Server 通信，典型的一次HDFS 读，需要和NameNo...
分类：
其他好文 时间：
2015-05-08 16:39:38
阅读次数：
89
经过我对spring源代码的分析，@PathVariable一定要慎用，它的确让你的URL很美，但是它牺牲了很大的性能。spring先在mapping里面精准匹配，匹配不到开始走@PathVariable的模糊匹配详见spring源代码AbstractHandlerMethodMapping289行privatevoidaddMatchingMappings(Collection&..
分类：
编程语言 时间：
2015-05-06 18:13:56
阅读次数：
506
由于Hadoop 的MapReduce 和HDFS 都有通信的需求，需要对通信的对象进行序列化。Hadoop 并没有采用Java 的序列化，而是引入了它自己的系统。org.apache.hadoop.io 中定义了大量的可序列化对象，他们都实现了Writable 接口。实现了Writable 接口的...
分类：
其他好文 时间：
2015-05-06 16:58:43
阅读次数：
95
由于Hadoop 的MapReduce 和HDFS 都有通信的需求，需要对通信的对象进行序列化。Hadoop 并没有采用Java 的序列化，而是
引入了它自己的系统。
org.apache.hadoop.io 中定义了大量的可序列化对象，他们都实现了Writable 接口。实现了Writable 接口的一个典型例子如
下：
Java 代码
1. public class MyWritab...
分类：
其他好文 时间：
2015-05-06 13:23:33
阅读次数：
111
既然包名是api，说明里面肯定都是一些常用的Kafka API了。一、ApiUtils.scala顾名思义，就是一些常见的api辅助类，定义的方法包括：1. readShortString: 从一个ByteBuffer中读取字符串长度和字符串。这个ByteBuffer的格式应该是：2个字节的字符串长...
/**
*Inspectsthetargetclass.Exceptionswillbeloggedandamakermapreturned
*toindicatethelackofdebuginformation.
*/
privateMap<Member,String[]>inspectClass(Class<?>clazz){
InputStreamis=clazz.getResourceAsStream(ClassUtils.getClassFileName(clazz));
..
分类：
编程语言 时间：
2015-05-05 16:51:58
阅读次数：
448
kafka.cluster包定义了Kafka的基本逻辑概念：broker、cluster、partition和replica——这些是最基本的概念。只有弄懂了这些概念，你才真正地使用kakfa来帮助完成你的需求。因为scala文件不多，还是老规矩，我们一个一个分析。一、Broker.scalabro...
分类：
其他好文 时间：
2015-04-29 11:27:15
阅读次数：
168
