Hadoop版本 1.0.3
问题描述:
随着每日MR作业数目渐增，用户反映提交作业时经常阻塞，也就是JobTracker发生了拥堵。这种情况开始频繁出现，我们调大JobTracker端的RPC Handler线程个数，并定时对JobTracker的栈信息进行分析，如果RPC Handler线程全部被BLOCKED住了，就Dump出栈信息，并及时发出报警。
原因及解决办法:
经过分析几次抓...
分类：
其他好文 时间：
2015-01-12 16:36:49
阅读次数：
173
共享文件系统以及NFS数据同步
1、单个NFS的缺点
一般情况下，当nfs客户端数目较小的时候，NFS性能不会出现问题；一旦NFS服务器数目过多，并且是那种读写都比较频繁的操作，所得到的结果就不是我们所期待的。
单个NFS这种架构除了性能问题而外，还存在单点故障，一旦这个NFS服务器发生故障，所有靠共享提供数据的应用就不再可用，可以考虑用rsync方式同步数据到另外一个服务器上做nfs服务的...
分类：
其他好文 时间：
2015-01-12 14:46:10
阅读次数：
185
阿里阿里的开源项目很多，这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目，例如LVS、Tengine，或者很有实践价值的中间件，例如 MetaQ(分布式消息系统)、dubbo(RPC框架)、cobar(数据库中间件)，或者是Java世界的工具，例如druid、fastjson。都说国内Java...
分类：
其他好文 时间：
2015-01-11 20:18:05
阅读次数：
213
现有的软件中用了大量的COM接口，导致无法跨平台，当然由于与Windows结合的太紧密，还有很多无法跨平台的地方。那么为了实现跨平台，支持Linux系统，以及后续的分布式，首要任务是去除COM接口。 在对大量框架进行调研后，决定使用RCF替换COM接口。 RPC通信框架 CORBA ICE Thri...
分类：
其他好文 时间：
2015-01-11 00:56:37
阅读次数：
233
-------------报错----------1、git clone error: RPC failed; result=56, HTTP code = 200解决办法：git config --global http.postBuffer 524288000（尽量大）http.postBuff...
分类：
其他好文 时间：
2015-01-10 22:20:28
阅读次数：
280
出现这个问题的背景是，判断一批激活码在系统中是否已经存在，很傻的一个作法是，把这一批激活码，以in（in ('ddd','aaa')）的形式来处理，导致问题的出现。后来，查找资料，http://bbs.csdn.net/topics/350137806在这里讨论的结果是：你的问题不是你不会使用LIN...
分类：
其他好文 时间：
2015-01-09 12:11:42
阅读次数：
332
使用git提交比较大的文件的时候可能会出现这个错误 error: RPC failed; result=22, HTTP code = 411 fatal: The remote end hung up unexpectedly fatal: The remote end hung up unexpectedly Everything up-to...
分类：
其他好文 时间：
2015-01-08 20:18:38
阅读次数：
199
Hadoop2.0源码包简介
1、解压源码包：
2、目录结构：
hadoop-common-project：Hadoop基础库所在目录，如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。
hadoop-mapreduce-project：MapReduce框架的实现，在第一代MR即MRv1中，MapReduce由编程模型(map/redu...
分类：
其他好文 时间：
2015-01-08 18:03:28
阅读次数：
159
配置好 cassandra.yaml 之后 ，两台主机竟然不通信： [root@SCAN_190 apache-cassandra-2.1.2]# cat conf/cassandra.yaml |grep 172 - seeds: "172.16.1.141,172.16.1.190" listen_address: 172.16.1.190 rpc_ad...
分类：
其他好文 时间：
2015-01-07 23:41:08
阅读次数：
333
RPC中文叫远程函数调用，它是一种通信方式，只是看起来像普通的函数调用。它包括三个基本要素：1：服务端注册相应的(服务)函数（用于调用方调用）2：调用方通过函数调用的方式将一些信息和参数打包到消息，然后发送消息给被调用方。3：被调用方收到消息后，提取信息和参数。调用相应函数。被调用方不需要用户手动解...
分类：
编程语言 时间：
2015-01-07 14:31:02
阅读次数：
195
