这两天仿hadoop 写java RPC框架，使用PB作为序列号工具，在写读数据的时候遇到一个小坑。之前写过NIO代码，恰好是错误的代码产生正确的逻辑，误以为自己写对了。现在简单整理一下。使用NIO，select()到读事件时，要处理4种情况：1. channel还有数据，继续读。2. channe...
分类：
编程语言 时间：
2014-08-31 17:02:01
阅读次数：
322
网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络...
分类：
其他好文 时间：
2014-08-30 23:13:50
阅读次数：
434
Hadoop学习笔记： 1、Hadoop三种安装模式 本地模式：本地模式是Hadoop默认的模式，只有Hadoop被配置成以非分布式模式运行的一个独立Java进程。默认模式下所有3个XML文件均为空，此时，Hadoop会完全运行在本地。它...
分类：
其他好文 时间：
2014-08-30 19:15:10
阅读次数：
406
zookeeper使用和原理探究（一）zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使...
分类：
其他好文 时间：
2014-08-30 17:44:59
阅读次数：
341
一．RPC协议在分析协议之前，我觉得我们很有必要先搞清楚协议是什么。下面我就谈一点自己的认识吧。如果你学过java的网络编程，你一定知道：当客户端发送一个字节给服务端时，服务端必须也要有一个读字节的方法在阻塞等待；反之亦然。 这种我把它称为底层的通信协议。可是对于一个大型的网络通信系统来说，很显然这...
分类：
其他好文 时间：
2014-08-30 17:34:59
阅读次数：
295
在编写MapReduce程序时，Map和Reduce之间传递的数据需要是ArrayList类型的，在调试运行时遇到了这样的一个错误：java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.Ar...
分类：
其他好文 时间：
2014-08-30 16:25:09
阅读次数：
341
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException at org.apache.hadoop.mapreduce.Job$1.r...
分类：
移动开发 时间：
2014-08-30 12:32:09
阅读次数：
199
一、计算PI值的方式与原理 ? ? ? 百度一下，计算PI的方法还真不少。但在hadoop examples代码中的注释写的是：是采用 Quasi-Monte Carlo 算法来估算PI的值。? ? ? ? 维基百科中对Quasi-Monte Carlo的描述比...
分类：
其他好文 时间：
2014-08-30 11:24:49
阅读次数：
394
1、执行一个简单的job任务时，map完成100%，reduce一直0.00%，看log日志，一直重复copy,看不出什么。最后等很长时间，报错如下：最后，从网上找到解决方法：就是/etc/sysconfig/network中定义的HOSTNAME=cm134和/etc/hosts指定的不一样，或者是在命令行下#hostname获取的主机名..
分类：
其他好文 时间：
2014-08-30 11:21:29
阅读次数：
239
问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A....
分类：
其他好文 时间：
2014-08-30 11:06:39
阅读次数：
927
