1：引入的jar包1.X版本有hadoop-core包；而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib
+hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar
+\share\hadoo...
分类：
其他好文 时间：
2014-06-12 13:59:33
阅读次数：
255
处理upcall的整体框架是：
1.由函数handle_upcalls（）批量处理（in batches）的是由内核传上来的dpif_upcalls，会解析出upcall的类型。这里主要看在内核中匹配流表失败的MISS_UPCALL。处理完成后会得到多个flow_miss。
结构体dpif_upcall代表的是由内核传到用户空间的一个包，包括上传原因，pac...
分类：
其他好文 时间：
2014-06-11 06:23:28
阅读次数：
863
flume-ng
是一个分布式，高可用的日志收集系统。主要用来将分布在不同服务器上的业务日志汇总在一个集中的数据存储中心一
安装与环境配置下载地址http://flume.apache.org/download.html，下载Apache Flume
binary至目标服务器解压运行环境java版本...
分类：
其他好文 时间：
2014-06-10 21:03:30
阅读次数：
451
按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。...
分类：
其他好文 时间：
2014-06-10 18:01:51
阅读次数：
1183
整理处理流程图：
1. 通过对of msg进行解码，可以得到具体的flow_mod以及对应的actions，（这里看增加流表的情况），接下来add_flow函数就会根据flow_mod制定的流来构建特定的规则分类器，增加到oftable中。具体过程是：选择一个合适的表；构建一个分类规则（关键代码如下）；插入。这样此次通信的任务就完成了，当再有packet因为在datapa...
分类：
其他好文 时间：
2014-06-10 14:55:44
阅读次数：
601
之前在借助模板类自动实现COM连接点接收器（Sink）中对原作者的代码进一步封装，弄清了连接点使用的原理，在看ATL代码的过程中，发现ATL本身就提供了AtlAdvise/AtlUnadvise这样的机制来简化连接点的使用，CComPtrBase中也有Advise这个成员函数，它是对AtlAdvis...
分类：
其他好文 时间：
2014-06-10 13:24:09
阅读次数：
311
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Name...
分类：
其他好文 时间：
2014-06-10 12:40:13
阅读次数：
275
堆排的灵感源自于堆的数据结构。它是一种原地排序算法，不需要额外的临时数组。
基本思想
堆排的基本思想是：
先建立一个最大堆
将最大的元素移动到数组末尾，减小堆的大小，调整最大堆使其符合最大堆的性质
重复第二步，直到最大堆耗尽为止
第一个步骤建立最大堆的代码非常简单，只要对每个节点执行sink操作即可。
...
分类：
其他好文 时间：
2014-06-10 06:55:08
阅读次数：
295
今天碰到不少问题，记录一下。分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--fields-terminated-by而不能是--input-fields-terminated-by--input前缀的使用于读文件的分割符号，便于解析文件，所以用于从HDFS文件导出到某个数据库的场景。两个方向不一样。参数必须用单引号括起...
分类：
其他好文 时间：
2014-06-08 03:23:09
阅读次数：
289
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
