项目原理概述利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式为的matrix矩阵,key为待聚类文本的数字编号,value为待聚类文本的单词向量Vector, Vector...
分类:
其他好文 时间:
2014-07-07 10:43:16
阅读次数:
1186
Hdfs文件系统,提供了一套基于hadoop的抽象文件系统的API,支持以流的方式访问文件系统中的数据。特性:1、 支持超大文件2、 检测和快速应对硬件故障(故障检测和自动恢复)3、 流式数据访问,注重的是数据的吞吐量,而不是数据的响应速度4、 简化的一致性模型,一次写入,多次读取。不适合:5、 低...
分类:
其他好文 时间:
2014-07-03 18:51:20
阅读次数:
266
1.1. hadoop抽象文件系统 因java.io.FileSystem为私有抽象包,不可被外界包引用,因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现,org.apache.hadoop.fs.FileSystem hadoop通过getFi...
分类:
其他好文 时间:
2014-07-02 21:01:32
阅读次数:
284
1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究)
分类:
编程语言 时间:
2014-07-02 20:51:44
阅读次数:
242
文件系统,对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS
分类:
其他好文 时间:
2014-07-02 20:47:41
阅读次数:
285
1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类, FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限,常量 ...
分类:
其他好文 时间:
2014-07-02 20:46:22
阅读次数:
308
1. hadoop远程过程调用RPC:XML-RPC,JSON-RPC,CORBA,RMI(Remote Method Invocation),Haoop IPC(进程间通信)RPC原理:允许本地程序(客户端)调用其他机器(服务器)上的过程,客户端使用参数将信息传送给调用方,通过返回值得到消息。RP...
分类:
其他好文 时间:
2014-07-01 12:01:22
阅读次数:
316
1.1. hadoop远程过程调用1、 远程接口调用(必须实现VersionedProtocol接口)里面有一个方法,IPC通信时会比较客户端和服务端接口的版本号。必须一致才可以package rpc;import org.apache.hadoop.ipc.VersionedProtocol;pu...
分类:
其他好文 时间:
2014-07-01 11:58:14
阅读次数:
186
1.1. java动态代理java.lang.reflect包下的Proxy(创建代理对象)和InvocationHandler(调用转发)两个类代理对象代表目标对象(target)执行相应的活动静态代理:代理对象实现目标对象一致的接口,实现代理接口和调用转发 (不推荐使用)在调用前后的附加逻辑,体...
分类:
其他好文 时间:
2014-07-01 11:41:22
阅读次数:
189
在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了尽可能的让大家能尽快实践和操作Hbase,使用的是Spark Shell 来进行Hbase操作。
一、环境:
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类:
其他好文 时间:
2014-07-01 09:29:54
阅读次数:
499