码迷,mamicode.com
首页 >  
搜索关键字:flume 日志收集 hdfs    ( 6285个结果
利用LDA进行文本聚类(hadoop, mahout)
项目原理概述利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式为的matrix矩阵,key为待聚类文本的数字编号,value为待聚类文本的单词向量Vector, Vector...
分类:其他好文   时间:2014-07-07 10:43:16    阅读次数:1186
Hadoop技术内幕HDFS-笔记11之HDFS
Hdfs文件系统,提供了一套基于hadoop的抽象文件系统的API,支持以流的方式访问文件系统中的数据。特性:1、 支持超大文件2、 检测和快速应对硬件故障(故障检测和自动恢复)3、 流式数据访问,注重的是数据的吞吐量,而不是数据的响应速度4、 简化的一致性模型,一次写入,多次读取。不适合:5、 低...
分类:其他好文   时间:2014-07-03 18:51:20    阅读次数:266
Hadoop技术内幕HDFS-笔记9之hadoop抽象文件系统
1.1. hadoop抽象文件系统 因java.io.FileSystem为私有抽象包,不可被外界包引用,因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现,org.apache.hadoop.fs.FileSystem hadoop通过getFi...
分类:其他好文   时间:2014-07-02 21:01:32    阅读次数:284
Hadoop技术内幕HDFS-笔记8之java文件系统
1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究)
分类:编程语言   时间:2014-07-02 20:51:44    阅读次数:242
Hadoop技术内幕HDFS-笔记7之hadoop文件系统
文件系统,对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS
分类:其他好文   时间:2014-07-02 20:47:41    阅读次数:285
Hadoop技术内幕HDFS-笔记10之hadoop IO
1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类, FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限,常量 ...
分类:其他好文   时间:2014-07-02 20:46:22    阅读次数:308
Hadoop技术内幕HDFS-笔记4之远程调用
1. hadoop远程过程调用RPC:XML-RPC,JSON-RPC,CORBA,RMI(Remote Method Invocation),Haoop IPC(进程间通信)RPC原理:允许本地程序(客户端)调用其他机器(服务器)上的过程,客户端使用参数将信息传送给调用方,通过返回值得到消息。RP...
分类:其他好文   时间:2014-07-01 12:01:22    阅读次数:316
Hadoop技术内幕HDFS-笔记6之RPC
1.1. hadoop远程过程调用1、 远程接口调用(必须实现VersionedProtocol接口)里面有一个方法,IPC通信时会比较客户端和服务端接口的版本号。必须一致才可以package rpc;import org.apache.hadoop.ipc.VersionedProtocol;pu...
分类:其他好文   时间:2014-07-01 11:58:14    阅读次数:186
Hadoop技术内幕HDFS-笔记5之动态代理
1.1. java动态代理java.lang.reflect包下的Proxy(创建代理对象)和InvocationHandler(调用转发)两个类代理对象代表目标对象(target)执行相应的活动静态代理:代理对象实现目标对象一致的接口,实现代理接口和调用转发 (不推荐使用)在调用前后的附加逻辑,体...
分类:其他好文   时间:2014-07-01 11:41:22    阅读次数:189
spark操作hbase
在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。  企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了尽可能的让大家能尽快实践和操作Hbase,使用的是Spark Shell 来进行Hbase操作。 一、环境: Haoop2.2.0 Hbase版本0.96.2-hadoop2, r158109...
分类:其他好文   时间:2014-07-01 09:29:54    阅读次数:499
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!