项目原理概述利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式为的matrix矩阵,key为待聚类文本的数字编号，value为待聚类文本的单词向量Vector, Vector...
分类：
其他好文 时间：
2014-07-07 10:43:16
阅读次数：
1186
1.1. hadoop抽象文件系统 因java.io.FileSystem为私有抽象包，不可被外界包引用，因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现，org.apache.hadoop.fs.FileSystem hadoop通过getFi...
分类：
其他好文 时间：
2014-07-02 21:01:32
阅读次数：
284
1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究)
分类：
编程语言 时间：
2014-07-02 20:51:44
阅读次数：
242
文件系统，对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS
分类：
其他好文 时间：
2014-07-02 20:47:41
阅读次数：
285
1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类， FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限，常量 ...
分类：
其他好文 时间：
2014-07-02 20:46:22
阅读次数：
308
转载请注明：电子科技大学EClab——落叶花开http://www.cnblogs.com/nlp-yekai/p/3816532.html困惑度一般在自然语言处理中用来衡量训练出的语言模型的好坏。在用LDA做主题和词聚类时，原作者D.Blei就是采用了困惑度来确定主题数量。文章中的公式为：perp...
分类：
编程语言 时间：
2014-07-02 18:03:38
阅读次数：
827
我们以RHEL6.3为例说明。Linux的命令后面会有命令选项，有的选项还有选项值。选项的前面有短横线“-”，命令、选项、选项值之间使用空格隔开。有的命令没有选项，会有参数。选项是命令内置的功能，参数是用户提供的符合命令格式的内容。1.1.1. 命令提示符在桌面上点击鼠标右键，在弹出菜单中选择“Op...
分类：
系统相关 时间：
2014-07-02 14:41:56
阅读次数：
307
Spark目前支持多种分布式部署方式：一、Standalone Deploy Mode；二Amazon EC2、；三、Apache Mesos；四、Hadoop YARN。第一种方式是单独部署，不需要有依赖的资源管理器，其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之...
分类：
其他好文 时间：
2014-07-02 13:48:43
阅读次数：
299
大家好，我是成都[LD]，博客四年前就申请了，一直没打理，最近正好有时间，遂萌生了写技术博客的念头。我不得不感慨现在新技术更新很快，一不小心，就感觉自身就Out了。记得一年前，当时我也是在51CTO上了解到NoSQL和Hadoop这样的信息，当时就简单觉得很新奇，没想到一年之后发..
分类：
编程语言 时间：
2014-07-02 11:10:33
阅读次数：
1811
我安装所使用的系统是CentOS6，也可以是red5、6都可以。Bigtop官方网上有Ubuntu系统安装的具体过程。1.安装系统依赖1.1系统更新并安装新的包BuildingBigtoprequiresthefollowingtools:·JavaJDK1.6·ApacheAnt（可以通过yum安装）·ApacheMaven·wget·tar·git·subversion·g..
分类：
其他好文 时间：
2014-07-02 06:01:45
阅读次数：
844
