今天做的就是将fpg跑出来的结果进行各种指标计算，但是因为用python还是不是特别熟悉，因为没有找到python能处理类似SequenceFile这样的类库，所以就用java编写，这下就是折腾各种包引用，就是classpath的引用。由于涉及到hadoop和mahout的包，这样需要添加到cl.....
分类：
其他好文 时间：
2014-08-05 00:30:28
阅读次数：
239
翻译自cloudera，原文直通车：Apache HBase Write Path Apache HBase也就是Hadoop Database是基于HDFS之上的.HBase可以随机获取和更新存储在HDFS上的记录。但是HDFS 上的文件只能追加而且一旦创建便无法修改。说到这里你或许会问：那HBa...
分类：
其他好文 时间：
2014-08-04 21:20:57
阅读次数：
264
首先所有的输入格式都继承FileInputFormat，对于TextFile和SequenceFile有对应的TextInputFormat和SequenceFileInputFormat。我们先来看一下TextInputFormat的实现：publicclassTextInputFormatextendsFileInputFormat<LongWritable,Text>
implementsJobConfigurable{
p..
分类：
其他好文 时间：
2014-08-04 18:17:29
阅读次数：
677
聚类： 是否可以将事物归为一个簇，完全取决于我们在考量它们之间相似性时所选择的特征参数。 聚类，就是将一个给定文档中的相似项目分成不同簇的过程，我们可以将这些簇看做一组簇内相似而簇间有别的项目的集合。 1、一个算法，将书组织在一起的方法 2、相似性和不相似性的概念 3、停止的条件 簇的中...
分类：
其他好文 时间：
2014-08-04 17:08:07
阅读次数：
172
1、关闭集群 2、通过修改core-site.xml ??<property>
????<name>fs.checkpoint.period</name>
????<value>180</value><!--单位为秒-->
??</property>
??<property>
????<name>fs.checkpoint.d...
分类：
其他好文 时间：
2014-08-04 14:48:57
阅读次数：
202
第一个hands-on入门程序：参考http://blog.csdn.net/sim_szm/article/details/12578055搭建环境并跑WordCount程序，区别是我安装的是最新的hadoop版本0.23.11，JDK我使用的是SunJDK，Linux使用的是国产的Kylin。问题一：Error:JAVA_HOMEisnotsetandcouldnotbefound.解决方案：/..
分类：
其他好文 时间：
2014-08-04 14:39:48
阅读次数：
219
基于用户的推荐和基于物品的推荐两种算法，均依赖于两个事物（用户或物品）之间的相似性度量（等同性定义），相似性度量的方法：PearsonCorrealation皮尔逊相关系数,对数似然值Loglikelihood,斯皮尔曼相关系数SpearmanCorrelation,谷本系数TanimotoCoef...
分类：
其他好文 时间：
2014-08-04 14:15:27
阅读次数：
217
数据集下载地址：http://grouplens.org/datasets/movielens/ 之前用的是100K的，现在需要下载MovieLens 10M,使用里面的ratings.dat前提：因为文件不符合mahout要求的文件输入格式，需要进行转换，但是example里提供了一个解析这个文件...
分类：
其他好文 时间：
2014-08-04 14:14:47
阅读次数：
476
Preference对象：单个用户Id，物品ID和偏好值，实现GenericPreferencePreferenceArray数组，单个用户所有偏好值数组，实现GenericPreferenceArray代码示例：package mahout;import org.apache.mahout.cf....
分类：
其他好文 时间：
2014-08-04 13:33:27
阅读次数：
196
