K-means算法是最为经典的基于划分的聚类方法,是十大经典数据挖掘算法之一。K-means算法的基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致,值得注意的是,Mahout将数据存储在HDFS,用MapReduce做批量并行的计算。在做kmeans之前,需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤:初始中心选取,寻找簇中心,划分数...
分类:
其他好文 时间:
2014-05-26 06:00:31
阅读次数:
239
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL,但可以先将HBase中的数据导出到HDFS中,再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类:
数据库 时间:
2014-05-26 05:48:46
阅读次数:
304
对于开源的东东,尤其是刚出来不久,我觉得最好的学习方式就是可以看源码和doc,测试它的例子
为了方便查看源码,关联导入源码的项目
block数据块,在配置文件hdfs-default.xml中可以查看到,记住要修改不是在这里
block文件存储块是最基本的单位
查看block存放位置,配置文件中查看
如果文件大于64M会占两个块,meta文件是校验...
分类:
其他好文 时间:
2014-05-26 05:30:58
阅读次数:
227
【译者:这个系列教程是以Kitware公司出版的《VTK User’s Guide -11th edition》一书作的中文翻译(出版时间2010年,ISBN: 978-1-930934-23-8),由于时间关系,我们不能保证每周都能更新本书内容,但尽量做到一周更新一篇到两篇内容。敬请期待^_^。欢迎转载,另请转载时注明本文出处,谢谢合作!同时,由于译者水平有限,出错之处在所难免,欢迎指出订正!】...
分类:
其他好文 时间:
2014-05-26 05:24:30
阅读次数:
161
写在前面一:
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二:
所用软件说明:
一、什么是Apache Flume
官网:Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类:
其他好文 时间:
2014-05-26 04:32:10
阅读次数:
359
推荐编写C++的代码风格,看似容易,坚持不易,且写且珍惜! --陈国林
1. 版本和版本声明
版本和版本文件声明位于头文件和定义文件的开头,主要内容
(1)版本信息
(2)文件名称、标识符、摘要
(3)当前的版本号、作者、修改日期
(4)版本历史信息
2. 程序版式
(1)在每个类声明之后、每个函数定义之后都要加上一个空行
(2)一行代码只做一件事情
(3)if、for...
分类:
编程语言 时间:
2014-05-24 19:08:08
阅读次数:
336
笔者在项目中遇到了大量节点数据导入到NEO4J数据库时内存溢出的问题,在翻阅了官方文档后做了以下测试与大家分享,如果不对,还请大家指出。
CPU: I3 2.4Ghz 4核, 内存8G
?方式一:采用其原生接口操作
JVM:-Xms1024m -Xmx1024m -Xmn512m -XX:PermSize=128m -XX:MaxPermSize=256m
4000 节点(50个属性),4000关系:1秒, 其间cpu使用率25%,761M
8000节点(50个属性),8000关系:2秒, 其间cp...
分类:
其他好文 时间:
2014-05-24 19:07:05
阅读次数:
524
最近在做一个投票系统,关于缓存的使用上稍微思考了下,总结了以下几点:1.缓存的数据,一般为数据库查询出来的数据。要么就是大数据,要么就是访问频率很高的数据。2.缓存只是一个提高效率的手段,但不保险,编写代码的时候,要考虑万一缓存不命中的情况,而不知只单纯的从数据库中提取数据。一般的思路是,查询缓存数...
分类:
其他好文 时间:
2014-05-24 12:41:49
阅读次数:
229
hadoop安装计大体上按这个做就好了http://blog.csdn.net/hitwengqi/article/details/8008203需要修改hadoop-env.shexport
JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64export PAT...
分类:
其他好文 时间:
2014-05-24 11:17:22
阅读次数:
210
今天终于把近5G的数据上传到了SharePoint2010站点上,上传过程中发现几个要注意的问题:
1. 用360浏览器打开SP 2010站点,发现在workspace同步和windows explorer二个按钮都被禁掉了(但workspace可以连到sp
site进行同步),但检查了站点设置里面...
分类:
其他好文 时间:
2014-05-24 10:24:58
阅读次数:
230