Hadoop的核心处理模块是MapReduce，也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中，使得它在操作上足够简单，功能上足够强大。MapReduce已经解决很多实际问题（从日志分析，到数据排序，到文本操作，到基于模式的搜索，到图像处理，到机器学习等等）...
分类：
其他好文 时间：
2014-05-27 00:14:28
阅读次数：
449
Solr调研总结开发类型全文检索相关开发Solr版本4.2文件内容本文介绍solr的功能使用及相关注意事项;主要包括以下内容:环境搭建及调试、两个核心配置文件介绍、中文分词器配置、维护索引、查询索引,高亮显示、拼写检查、搜索建议、分组统计、自动聚类、相似匹配、拼音检索等功能的使用方法。在代码文本框中...
分类：
其他好文 时间：
2014-05-26 22:22:05
阅读次数：
886
K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致，值得注意的是，Mahout将数据存储在HDFS，用MapReduce做批量并行的计算。在做kmeans之前，需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤：初始中心选取，寻找簇中心，划分数...
分类：
其他好文 时间：
2014-05-26 06:00:31
阅读次数：
239
FCM 算法用一个Job寻找cluster的中心点。在map的初始化节点，加载初始化（或上一轮迭代的结果）中心点。在map中计算point 和每一个簇的亲和度。在combiner计算同一个cluster的参数，该过程只能计算同一cluster的局部信息。在reduce中首先计算同一个cluster的全局参数，然后计算该cluster是否收敛，输出cluster。...
分类：
其他好文 时间：
2014-05-26 04:12:39
阅读次数：
302
Canopy有消除孤立点的作用,而K-means在这方面却无能为力。建立canopies之后，可以删除那些包含数据点数目较少的canopy，往往这些canopy是包含孤立点的。根据canopy内点的数目,来决定聚类中心数目k,这样效果比较好。...
分类：
其他好文 时间：
2014-05-26 03:21:30
阅读次数：
321
最近在网上查看用MapReduce实现的Kmeans算法，例子是不错，http://blog.csdn.net/jshayzf/article/details/22739063但注释太少了，而且参数太多，如果新手学习的话不太好理解。所以自己按照个人的理解写了一个简单的例子并添加了详细的注释。大致的步...
分类：
其他好文 时间：
2014-05-24 10:41:01
阅读次数：
315
摘要: 对心电信号( ECG)
这种高维的时间序列进行聚类，最重要的方面之一即进行特征提取!本研究提出利用自回归和移动平均( ARMA)模型拟合?ZK
信号，以拟合系数的欧氏距离为结构不相似测度征进行聚类!但此方法没有考虑样本数据的各维特征对聚类的不同贡献率，所以本文提出可以把首次聚类每维特征在聚类...
分类：
其他好文 时间：
2014-05-23 05:45:57
阅读次数：
196
在科学技术刚刚萌芽的时候，科学家Blaise Pascal和Von Leibniz就想到了有朝一日能够实现人工智能。即让机器拥有像人一样的智能。
机器学习是AI中一条重要的发展线，在工业界和学术界都异常火爆。企业、大学都在投入大量的资源来做机器学习方面的研究。最近，机器学习在很多任务上都有了重大的进步，达到或者超越了人类的水平（例如，交通标志的识别[1]，ML达到了98.98%，已超越了人类）。...
分类：
其他好文 时间：
2014-05-23 02:10:44
阅读次数：
635
随着大数据时代的到来，我们越来越多的使用电子产品，使我们的活动信息被越来越多的收集起来。我们知道，机器学习的一大目标就是利用历史数据去预测未来，那么，我们的行为会不会被预测呢？...
分类：
其他好文 时间：
2014-05-22 22:43:12
阅读次数：
557
梦的表征、抽象的思维——《梦的解析》读后感
据我所知，人类最擅长的一件事就是抽象了。现在人工智能领域所做的工作，最常见的就是利用各种数学的模型解决一些现实生活中的问题。比如，我做过分析的一些东西：数据挖掘技术里面的聚类和分类。初始接触这些东西时的感觉就是玄之又玄，莫名其妙。当一步步接触之后，给我更....
分类：
其他好文 时间：
2014-05-21 17:36:26
阅读次数：
356
