K-means算法是最为经典的基于划分的聚类方法,是十大经典数据挖掘算法之一。K-means算法的基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致,值得注意的是,Mahout将数据存储在HDFS,用MapReduce做批量并行的计算。在做kmeans之前,需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤:初始中心选取,寻找簇中心,划分数...
分类:
其他好文 时间:
2014-05-26 06:00:31
阅读次数:
239
条款1数据抽象
抽象数据类型的用途在于将变成语言扩展到一个特定的问题领域。一般对抽象数据类型的定义需要准训以下步骤:
1. 为类型取一个描述性的名字
2. 列出类型所能执行的操作
3. 为类型设计接口
4. 实现类型
条款2多态
多态类型,从基类继承的最重要的多系就是它们的接口,而不是它们的实现。
条款3设计模式
条款4 STL
STL优秀思想体...
分类:
编程语言 时间:
2014-05-26 05:47:41
阅读次数:
315
最近项目在做网站用户数据新访客统计,数据存储在MongoDB中,统计的数据其实也并不是很大,1000W上下,但是公司只配给我4G内存的电脑,让我程序跑起来气喘吁吁...很是疲惫不堪。
最常见的问题莫过于查询MongoDB内存溢出,没办法只能分页查询。这种思想大家可能都会想到,但是如何分页,确实多有门道!
网上用的最多的,也是最常见的分页采用的是skip+limit这种组合方式,...
分类:
数据库 时间:
2014-05-26 04:13:29
阅读次数:
399
思路:1、排序,取前k个元素;O(NlogN);2、分治,O(n),利用快排的思想;3、用set 维护最小的k个数,O(NlogK),可处理海量数据。...
分类:
其他好文 时间:
2014-05-26 03:38:58
阅读次数:
222
题目:统计一个数字k在排序数组中出现的次数。例如输入排序数组{1,2,3,3,3,3,4,5}和数字3,输出4次
方案一:扫描数组,记录第一个出现的k和最后一个k中间有多少个,时间复杂度为O(n)
方案二:由于数组是有序的,那么我们可以利用二分的思想,求出k在数组中的第一个位置和最后位置相减即可。时间复杂度为O(logN)
注意严格按照良好的C++编码风格
#include...
分类:
其他好文 时间:
2014-05-24 21:09:24
阅读次数:
194
一开始时,为了省服务器,把Mongodb和Redis放在一个服务器上。网站每到高峰期都特别卡,还经常出现502。找了很久的原因,发现硬盘的写数据很大,IOPS也很高,排查了很多原因都没找到。然后再仔细研究监控,发现写硬盘的操作很有规律,每隔几分钟就有一次频繁的写硬盘,联想到Redis同步数据到硬盘的间隔就是几分钟,所以开始怀疑是Redis引起的。于是加了一台服务器,把Redis单独放在那里,发现网...
分类:
数据库 时间:
2014-05-24 19:38:43
阅读次数:
302
星形模式是基于关系数据库的数据仓库中的一个著名概念,由于星形连接模式的设计思想能够满足人们从不同观察角度(维)分析数据的需求,所以在基于关系数据库的数据仓库的设计中广泛地使用了星形模式。本文主要介绍《广东省高速公路一张网资金结算情况分析系统》中的数据仓库技术。...
分类:
其他好文 时间:
2014-05-24 18:24:43
阅读次数:
297
近日重读《javascript面型对象编程指南》这本书,最后一章介绍了常见的javascript设计模式的实现。主要讲解了四种设计模式:单例模式、工厂模式、装饰器模式和观察者模式。js作为动态语言,实现这四种模式的实例相对简单,当然既然称之为模式,那么吃透思想更重要,那么下面,由乐帝来实例讲解四种模式。
1.单例模式
顾名思义,对象构造出来的是实例,从字面上理解,单例即单实例,这意...
分类:
编程语言 时间:
2014-05-24 18:21:35
阅读次数:
335
1.算法简介
协同过滤(collaborative filtering)的核心思想:利用其他用户的行为来预测当前用户。协同过滤算法是推荐系统中最基本的,同时在业界广为使用。根据使用的方法不同,可以分为基于用户(user-based)、基于物品(item-based)的最近邻推荐。
基于用户的最近邻推荐的主要思想:对于一个给定的评分集,找出与当前用户u口味相近的k个用户;然后,对...
分类:
其他好文 时间:
2014-05-24 17:59:03
阅读次数:
308
让数组中基数位于偶数的前面,用快排的思想解决。...
分类:
其他好文 时间:
2014-05-24 17:10:26
阅读次数:
170