K-means算法是最为经典的基于划分的聚类方法,是十大经典数据挖掘算法之一。K-means算法的基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致,值得注意的是,Mahout将数据存储在HDFS,用MapReduce做批量并行的计算。在做kmeans之前,需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤:初始中心选取,寻找簇中心,划分数...
分类:
其他好文 时间:
2014-05-26 06:00:31
阅读次数:
239
目前在网银、支付、团购等领域出现了大量的钓鱼网站,有没有方式可以在线实时监控并发现可疑钓鱼网站的技术?
互联网上每时每刻都会有新的域名、新的网站诞生。就是这种的互联网的开放性,使得互联网世界变得多姿多彩,精彩万分。但是这样对于监控钓鱼网站是非常不利的,尽管我们国家对于网站都要求备案,从理论上来说备案制度可以有效的避免假网站和欺诈性网站的发生,但是实际的情况是域名可以在未备案的情况下直接解...
分类:
Web程序 时间:
2014-05-26 05:36:44
阅读次数:
265
一、基准测试工具
基准测试工具提供在各种不同的模拟用户请求发生时有关Web服务器响应的统计信息。它们允许我们模拟任意数量的请求Web服务器上某个特定Web文档的用户,更重要的是,它允许我们模拟任意数量的用户同时访问Web服务器上的文档(并发请求)。
例如,每个工具提供的信息都与下列内容有关:
1、响应一个请求所花费的总时间
2、来自服务器的总响应大小
3、Web服务器每秒可以处理的请求总...
分类:
Web程序 时间:
2014-05-26 04:01:20
阅读次数:
339
压力测试web压力测试的实现原理都是通过发送大量的重复的页面请求来模拟多用户对被测系统的并发访问,以此达到产生压力的目地。产生压力的手段都是通过录制或编写压力脚本,这些脚本以多进程或多线程的方式在客户端运行,这样通过人为制造各种类型的压力,我们可以观察被测系统在各种压力情况下的反映,从而定位系统瓶颈,作为系统调优的基础。目前已经市场上的性能测试工具不下一百种,从单一的开放源码的免费小工具如 Apa...
分类:
其他好文 时间:
2014-05-26 03:22:29
阅读次数:
305
前言
并行就是让计算中相同或不同阶段的各个处理同时进行。目前有很多种实现并行的手段,如多核处理器,分布式系统等。本专题的文章将主要介绍使用 GPU
实现并行的方法。参考本专题文章前请务必搭建好 CUDA 开发平台,搭建方法可以参考上一篇文章。GPU 并行的优缺点 优点: 1. 显存具有更大...
分类:
其他好文 时间:
2014-05-26 02:13:36
阅读次数:
263
大多数并发应用程序都是围绕“任务执行(Task
Execution)”来构造的:任务通常是一些抽象的且离散的工作单元。
在生产环境中,“为每个任务分配一个线程”这种方法存在一些缺陷,尤其是当需要创建大量线程时:线程生命周期的开销非常高。线程的创建与销毁并不是没有代价的。资源消耗。活跃的线程会消...
分类:
其他好文 时间:
2014-05-26 00:02:12
阅读次数:
406
继续并发专题~
这次介绍CyclicBarrier:看一眼API的注释:
/**
* A synchronization aid that allows a set of threads to all wait for
* each other to reach a common barrier point. CyclicBarriers are
* useful in program...
分类:
编程语言 时间:
2014-05-25 18:15:06
阅读次数:
316
背景
大家都知道线程之间共享变量要用volatile关键字。但是,如果不用volatile来标识,会不会导致线程死循环?比如下面的伪代码:
static int flag = -1;
void thread1(){
while(flag > 0){
//wait or do something
}
}
void thread2(){
//do something
f...
分类:
编程语言 时间:
2014-05-25 10:24:14
阅读次数:
220
序
僵死(zombie)进程简而言之就是:子进程退出时,父进程并未对其发出的SIGCHILD信号进行适当处理,导致子进程停留在僵死状态等待其父进程为其收尸,这个状态下的子进程就是僵死进程。
因为并发服务器常常fork很多子进程,子进程终结之后需要服务器进程去wait清理资源。对于某些进程,特别是服务器进程往往在请求到来时生成子进程处理请求。如果父进程不等待子进程结束,子进程将成为僵尸进程(zo...
分类:
系统相关 时间:
2014-05-25 06:12:34
阅读次数:
313
最近一直整并发这块东西,顺便写点Java并发的例子,给大家做个分享,也强化下自己记忆。
每天起早贪黑的上班,父母每天也要上班,话说今天定了个饭店,一家人一起吃个饭,通知大家下班去饭店集合。假设:3个人在不同的地方上班,必须等到3个人到场才能吃饭,用程序如何实现呢?
作为一名资深屌丝程序猿,开始写代码实现:
package com.zhy.concurrency.latch;
public...
分类:
编程语言 时间:
2014-05-24 22:29:34
阅读次数:
262