最近论文实验进行的非常的不顺利，一方面是实验聚类的效果十分的差，另一方面是做大数据的实验对计算机的性能要求很高，非常的耗费内存，每当矩阵的维度大于3000的时候，整个计算机就像中了魔法似的，像蜗牛一样慢。这样用小数据做实验效果非常的差，用大数据做实验计算机又跑不动，搞的自己很愚昧，不知道是自己数据集的问题，还是聚类算法的问题。...
分类：
其他好文 时间：
2014-06-03 05:54:21
阅读次数：
263
前言
今天Spark终于跨出了里程碑的一步，1.0.0版本的发布标志着Spark已经进入1.0时代。1.0.0版本不仅加入了很多新特性，并且提供了更好的API支持。Spark SQL作为一个新的组件加入，支持在Spark上存储和操作结构化的数据。已有的标准库比如ML、Streaming和GraphX也得到了很大程度上的增强，对Spark和Python的接口也变得更稳定。以下是几个主要的改进点...
分类：
其他好文 时间：
2014-06-03 00:43:41
阅读次数：
269
阿里巴巴集团总参谋长曾鸣
大数据最重要的特征不在大小，而在死活。就企业而言，数据的死活决定一切，从数据的管理到数据的运用，数据必须能活起来，开始跑通迭代，才能产生持续价值。
互联网将快速颠覆众多的传统行业。这两年，这样的话听多了，多少有些“狼来了”，让人逐渐麻木。可是，不经意间，出租车这个再传统不过的行业，一夜间就发生了巨大的变化，互联网究竟怎样细致而深刻地改变世界，逐渐清晰地展现在了...
分类：
其他好文 时间：
2014-06-03 00:15:27
阅读次数：
326
求和print(Array(1,7,2,9).sum)结果19要使用sum方法，元素类型必须是数值类型：要么是整形，要么是浮点数或者BigInteger/BigDecimal。print(ArrayBuffer("Mary","had","a","little","lamb").max)结果little排序valb=ArrayBuffer(1,7,2,9)
valbSorted=b.sorted
print(bSorted)..
分类：
其他好文 时间：
2014-06-02 03:23:26
阅读次数：
354
前段时间看了下scala做了下笔记，为后续看spark做点准备，笔记内容见图片。...
分类：
其他好文 时间：
2014-06-01 15:35:40
阅读次数：
182
本节讲的是并查集的第一种实现方法，这种方法查找操作开销很小而合并操作开销比较大。
数据结构
假设有N个节点，那么该算法的数据结构就是一个包含N个整数的数组id[]。
判断操作
判断节点p和节点q是否相连就是判断id[p]和id[q]的值是否一致。
合并操作
合并节点p和节点q就是将id数组中所有的id[...
分类：
其他好文 时间：
2014-06-01 14:55:21
阅读次数：
202
本节讲的是并查集的另外一种实现方法。这种方法的合并操作开销很小，但是查找操作开销很大。
数据结构
这种算法的数据结构和快速查找方法的数据结构是一样的，也是N个整数组成的数组。
数组中每个元素id[i]的含义是指i的上级是id[i]。
根节点
一个节点的根节点就是id[id[id[...id[i]....]]]，一直循...
分类：
其他好文 时间：
2014-06-01 14:52:52
阅读次数：
225
for(...)yield循环创建了一个类型与原始集合相同的新集合。vala1=Array(2,3,5,7,11)
valresult=for(elem<-a1)yield2*elem
for(elem<-result){
println(elem)
}结果4
6
10
14
22通过守卫：for中的if来实现处理那些满足特定条件的元素。vala1=Array(2,3,5,7,11)
v..
分类：
其他好文 时间：
2014-06-01 13:48:56
阅读次数：
267
前言：例行公事，有些人可能不太了解elasticsearch，下面搜了一段，大家瞅一眼。Elasticsearch是一款分布式搜索引擎，支持在大数据环境中进行实时数据分析。它基于ApacheLucene文本搜索引擎，内部功能通过ReSTAPI暴露给外部。除了通过HTTP直接访问Elasticsearch，还可以通过支..
分类：
编程语言 时间：
2014-06-01 13:47:42
阅读次数：
328
untiluntil是RichInt类的方法，返回所有小于但不包括上限的数字。vara1=Array(0,1,2,3,4,5,6,7,8,9)长度为10的Array[Int],类型是推断出来的。说明：已提供初始值就不需要new。演示代码vals=Array("Hello","World")
s(0)="Goodbye"
for(i<-0untils.length){
println(i+":"+s(..
分类：
其他好文 时间：
2014-06-01 13:21:28
阅读次数：
354
