下面是一个依赖管理语句（sbt）libraryDependencies ++= Seq(javaJdbc, javaEbean)这里的javaJdbc javaEbean出自下面所示的地方：playframework/framework/src/sbt-plugin/src/main/scala/P...
分类：
其他好文 时间：
2014-08-08 04:18:15
阅读次数：
262
5个提案的14个开题报告，涉及数据可视化实践、社交云电视模型、Spark上流式机器学习算法实现、基于云存储的Linux系统增强服务和网络拓扑距离的高效KNN查询。...
分类：
其他好文 时间：
2014-08-07 18:58:10
阅读次数：
306
Scala函数默认使用最后一个语句的运行结果作为返回值。例如def distance(a:Int,b:Int):Int={ a*a+b*b}以a*a+b*b的运行结果作为返回值。这种返回值的方式渊源于其他函数式语言Lisp/Haskell等（个人猜测）。在近期工作中，我写了如下的代码：def br....
分类：
其他好文 时间：
2014-08-07 13:01:20
阅读次数：
270
最近研究了下Spark如何读写压缩格式的文件，主要有如下三种方式，这里以lzo方式压缩为例/*******************oldhadoopapi*************************/
valconfHadoop=newJobConf
confHadoop.set("mapred.output.compress","true")
confHadoop.set("mapred.output.compression.c..
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：...
分类：
其他好文 时间：
2014-08-06 18:36:01
阅读次数：
195
是O'Reilly公司今年(2014)7月发布的一本薄薄的小册子,151页,介绍了函数式编程的基本概念.全书使用代码范例都是基于JVM的编程语言,比如Java,Groovy,Scala.为了能够讲解所有的知识点,作者不得不在多个语言之间做切换,其实使用Erlang,Elixir甚至是C#做范例都不....
分类：
其他好文 时间：
2014-08-06 18:31:01
阅读次数：
295
Spark应用程序编写，执行应该注意的问题。...
分类：
其他好文 时间：
2014-08-05 22:49:32
阅读次数：
272
随着处理器提升速度下降和数据量的不断增长，很多公司和组织（既有互联网公司也有传统的企业还有一些研究机构）都要求他们的应用能够Scale out到更大的分布式系统上（比如整个数据中心）。这些应用又分为以下几种类型：...
分类：
其他好文 时间：
2014-08-05 19:28:10
阅读次数：
245
